Удаление дублей по доменному имени.

[Syncmaster]

Подскажите чем можно удалить дубли по доменному имени.

[LeXxiK]

хрумером можно
нет ни у кого пхп скрипта кстати? а то хрумер блюёт от больших файлов)

[Syncmaster]

Чет не охото хрумер покупать что бы дубли убирать.
А это в демке есть? А сейчас вобще демка есть или уже нет?

[1een]

Да, есть.

[dim7]

ответ тут

[LeXxiK]

dim7, это чё-то ваще не то)

[Syncmaster]

Сообщение от 1een

Да, есть.

нашел, но что-то она под 7ку не запускается никак )

[dim7]

Сообщение от LeXxiK

dim7, это чё-то ваще не то)

кайзеровский бейзедитор точно поможет.
или этот код, но не помню толи первый толи второй

#!/usr/local/bin/perl -U

sub f_fread{
 my$n=shift;
 open f,$n;
 sysread f,$t,(stat f)[7];
 close f;
 $t}

sub f_fwrite{
 my$t=shift;
 my$n=shift;
 open f,">$n";
 syswrite f,$t,length$t;
 close f}

$A=$ARGV[0];

map{$n=$_;$n=~s/^([^\/]+\/\/[^\/]+).*/$1/os;$H{$n}=$_}split/\r?\n/,f_fread($A);

f_fwrite(join("\n",sort values%H)."\n","$A.new");



__END__

#!/usr/local/bin/perl -U

sub f_fread{
 my$n=shift;
 open f,$n;
 sysread f,$t,(stat f)[7];
 close f;
 $t}

sub f_fwrite{
 my$t=shift;
 my$n=shift;
 open f,">$n";
 syswrite f,$t,length$t;
 close f}

$A=$ARGV[0];

map{$H{$_}=1}split/\r?\n/,f_fread($A);

$f=join("\n",sort keys%H)."\n";

f_fwrite($f,"$A.new");



__END__

[incognito]

PHP код:

<?php
###########################################
## удаление дублей по хосту subdomain.domain.ext,
## те
## subdomain.domain.ext и subdomain1.domain.ext
## будут считаться уникальными
###########################################
set_time_limit(300);
$urls = file('urls.txt',FILE_IGNORE_NEW_LINES);

$unic_urls = array();
foreach ($urls as $value){
    $url_parts = parse_url($value);
    if (strpos($url_parts['host'],'www.')==0) $domain = str_replace('www.','',$url_parts['host']);
    
    if (!array_key_exists($domain,$unic_urls)){
        $unic_urls[$domain] = $value;
    }else{
        $non_unic_urls[] = $domain.'=>'.$value;
    }
}

file_put_contents('unic-urls.txt',implode("\r\n",$unic_urls));
sort($non_unic_urls);
file_put_contents('non-unic-urls.txt',implode("\r\n",$non_unic_urls));

?>

[majordon]

юзаю YCCY , но он отдаёт только доменые имена