Удаление дублей по доменному имени.

[Syncmaster]

Подскажите чем можно удалить дубли по доменному имени.

[jarosek]

Сообщение от incognito

PHP код:

<?php
###########################################
## удаление дублей по хосту subdomain.domain.ext,
## те
## subdomain.domain.ext и subdomain1.domain.ext
## будут считаться уникальными
###########################################
set_time_limit(300);
$urls = file('urls.txt',FILE_IGNORE_NEW_LINES);

$unic_urls = array();
foreach ($urls as $value){
    $url_parts = parse_url($value);
    if (strpos($url_parts['host'],'www.')==0) $domain = str_replace('www.','',$url_parts['host']);
    
    if (!array_key_exists($domain,$unic_urls)){
        $unic_urls[$domain] = $value;
    }else{
        $non_unic_urls[] = $domain.'=>'.$value;
    }
}

file_put_contents('unic-urls.txt',implode("\r\n",$unic_urls));
sort($non_unic_urls);
file_put_contents('non-unic-urls.txt',implode("\r\n",$non_unic_urls));

?>

а разве array_unique не справится?код в пару строк...

[incognito]

Сообщение от jarosek

а разве array_unique не справится?код в пару строк...

по умолчанию я предположил, что в исходнике не уникальные урлы, а урлы с одинаковым хостом, но разным путем (например один форум, но разные топы).

[jarosek]

Сообщение от incognito

по умолчанию я предположил, что в исходнике не уникальные урлы, а урлы с одинаковым хостом, но разным путем (например один форум, но разные топы).

ну он же написал что по домену
вобщем вот по домену

PHP код:

<?php
$file_domens = file('domains.txt');
$unique = array_unique($file_domens);
foreach($unique as $key){
    $open = fopen('unique_domains.txt',"a+"); 
    fwrite($open,$key); 
    fclose($open);
}
?>

это если в списке тупо домены, тоесть одного вида url.com или www.url.com

[LeXxiK]

ну я например имел в виду то же, что и инкогнито
есть список урлов, в которых присутствуют одинаковые домены, в результате должны получить список урлов без повторов доменов
jarosek, это не по домену, а просто по уникальной строке
incognito, спасибо

[incognito]

Сообщение от jarosek

ну он же написал что по домену
вобщем вот по домену...

тогда бы он скорее назвал уникально по строке
и "\n" лишнее

опоздал бл...

[jarosek]

Сообщение от incognito

тогда бы он скорее назвал уникально по строке
и "\n" лишнее

ага, я просто не понял толком какого вида списокдумал у него простая задача...
лексик, обновил пост
про \n завтыкал, убрал когда увидел)

[Syncmaster]

Всем спасибо

[Сварщик]

попробуй это там сервисе имеется удаление повторов

[tobari]

Сообщение от jarosek

ну он же написал что по домену
вобщем вот по домену

PHP код:

<?php
$file_domens = file('domains.txt');
$unique = array_unique($file_domens);
foreach($unique as $key){
    $open = fopen('unique_domains.txt',"a+"); 
    fwrite($open,$key); 
    fclose($open);
}
?>

это если в списке тупо домены, тоесть одного вида url.com или www.url.com

тогда уж лучше вот так

PHP код:

<?php
$file_domens = file('domains.txt');
$unique = array_unique($file_domens);
$open = fopen('unique_domains.txt',"a+");
foreach($unique as $key){ 
    fwrite($open,$key); 
}
fclose($open);
?>

[R@mire(]

Сообщение от Syncmaster

Подскажите чем можно удалить дубли по доменному имени.

http://solutionfix.org/soft/doublers/