Удаление дублей по доменному имени.

[Syncmaster]

Подскажите чем можно удалить дубли по доменному имени.

[Алёша]

Сообщение от Sheikh

апостер быстрее всего чистит на дубли, пару минут буквально, хрумер очень долго зависает на больших базах

пара минут это сколько гигов база?
попробуй так:
perl -le 'while(<>){chomp;$a{$_}=0}while($k=each%a){print$k }' file.in > file.out