Удаление дублей по доменному имени.

[Syncmaster]

Подскажите чем можно удалить дубли по доменному имени.

[dim7]

http://codecult.org/freesoft/baseeditor.zip

[dady]

Гуглил не нашёл ничего путнего, есть список урлов надо удалить дубликаты по домену, лучше десктоп.
p.s хрумера нет)

[Dr.Gonzo]

А демо-версии у хрумера уже нет? В последний раз пользовался ей для решения похожей задачи

[Tvister]

Аггресс парсер

[seroja]

Если путного ничего не найдешь и секретной инфы нету, кидай файл почищу хрумкой.

[katardy]

тут несколько вариантов

[dady]

Сообщение от Dr.Gonzo

А демо-версии у хрумера уже нет? В последний раз пользовался ей для решения похожей задачи

К сожалению, демо-версия XRumer более не предоставляется для скачивания.
Это связано с участившимися попытками взлома защиты программы.

Сообщение от Tvister

Аггресс парсер

спс вроде то что надо, затещщу.

[Tvister]

кстати могу старый ломаный хрум дать

[masolit]

PHP код:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urlparse

urls = map(lambda x: x.replace('\n', ''), open('my_file.txt').readlines())

for url in set(urlparse.urlparse(x).netloc for x in urls):
    print url 


[Sheikh]

апостер быстрее всего чистит на дубли, пару минут буквально, хрумер очень долго зависает на больших базах