Чем спарсить урлы на страницы, сайт на 7м?

[smsupport]

Мне нужно что-то вроде паука по сайту. А потом составить отчет по всем найденным уникальным URL сайта.

Тестировал Xenu – умер на 1.7 м.

Есть ли фри софт или скрипт способные это сделать?

[Strikelol]

Закажи скрипт на питоне или сделай как majordon посоветовал.
в КД - там две кнопки нажать
скрипт тоже не сложный

[spasibo]

content downloader не потянет 7м урлов.
только если запустить 7 копий программы, и разбивку как-то, чтобы урлы не пересекались.

кидай сайт в топик)

[netsparet]

OfflineExplorer + Textpipe
OfflineExplorer'у пох сколько страниц и textpipe ебашит дай бог