Чем спарсить урлы на страницы, сайт на 7м?

[smsupport]

Мне нужно что-то вроде паука по сайту. А потом составить отчет по всем найденным уникальным URL сайта.

Тестировал Xenu – умер на 1.7 м.

Есть ли фри софт или скрипт способные это сделать?

[главторг]

Сообщение от smsupport

Мне нужно что-то вроде паука по сайту. А потом составить отчет по всем найденным уникальным URL сайта.

Тестировал Xenu – умер на 1.7 м.

Есть ли фри софт или скрипт способные это сделать?

1.7м чего
сколько страниц на сайте
тз поподробней опиши

[majordon]

контент даунлоадер попробуй

[banzai]

вроде бы это тебе должно подойти http://www.inspyder.com/products/Sit...r/Default.aspx
платный правда, но малоли на торрентах живет

[marcircbers]

попробуй фришные http://wonderwebware.com/sitemap-gen.../download.html и http://apocx.ru/stgrabber-1-1-parsin...jta/index.html

[Avi]

Microsys.A1.Sitemap.Generator.3.0.3

[smsupport]

Microsys.A1.Sitemap.Generator.3.0.3 -
http://www.microsystools.com/product...nerator-pages/ - вроде как лимит даже на про 100к урлов.
Wonderwebware.com - протестировал. Парсит 60к урлов, дальше обрывает.

Кидайте еще софт, буду тестировать...

[spasibo]

на сайте есть какая-нибудь pagination? типа
page/1
page/2
или может есть карта сайта?
чтобы все 7М страниц не качать.

[just4fun]

или роботс позырь, сайтмапы мож какие есть)

[smsupport]

Сайт хитрый.
Пагинатора нет + результаты ограничены 6000 в каждой категории.
Сайтмап есть, но он тоже кастрирован.

Вариант распарсить только через блок "похожий контент", но для этого и нужен паук

Короче все сайтмап генераторы не могут спарсить так много урлов.