Чем спарсить все URL большого сайта?

[smsupport]

Судя по гугл индексу на сайте 1.5+ млн страниц.

Если какой-то софт или скрипты для многопоточного прохода по всем страницам с сохранением уникальных в базу или текстовый файлик?

[Бздетектив]

Сообщение от smsupport

Максимум 999, так и напарсило до 500к.

Странно... Как вариант, попробуй ему скормить список спарсенных страниц, вдруг поможет

[DelRio]

Рекомендую Screaming Frog SEO Spider, лучше чем xenu 100%. Качай с торентов любую старую версию с кряком. Тебе нужен этот кряк. С офиц сайта качай последнюю версию самого фрога, ставь, генери ключ старым кряком. все.

[smsupport]

DelRio, жабка бомба просто, еще и одну задачу походу дела решила. спасибо!

[4MIN]

Sitemap Writer Pro (спарсит все урлы даже во фришной версии) и SiteAnalyzer (но лям страниц скорее всего не обработает и зависнет).

[smsupport]

4MIN, Sitemap Writer Pro завис уже на 2.4 ляма. Жабка рулит, только ОЗУ на нужно от 32Гб.

[DonBablo]

teleport pro задать ему только урлы собрать.

[веломан]

Сообщение от DonBablo

teleport pro задать ему только урлы собрать.

эх прога с 1997 работает, и всё ещё работает
сколько сайтов парсил ей в 00х
отличная штука

[DonBablo]

Сообщение от веломан

эх прога с 1997 работает, и всё ещё работает
сколько сайтов парсил ей в 00х
отличная штука

Да, было время.....
слил сайт телепортом, вырезал контент и вставил в свой дизайн словогрызом - сайт готов