чем чекнуть контент на странице?

[qvent]

Есть база, довольно большая, около 400к УРЛов.
на урле надо найти или не найти определённый контент, слово или словосочитание.
Пробовал хрумеровским анализатором ссылок, но он такую базу будет неделю лопатить, даже во много потоков.
Мож какие нибудь альтернативы есть как быстро это сделать?

[submitter]

Не найдешь, пиши в личку, напишу под винду софтину на плюсах. не дорого
p.s. Кому что надо, welcome!

[FantomZ]

Хрумеровский анализатор отлично чекает, часа за 2 чекнет 400к. попробуй 5 хрумером, там чекалка быстрее работает.

[kip]

qvent, могу отчекать твою базу за 1-2 часа. Сервак пока все равно простаивает

[desert-eagle]

+1 за хрум, только конечно если норм канал, а так в 200 потоков за пару часов пройдет

[Nikola_N]

как писали выше в хрумере есть тулза

[mirikas]

чекпарамсом можно. ток надо предварительно его подпилить

[1een]

Быстрее хрумеровского вряд ли найдешь - ставь максимальное дозволенное твоей виндой потоков (500-700), вернее сколько она потянет. А дальше все упирается в канал и dns по сути. Так что имеет смысл наверное и с сервака (если хостер не против).

[mirikas]

чекпарамс шустрее хрумера будет. проверенно

[mlu]

Чекпарамсом очень быстро будет, упираться будет в канал, есть возможность качать и напрямую и через прокси. Повторы, задержки для антиддоса, ограничение на размер странцы, регулярки, скрипты - всё есть. За основу можно взять модули ucoz_registered или wp_version.