чем чекнуть контент на странице?

[qvent]

Есть база, довольно большая, около 400к УРЛов.
на урле надо найти или не найти определённый контент, слово или словосочитание.
Пробовал хрумеровским анализатором ссылок, но он такую базу будет неделю лопатить, даже во много потоков.
Мож какие нибудь альтернативы есть как быстро это сделать?

[submitter]

Сообщение от 1een

Быстрее хрумеровского вряд ли найдешь - ставь максимальное дозволенное твоей виндой потоков (500-700), вернее сколько она потянет. А дальше все упирается в канал и dns по сути. Так что имеет смысл наверное и с сервака (если хостер не против).

гг ты я вижу большой спец. У 32 битной винды в рапоряжении 2гб пространтва под стек потоков. по дефолту 1поток - 1 мб. можно подкрутить. и все это кол-во она потянет. Но надо юзать неблок. сокеты, а не плодить кучу потоков.

[mlu]

Сообщение от submitter

гг ты я вижу большой спец. У 32 битной винды в рапоряжении 2гб пространтва под стек потоков.

Хех, еще один спец 8)

http://msdn.microsoft.com/en-us/libr...=vs.85%29.aspx

On 32-bit versions of Windows, the /3GB parameter enables 4 GT RAM Tuning, a feature that enlarges the user-mode virtual address space to 3 GB and restricts the kernel-mode components to the remaining 1 GB.

[submitter]

Сообщение от mlu

Хех, еще один спец 8)

http://msdn.microsoft.com/en-us/libr...=vs.85%29.aspx

а ты я смотрю спец во всем. чо не в школе?
lol. 3 гига под стёк, а 0.5 оставить под хип .

Ты эту ссыль засунь себе в одно место. По дефолту 2 гига. Вопрос: где я сказал что нельзя это кол-во увеличить? Но признаю честно, я не знал . Потому что 2 гига должно хватать за глаза. Потоков вообще не должно быть больше чем ядер у процессора, потому что будет тратиться процессорное время впустую на переключение контекста.

Еще раз: заводить отдельный поток для каждого соединения - не правильно. Это говно архитектура. Интересно в твоём парсере используется такой подход ? судя по твоей начитанности, это именно так

я ж кодер, а не сис. админ - извращенец

[1een]

Лишь бы посраться на ровном месте

Потоков вообще не должно быть больше чем ядер у процессора, потому что будет тратиться процессорное время впустую на переключение контекста.

Вот это, бля вообще пушка. Какое переключение ядер, если тащим пакеты из интернетов? Скорости не сопоставимы ни разу.

Еще раз: заводить отдельный поток для каждого соединения - не правильно. Это говно архитектура.

Ты дурак или как? Уругвайский сервер отдает пакет 30 секунд, а русский - 0,01 сек. Нахера ждать уругвайца по твоей логике?

ps И да, checkparams тоже охуенен в данной ситуации.
pps Не кодер ни разу

[inkubus]

если одноразово и небольшое количество то хрумер.

если постоянно и много то чекпарамс.

[Botmaster]

Пробовал хрумеровским анализатором ссылок, но он такую базу будет неделю лопатить, даже во много потоков.

Какой канал-то, собственно?
400к на нормальном канале вполне за несколько часов можно прогнать. Могу продемонстрировать, если интересно