Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8870
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 16.01.2013, 10:25   #1
qvent
Сеньйор Помидор
 
Аватар для qvent
 
Регистрация: 28.08.2007
Сообщений: 1,729
Бабло: $375065
Отправить сообщение для qvent с помощью ICQ
По умолчанию чем чекнуть контент на странице?

Есть база, довольно большая, около 400к УРЛов.
на урле надо найти или не найти определённый контент, слово или словосочитание.
Пробовал хрумеровским анализатором ссылок, но он такую базу будет неделю лопатить, даже во много потоков.
Мож какие нибудь альтернативы есть как быстро это сделать?
qvent вне форума  
Старый 16.01.2013, 10:38   #2
submitter
Member
 
Регистрация: 02.10.2009
Сообщений: 32
Бабло: $11670
По умолчанию

Не найдешь, пиши в личку, напишу под винду софтину на плюсах. не дорого
p.s. Кому что надо, welcome!
submitter вне форума  
Старый 16.01.2013, 11:08   #3
FantomZ
В теме
 
Регистрация: 07.10.2010
Сообщений: 35
Бабло: $15180
По умолчанию

Хрумеровский анализатор отлично чекает, часа за 2 чекнет 400к. попробуй 5 хрумером, там чекалка быстрее работает.
FantomZ вне форума  
Старый 16.01.2013, 11:13   #4
kip
Senior Member
 
Аватар для kip
 
Регистрация: 06.05.2007
Сообщений: 473
Бабло: $67595
Отправить сообщение для kip с помощью ICQ
По умолчанию

qvent, могу отчекать твою базу за 1-2 часа. Сервак пока все равно простаивает
__________________
Пишу зло на PHP, с цмс не работаю
Мы немного упоролись!
kip вне форума  
Старый 16.01.2013, 12:31   #5
desert-eagle
Senior Member
 
Аватар для desert-eagle
 
Регистрация: 23.08.2010
Сообщений: 149
Бабло: $32480
По умолчанию

+1 за хрум, только конечно если норм канал, а так в 200 потоков за пару часов пройдет
desert-eagle вне форума  
Старый 16.01.2013, 12:33   #6
Nikola_N
$
 
Регистрация: 05.04.2007
Сообщений: 564
Бабло: $86805
По умолчанию

как писали выше в хрумере есть тулза
Nikola_N вне форума  
Старый 16.01.2013, 12:54   #7
mirikas
Senior Member
 
Аватар для mirikas
 
Регистрация: 25.12.2008
Сообщений: 1,099
Бабло: $272735
По умолчанию

чекпарамсом можно. ток надо предварительно его подпилить
mirikas вне форума  
Старый 16.01.2013, 13:54   #8
1een
Senior Member
 
Аватар для 1een
 
Регистрация: 28.05.2009
Сообщений: 1,306
Бабло: $161695
По умолчанию

Быстрее хрумеровского вряд ли найдешь - ставь максимальное дозволенное твоей виндой потоков (500-700), вернее сколько она потянет. А дальше все упирается в канал и dns по сути. Так что имеет смысл наверное и с сервака (если хостер не против).
1een вне форума  
Старый 16.01.2013, 13:57   #9
mirikas
Senior Member
 
Аватар для mirikas
 
Регистрация: 25.12.2008
Сообщений: 1,099
Бабло: $272735
По умолчанию

чекпарамс шустрее хрумера будет. проверенно
mirikas вне форума  
Старый 16.01.2013, 14:02   #10
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
Отправить сообщение для mlu с помощью ICQ
По умолчанию

Чекпарамсом очень быстро будет, упираться будет в канал, есть возможность качать и напрямую и через прокси. Повторы, задержки для антиддоса, ограничение на размер странцы, регулярки, скрипты - всё есть. За основу можно взять модули ucoz_registered или wp_version.
mlu вне форума  
Закрытая тема



Опции темы
Опции просмотра