Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.6890
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 08.04.2009, 11:23   #1
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443440
По умолчанию А как быстро банит AOL IP при парсинге?

Пишу тут небольшой микро парсерчег, думаю проксю вводить/не вводить?
Там примерно 1000 запросов с паузой например в 3 секунды, раз в сутки, забанит?
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 08.04.2009, 11:44   #2
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,921
Бабло: $322214
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

тоже спрошу, может есть знатоки.
гугл например банит надолго айпи? и сколько примерно запросов можно с одного делать?
WebNinja вне форума  
Старый 08.04.2009, 13:20   #3
LorikX
Senior Member
 
Регистрация: 07.01.2008
Сообщений: 148
Бабло: $19810
Отправить сообщение для LorikX с помощью ICQ
По умолчанию

Цитата:
Сообщение от WebNinja Посмотреть сообщение
тоже спрошу, может есть знатоки.
гугл например банит надолго айпи? и сколько примерно запросов можно с одного делать?
У гуглы надо рандомом паузы ставить от 8-20 секунд, тщательно подражать браузеру заголовками, каждый раз менять Юзер Агента. По такой схеме парсер стучит с одного IP круглые сутки без бана, но это касается обычного запроса "по вхождению" запросы с участием inurl к сожалению я так и не научился парсить, бан на 3-ей странице, причём эксперименты с рандомным чередованием запросов ничего не дали
Бан гуглы обычно от получаса до часа, при этом может нормально возвращать первую страницу результата
__________________
Желаний больше чем денег !!!
LorikX вне форума