Цитата:
Сообщение от WebNinja
тоже спрошу, может есть знатоки.
гугл например банит надолго айпи? и сколько примерно запросов можно с одного делать?
|
У гуглы надо рандомом паузы ставить от 8-20 секунд, тщательно подражать браузеру заголовками, каждый раз менять Юзер Агента. По такой схеме парсер стучит с одного IP круглые сутки без бана, но это касается обычного запроса "по вхождению" запросы с участием inurl к сожалению я так и не научился парсить, бан на 3-ей странице, причём эксперименты с рандомным чередованием запросов ничего не дали
Бан гуглы обычно от получаса до часа, при этом может нормально возвращать первую страницу результата