Парсинг выдачи гугл.

[Dyachek]

Спасибо. Не актуально.

[WebNinja]

есть мнение что гугл привыкает постепенно, если много идет запросов без использования специальных операторов.

[solar]

правила успешного парсинга:

С одного айпи не больше 2-3 запросов в секунду, может даже 1, попробуй.
Подбирай правильно юзер агента и все заголовки.
Операторы используй как можно реже.
Чем более разнообразнее запросы, тем меньше веротятность бана.
Используй прокси.

[kip]

Я использую timeout в 4 секунды и не чувствую никаких проблем =)

[Dem0kratizat0r]

Сообщение от kip

Я использую timeout в 4 секунды и не чувствую никаких проблем =)

круто

У меня такая схема работает с 17 секундами. Наверное от ip зависит.
Ведь и правда, если пров посадил кучу народа за NATом или прозрачно проксирует весь трафик, то народ заебётся капчу вводить. Гугля это видимо как-то заложила в своих алгоритмах.

[Dyachek]

Спасибо.

[termi]

у меня с одного ип тоже примерно 20 секунд задержка без бана, точно не измерял но это наверное с использованием спец операторов типа инурл. во всяком случае у меня) Мне вот тоже показалось, что гугл смотрит схожесть запросов и может забанить на тип запроса и при этом давайть выдачу на обычный текстовый запрос. например, жесткий бан идет по запросу site:user.blogohosting.com/script.php , таким запросом, кто не понял вытаксиваются параметры скрипта. через прокси сервис ваще ни разу выдачу не выдал, только со своего компа.
пс: жаль, что у гугла своего сёрч апи нет, вот яху в этом плане радует, даже сайтэксплорер апи есть, Бэки вытаскиваются на ура, но опять же только 1к)

[mr_codec]

подскажите где раздобыть парсер который бы выдирал описания сайтов из гугла по заданному ключевику

[ziavra]

Сообщение от termi

у меня с одного ип тоже примерно 20 секунд задержка без бана, точно не измерял но это наверное с использованием спец операторов типа инурл. во всяком случае у меня) Мне вот тоже показалось, что гугл смотрит схожесть запросов и может забанить на тип запроса и при этом давайть выдачу на обычный текстовый запрос. например, жесткий бан идет по запросу site:user.blogohosting.com/script.php , таким запросом, кто не понял вытаксиваются параметры скрипта. через прокси сервис ваще ни разу выдачу не выдал, только со своего компа.
пс: жаль, что у гугла своего сёрч апи нет, вот яху в этом плане радует, даже сайтэксплорер апи есть, Бэки вытаскиваются на ура, но опять же только 1к)

У него есть api, только для него ключи уже порядка года не раздают.