как парсить гугл без капчи?

[durman]

написал не большой скрипт тоскать снипеты из гугла. много потоков + прокси
и на тебе на каждый запрос отправляет на капчу!

может беда в прокси, юзаю обычные паблики те что за 10 уе на каждом сайте ?
но год назад так же их юзал и всё пучком было.

гугл озверел или как то хитро ботов научился определять ?

[Strikelol]

а куда ты стучишься? я буквально неделю назад парсил, было нормально все. ~600 проксей в 100 потоков

[banzai]

Сообщение от durman

может беда в прокси, юзаю обычные паблики те что за 10 уе на каждом сайте ?

очень может быть бан и прокси, прокси из паблика уже старательно затраханы хрефером и кучей других парсилок

[durman]

в гугл стучусь, например
http://www.google.com/search?q=ashle...&noj=1&start=0

тест без проксей нормально работает. не может же быть что бы прямо все в бане были

[sergeospb]

Сообщение от durman

в гугл стучусь, например
http://www.google.com/search?q=ashle...&noj=1&start=0

тест без проксей нормально работает. не может же быть что бы прямо все в бане были

если приходишь на гугл без кукисов с нового ипа, такое действительно может быть.

[Strikelol]

я по 10 результатов брал, недавно смотрел один дорген который парсит снипеты - там так же по 10 результатов.

[durman]

а кто aol парсил, он тоже капчи показывает?