Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.2470
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 14.08.2013, 18:20   #1
durman
Senior Member
 
Аватар для durman
 
Регистрация: 06.02.2008
Сообщений: 315
Бабло: $91645
По умолчанию как парсить гугл без капчи?

написал не большой скрипт тоскать снипеты из гугла. много потоков + прокси
и на тебе на каждый запрос отправляет на капчу!

может беда в прокси, юзаю обычные паблики те что за 10 уе на каждом сайте ?
но год назад так же их юзал и всё пучком было.

гугл озверел или как то хитро ботов научился определять ?
durman вне форума  
Старый 14.08.2013, 18:37   #2
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

а куда ты стучишься? я буквально неделю назад парсил, было нормально все. ~600 проксей в 100 потоков
Strikelol вне форума  
Старый 14.08.2013, 19:49   #3
banzai
Senior Member
 
Аватар для banzai
 
Регистрация: 28.04.2007
Сообщений: 1,568
Бабло: $190592
Отправить сообщение для banzai с помощью ICQ
По умолчанию

Цитата:
Сообщение от durman Посмотреть сообщение
может беда в прокси, юзаю обычные паблики те что за 10 уе на каждом сайте ?
очень может быть бан и прокси, прокси из паблика уже старательно затраханы хрефером и кучей других парсилок
__________________
Заспамит все, что шевелится, что не шевелится сначала разговорит Гугла бояться - в интернет не ходить.
banzai вне форума  
Старый 14.08.2013, 19:51   #4
durman
Senior Member
 
Аватар для durman
 
Регистрация: 06.02.2008
Сообщений: 315
Бабло: $91645
ТС -->
автор темы ТС По умолчанию

в гугл стучусь, например
http://www.google.com/search?q=ashle...&noj=1&start=0

тест без проксей нормально работает. не может же быть что бы прямо все в бане были
durman вне форума  
Старый 14.08.2013, 20:00   #5
sergeospb
коплю на феррари
 
Регистрация: 03.07.2008
Сообщений: 1,262
Бабло: $148195
По умолчанию

Цитата:
Сообщение от durman Посмотреть сообщение
в гугл стучусь, например
http://www.google.com/search?q=ashle...&noj=1&start=0

тест без проксей нормально работает. не может же быть что бы прямо все в бане были
если приходишь на гугл без кукисов с нового ипа, такое действительно может быть.
sergeospb вне форума  
Старый 14.08.2013, 20:01   #6
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

я по 10 результатов брал, недавно смотрел один дорген который парсит снипеты - там так же по 10 результатов.
Strikelol вне форума  
Старый 15.08.2013, 20:58   #7
durman
Senior Member
 
Аватар для durman
 
Регистрация: 06.02.2008
Сообщений: 315
Бабло: $91645
ТС -->
автор темы ТС По умолчанию

а кто aol парсил, он тоже капчи показывает?
durman вне форума