Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.9610
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 02.08.2015, 23:19   #1
Nebrila
Ебланнед
 
Регистрация: 03.07.2015
Сообщений: 527
Бабло: $96655
Question Парсинг сниппетов Яндекса через прокси.

В общем как не пытаюсь парсить сниппеты через прокси яндекс банит ip сразу и выдает свою капчу . Нужно парсить так что бы без капчи.
Паршу зенкой. У кого подобная проблема возникала ?

Последний раз редактировалось Nebrila; 02.08.2015 в 23:27.
Nebrila вне форума  
Старый 03.08.2015, 07:35   #2
GrifMK
Senior Member
 
Аватар для GrifMK
 
Регистрация: 27.01.2013
Сообщений: 207
Бабло: $39945
По умолчанию

Прокси паблик?
GrifMK вне форума  
Старый 03.08.2015, 14:12   #3
Matt Cutts
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 723
Бабло: $93460
Отправить сообщение для Matt Cutts с помощью Skype™
По умолчанию

У Яндекса самая мощная банилка по прокси - так их все задрали. Если решать парсинг, то вставить в зенке мини цикл - проверку на бан регуляркой - других решений нет.

Чем не устраивают сниппеты Бинга (без прокси)?
Matt Cutts вне форума  
Старый 03.08.2015, 14:20   #4
DonGenaro
Senior Member
 
Аватар для DonGenaro
 
Регистрация: 23.02.2011
Сообщений: 643
Бабло: $93830
По умолчанию

а мне интересно почему снипеты? не лучше ли парсить контент с тематических сайтов напрямую, типа как это реализовано в плагине к пандорабоксу, обращение к ПС минимально...
DonGenaro вне форума  
Старый 03.08.2015, 17:49   #5
Nebrila
Ебланнед
 
Регистрация: 03.07.2015
Сообщений: 527
Бабло: $96655
ТС -->
автор темы ТС По умолчанию

а если юзать акки яндекса ?
Nebrila вне форума  
Старый 03.08.2015, 18:11   #6
alkoustas
Ебланнед
 
Регистрация: 08.04.2011
Адрес: Украина, Севастополь
Сообщений: 633
Бабло: $144424
По умолчанию

в апурсере вот сессии юзаются. может и не совсем сессии, тут одному форбиддену известно.
вот в тесте ебнул сначала с каптчей. написало что сохранена гуг сессия.
потом уже отключил антигейт и со 'скрипом' но пошло. это тупо обычный паблик прокси

More

пробежался сначала с каптчей а потом оно почти без нее идет
и нормално все парсит
alkoustas вне форума  
Старый 03.08.2015, 18:12   #7
Matt Cutts
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 723
Бабло: $93460
Отправить сообщение для Matt Cutts с помощью Skype™
По умолчанию

Цитата:
а если юзать акки яндекса ?
Тогда через API (нужны лимиты)
Matt Cutts вне форума  
Старый 03.08.2015, 20:32   #8
alter13
В дурке выходные
 
Аватар для alter13
 
Регистрация: 09.09.2014
Сообщений: 1,354
Бабло: $183435
По умолчанию

через Rich Content API парсятся норм
alter13 вне форума  
Старый 03.08.2015, 21:14   #9
Nebrila
Ебланнед
 
Регистрация: 03.07.2015
Сообщений: 527
Бабло: $96655
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от alter13 Посмотреть сообщение
через Rich Content API парсятся норм
там по урлам а надо кеям
Nebrila вне форума  
Старый 03.08.2015, 21:25   #10
alter13
В дурке выходные
 
Аватар для alter13
 
Регистрация: 09.09.2014
Сообщений: 1,354
Бабло: $183435
По умолчанию

Цитата:
Сообщение от Nebrila Посмотреть сообщение
там по урлам а надо кеям
урлы по кеям собрать проблем чтоли?
alter13 вне форума  
Закрытая тема



Опции темы
Опции просмотра