Парсинг Google. Идеи и альтернативы? - Форум успешных вебмастеров - GoFuckBiz.com

Hector · 17.04.2015, 10:48

В последнее время гугл стало невозможно парсить на предмет, например, гостевых. Вопрос, как сейчас нужно парсить? Иметь пачку прокси или может есть другие решения? Я паршу бинг но результатом не удовлетворен, выдача странная у него по НЧ. Собирается один мусор. Использую хрефер.

happend · 18.04.2015, 11:22

Цитата:

Сообщение от Maximus325

Ща тебе от меня стукнется чел, Брайном звать, скайп krebs1978 вроде

это фейк. он '72 года

~~sliderxxx~~ · 03.03.2016, 02:44

Давно не парсил, генерил контент, решил попробовать на сниппетах. Поделитесь как сейчас у гугла с этим. Надо под доры(сниппеты), промышленно. Паблик прокси почти все забанены в гугле. Не паблик, тоже очень быстро уходят в бан. Про сервисы, использующие выдачу гугла знаю, но интересует именно гугл, да и в этих сервисах тоже ограничения. Как парсят всякие доргены, которые на сниппетах? С паузами тоже не вариант, надо быстро и много.

Hector · 03.03.2016, 10:27

http://www.gofuckbiz.com/showthread.php?t=42644
Правда ответа на вопрос я не нашел)) Только прокси, медленно и каптча.

TOBBOT · 03.03.2016, 12:18

Уже не первый раз пишу об этом: для нормального парсинга гугла нужно сохранять успешные сессии (куки, прокси, юзерагент) и далее работать с них.

~~sliderxxx~~ · 03.03.2016, 12:26

Цитата:

Сообщение от TOBBOT

для нормального парсинга гугла нужно сохранять успешные сессии (куки, прокси, юзерагент) и далее работать с них.

И на сколько это отсрочит бан? Есть какие-то наблюдения по лимитам?

Hector · 03.03.2016, 13:00

Цитата:

Сообщение от TOBBOT

Уже не первый раз пишу об этом: для нормального парсинга гугла нужно сохранять успешные сессии (куки, прокси, юзерагент) и далее работать с них.

Ты имеешь ввиду сохранять под конкретный прокси конкретную куку с юзерагентом?

TOBBOT · 03.03.2016, 17:15

Цитата:

Сообщение от Hector

Ты имеешь ввиду сохранять под конкретный прокси конкретную куку с юзерагентом?

да.

Цитата:

Сообщение от sliderxxx

И на сколько это отсрочит бан? Есть какие-то наблюдения по лимитам?

Было около 200 проксей, в 50 потоков спарсил 60к запросов с паузой в 5 сек между запросами. Без распознавания капчи.
Т.е. настройки (прокси, куки, юзергент) были привязаны к потоку. Если запрос удачный, то парсинг продолжался с теми же настройками.

Koshak01 · 03.03.2016, 18:10

TOBBOT: 200 проксей, в 50 потоков спарсил 60к запросов с паузой в 5 сек

5 секунд после чего ?

sliderxxx: смотри у меня в подписи =)

На сегодня я делаю ежедневно около 2 000 000 запросов к гуглу( плюс минут 100 000 )

по технической части - это 30 роботов( потоки это в прошлом ) с постоянной нагрузкой( как запрос закончен, робот сразу получает новое задание из очереди)

на выходе все что есть в выдаче - снипет, урл, ссылка

про скорость Можешь спросить у форумчан, кто пользуется =)

для гугла у меня пулы - там крутится около 10 000 спутников, которые готовы принимать задания и отвечать( ну их сложно назвать проксями - но если по простому назовем их так )

Вот как то так

все спутники с историей - кукии сесии, юзерагенты - история - порядка 2х лет наверно

kibnet · 03.03.2016, 18:13

Цитата:

Сообщение от Koshak01

для гугла у меня пулы - там крутится около 10 000 спутников, которые готовы принимать задания и отвечать( ну их сложно назвать проксями - но если по простому назовем их так )

это ты про ботнет?

Koshak01 · 03.03.2016, 18:17

Цитата:

Сообщение от kibnet

это ты про ботнет?

бот нет это у хакеров) у меня все чисто и пушисто )

спутники - микро комп в компе) с проверкой сети - доступна не доступна )

там их намного больше - просто идея такая что если прокся на спутнике не доступна - он становится не виден для робота ) - или например гугл забанил спутник, тогда он тоже на день становится недоступный

с бот нетом я дело не имел) там же управлять им как то нужно - незнаю, наверно не для моих задач