Парсинг Google. Идеи и альтернативы?

[Hector]

В последнее время гугл стало невозможно парсить на предмет, например, гостевых. Вопрос, как сейчас нужно парсить? Иметь пачку прокси или может есть другие решения? Я паршу бинг но результатом не удовлетворен, выдача странная у него по НЧ. Собирается один мусор. Использую хрефер.

[kibnet]

Сообщение от Koshak01

бот нет это у хакеров) у меня все чисто и пушисто )

спутники - микро комп в компе) с проверкой сети - доступна не доступна )

там их намного больше - просто идея такая что если прокся на спутнике не доступна - он становится не виден для робота ) - или например гугл забанил спутник, тогда он тоже на день становится недоступный

с бот нетом я дело не имел) там же управлять им как то нужно - незнаю, наверно не для моих задач

что-то ты много чего интересного говоришь, давай ка чето пропали, на чем пишешь, пару ссылок дай, на то , о чем пишешь)

[TOBBOT]

Сообщение от Koshak01

TOBBOT: 200 проксей, в 50 потоков спарсил 60к запросов с паузой в 5 сек
5 секунд после чего ?

очевидно же. между запросами в потоке.

если в базе 10к IP, то на паузы разумеется пофиг.

роботы, спутники, потоки, нити, процессы... какая нафиг разница как называть параллельное выполнение заданий.

[sliderxxx]

Про спутники все понятно, кроме одного. Прокси юзаешь или нет? Если юзаешь, то где столько набрать? Если нет, то какая разница, спутники там потоки или вокеры (хоть как назови), это внутреннее устройство. И как шифроваться от гугла вопрос открыт.

А, невнимательно прочитал. Прокси все-таки юзаются.

[Мот]

пользуюсь Кошака смартфечем, доволен полностью. Что такое покупать прокси, впс и все остальное я забыл, 10-15к кейвордов отрабатывает минут за 15-20

[Koshak01]

Сообщение от kibnet

что-то ты много чего интересного говоришь, давай ка чето пропали, на чем пишешь, пару ссылок дай, на то , о чем пишешь)

пишу на питоне) паршу со времен promopulse.ru - было это в году 2008

теперь все что знал собрал в SmartFetch.io ) - все просто)

Сообщение от TOBBOT

очевидно же. между запросами в потоке.

если в базе 10к IP, то на паузы разумеется пофиг.

роботы, спутники, потоки, нити, процессы... какая нафиг разница как называть параллельное выполнение заданий.

вот в том и разница )

потоки, нити = не дают паралельность) а спутники/процессы дают) так как они разделены не внутри приложения, а есть сами приложение )

Если спутник умрет не велика потеря) убил/поднял, а вот например тред убить ты не сможешь) а нить тем более))))

ну и когда идет массовое что-то, если отвалилась сеть - то все приложение тоже встало )

[AcademIR]

роботы, спутники - научная фантастика какая-то %)

[tomatok]

Сообщение от Мот

пользуюсь Кошака смартфечем, доволен полностью. Что такое покупать прокси, впс и все остальное я забыл, 10-15к кейвордов отрабатывает минут за 15-20

И сколько стоит парсинг этих 10к кейвордов?
На сайте пишет например, что цена 10к запросов с картинок гугла 800 р., все верно?

[mr. werewolf]

Сообщение от Koshak01

например тред убить ты не сможешь) а нить тем более))))

а в чем разница между "тредом" и "нитью" в твоем понимании? Если я правильно понял о чем ты, то это ведь одно и то же. Только первое это интерпретация произношения слова Thread, а второе одно из его значений.

[Strikelol]

расскажу как убить тред в обмен на два робота и один спутник

[Мот]

Сообщение от tomatok

И сколько стоит парсинг этих 10к кейвордов?
На сайте пишет например, что цена 10к запросов с картинок гугла 800 р., все верно?

у меня спец цены
ниже чем на сайте, поэтому не знаю