Как нынче парсить Google?

[Nostikov]

Гугл прямо очень жестко последнее время себя ведет
нужно всего-то смотреть выдачу site:
работаю через прокси , скрипт работает раз в минуту, внутри скрипта sleep
- банит нещадно.

до смешного - руками вбил вчера раз 20
site:xxxxxx.com
так мой IP (dynamic shared на полгорода) - бан, и без капчи. только сегодня ожил

как быть то?


упс, сорри не в ту ветку, перенесите плз

[digg]

1 айпи = 1 выдача = 1 сутки
а если они не будут этого делать, то их зверо алгоритм со всеми их зоопарками сожрет ресурсов больше чем им реклама принесет

[x999xx]

go to google.com

да заходишь в выдачу, ctrl-s - сохранить, сохраняешь так все страницы
А потом обычным grep ссылки собираешь ))))

[Nostikov]

x999xx, с удовольствием так и делал бы, только для разных сайтов выдачу надо запрашивать)

[Botmaster]

Можно варьировать юзер-агенты и ещё некоторые другие нюансы HTTP-запроса. Использовать много хороших SOCKS-ов.

Новый Hrefer 5.0.1 обходит капчи Гугла (и Яндекса) в выдаче на автомате.

[digg]

суть в том, что даже соксы не спасают
ничего не спасает, особенно если в запросе присутствуют site: inurl: intitle: и тд
дает 10-15 результатов если выдача по 10 стр - потом капча
а если по 100 стр и то меньше
и к тому же режет выдачу из скажем 1кк результатов показывает 3 стр по 100 - в этом случае хоть по буквам перебирай под супер дорогими соксами и рекапчами всякими
раньше к примеру можно было выпарсить до 8-9 стр по 100

я не думаю что им до такой степени жалко, скорее всего кол-во страниц в инете стало таким большим, что серверное время на их обработку не дешевое выходит из-за этого