Парсинг Хрефом - Форум успешных вебмастеров

~~RS500~~ · 11.11.2011, 02:18

Как заставить Хреф парсить гугл много и долго? Обычные прокси не помогают, парсит минут 10 потом тишина.

katardy · 11.11.2011, 02:21

побольше прокси

~~RS500~~ · 11.11.2011, 02:22

Цитата:

Сообщение от katardy

побольше прокси

обычных или только соксы?

katardy · 11.11.2011, 02:28

2-3к паблик проксей и кое-что можно собрать

~~RS500~~ · 11.11.2011, 02:31

Цитата:

Сообщение от katardy

2-3к паблик проксей и кое-что можно собрать

кое-что я и на 200 проксях собирал, но этого мало.
а еще какие-то настройки нужны? там задержки перед запросом?
может число потоков уменьшить с 50 до 10?

katardy · 11.11.2011, 02:42

200 это очень мало

Buga · 11.11.2011, 03:13

на хуевых проксях плохо парсит, нужны качественные тогда все ок

Botmaster · 11.11.2011, 03:55

Море прокси это неплохо, но есть и другие варианты, поинтересней. Вот 2 навскидку.

Способ 1
См.статью "Парсинг без границ" здесь (к хреферу правда отношение имеет отдалённое)

Способ 2
Ни для кого не секрет, что выдачу гугла можно увидеть не только на google.com - по лицензии гугла работают многие порталы по всему миру.

Например, гугловскую выдачу имеют go.mail.ru, search.icq.com и многие другие. Какие-то из них имеют автобан за парсинг по IP, а какие-то можно парсить без прокси, сколько душе угодно. Находим такой клон гугла, настраиваем на него Hrefer через "Tuning", и вперёд.

Sultan · 11.11.2011, 08:48

можно под анонимайзеры тюнить

~~RS500~~ · 11.11.2011, 17:52

Цитата:

Сообщение от Buga

на хуевых проксях плохо парсит, нужны качественные тогда все ок

где их взять?