Парсинг Гугла. Подстановка +site/site.

[n!ce.]

Никто не задавался вопросом как лучше парсить запросы по доменным зонам?

Есть 2 варианта. Перебор всех зон для каждого запроса или перебор всех запросов для каждой зоны.
Наглядно это выглядит примерно так(знак "+" можно опускать, при парсинге роли не играет):

1 вариант

inurl:zapros1 +site:com
inurl:zapros1 +site:net
inurl:zapros1 +site:org

inurl:zapros2 +site:com
inurl:zapros2 +site:net
inurl:zapros2 +site:org

inurl:zapros3 +site:com
inurl:zapros3 +site:net
inurl:zapros3 +site:org
-----------------------------
2 вариант

inurl:zapros1 +site:com
inurl:zapros2 +site:com
inurl:zapros3 +site:com

inurl:zapros1 +site:net
inurl:zapros2 +site:net
inurl:zapros3 +site:net

inurl:zapros1 +site:org
inurl:zapros2 +site:org
inurl:zapros3 +site:org

Интересует именно то, как относится гугл к 1-му и 2-му способу. В каком больше вероятность бана. В 1-м способе идет подряд один и тот же запрос, меняются только доменные зоны (из может быть например 30, тогда 30 рад подряд один и тот же запрос). Во 2-м способе запросы грубо говоря рандомно отдаются гугле.

ЗЫ: А может при многопоточном парсинге, тем более через прокси, пофигу на все это? Интересно ваше мнение.

[JackSoft]

пофигу

[krokodile]

С inurl чтобы парсить с нормальной скоростью всё равно надо зверское количество проксиков.Так что я бы не стал подобными вопросами мозг забивать)

[Hector]

по inurl обычно гугл быстро банит

[spomoni]

по inurl обычно гугл быстро банит

Хз, всегда по инурл парсю, 200 проксей, вроде нормально.

[Hector]

по инурлу быстрее бан - это факт а не "вроде"

[n!ce.]

Вопрос не в том как быстро гугл банит за inurl, это и так понятно, что он не очень к этому относится. Вопрос в том какая разница будет между 1 и 2 вариантами в 1-м моем посте

[kanscx]

+100. Но правда 200 проксей для парсинга ето нормально в принципе, если много потоков не делать.

[n!ce.]

я парсю из расчета 4 прокси на 1 поток. 400 потоков - 1600 проксей

[Erdaud]

все зависит от парсера.
парсим из расчета - 1 поток = 2-3 прокси.
200 потоков в среднем. (обычные, паблик) за сутки выдачу от ляма до двух спарсивает, inurl:zapros и до упора высасывает без подстановок (обход ограничения в 1000)

самописное не баниццо -)