Ручной бан гугла, палим индусов

[solar]

привет
можен конечно баян, но я вот не так давно начал наблюдать часто заходы с айпи 74.125.16.x. в частности:
74.125.16.1
74.125.16.6
74.125.16.70
по хуизу это гугловская сетка.

ходит с человеческим юзер агентом Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7

ходит с рефом гугла вида http://www.google.com/search?q=Doorway.com

Вообще ситуация в выдаче последнее время не очень меня радует, не знаю имеют ли к этому отношение эти "индусы".
Хотелось бы узнать следующее: есть ли у вас такие айпи в логах, и есть ли бан или понижение в позициях после их прихода? Может стоить их как-нибудь хитро клоачить?

[andrew13_k]

Сообщение от solar

andrew13_k, мониторить тысячи запросов руками анрил. Я думаю алго все-таки есть. В конце концов можно даже не в выдачу смотреть, а немного в другие места и душить дорвейщиков практически в момент создания дора

Еще раз повторяю - на высокочастотках ЕСТЬ ручная модерация. Это не мои догадки, а я тебе просто говорю, что это факт. И никакого алго. Почему я так уверен ... да потому что я по своим сайтам гляжу и вижу как мы обходим алго и как раз с 1 места ты попадаешь в не индекс в обход алго. Если был бы алго - не боялись бы и пессимизировали,а так бояться ... легче вообщеиз индекса выкинуть
А мониторить 1000 запросов для гугла это раз плюнуть. Думаю мониторится руками не 1000 а сильно больше. Уже же объяснили что нанимают таких людей везде и много, их сильно больше 1000 =) Так что посчитаем и придем к выводу, что руками мониторить можно и сотни тысяч запросов легко.

[deschain]

Сообщение от andrew13_k

Еще раз повторяю - на высокочастотках ЕСТЬ ручная модерация.

+1. Общеизвестный факт

[solar]

Есть модерация, я не спорю. Вопрос в том как попробовать ее отсрочить, если не в ВЧ, то на сч-нч.

[ykar]

Сообщение от solar

Ты уверен, что на перечисленых сетках нет гуглобота? И файрволом закрывать тоже не совсем верно помоему, может быть 500 Busy будет правильнее? Или просто в начало страницы ставить sleep(), чтобы он сам по таймауту отваливался.

На 100% конечно не уверен, но по своему опыту могу сказать что гуглбот ходит только с сетки 66.249.64.0/19.

Думаю один фиг: бесконечный sleep, 503 Not Available или блокировка через firewall. Во всех случаях, по логике, бот не смог скачать страничку и просто попробует это сделать позже.

[solar]

покопал логи

сетка 74.125.0.0.
в частности подсеть 74.125.16.0
судя по всему это хитробот. меняет юзер агенты, например:

Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14

Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7

Google-Sitemaps/1.0

Mozilla/5.0 (compatible; Google Keyword Tool; +http://adwords.google.com/select/KeywordToolExternal)

Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)

делает в день несколько десятков хитов на новые и на старые страницы.
Рефереры у меня ставит либо http://www.google.com/search?q=doman.com либо пусто вообще. Причем, если реф q=doman.com, то бывает что он приходит на страницы, которых в индексе гугла нет вообще. Палится

с других подсеток тоже есть обращения,рефы разные и гугловские и сайтов с бэками, но именно этот зачастил.
Может быть что инженеры гугла ходят с работы смотреть как доры поживают.
забаню наверное..