Ручной бан гугла, палим индусов

[solar]

привет
можен конечно баян, но я вот не так давно начал наблюдать часто заходы с айпи 74.125.16.x. в частности:
74.125.16.1
74.125.16.6
74.125.16.70
по хуизу это гугловская сетка.

ходит с человеческим юзер агентом Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7

ходит с рефом гугла вида http://www.google.com/search?q=Doorway.com

Вообще ситуация в выдаче последнее время не очень меня радует, не знаю имеют ли к этому отношение эти "индусы".
Хотелось бы узнать следующее: есть ли у вас такие айпи в логах, и есть ли бан или понижение в позициях после их прихода? Может стоить их как-нибудь хитро клоачить?

[xatman]

Сообщение от reality

У меня в стате есть заходы на доры из гугла по запросам: site: doorway.com my-doorway-page, по которым переходы идут соответственно на http://doorway.com/my-doorway-page.html

ip гугловские вроде как. Что с ними делать пердлагаете

+1
Аналогичная ситуация. Причём было такое месяца два назад - щаз поутихло.

Добавлю только то, что утром по запросу site: doorway.com my-doorway-page - было что-то , через 2-3 часа пусто. И еще, в индексе были только те паги, на которые так лазили.

[Romaks]

Сообщение от RoMel

да там все миллонеры

Не, они не миллионеры - это мы бедные.

[Joyen]

Парни, а нет ни у кого хтаксесса, чтобы можно было всех кто с гугла отправлять на сутру, но тех у кого в запросе "site:" оставлять на доре?

[sandy]

Сообщение от solar

я это все к тому, что раньше их не было прям явно вот так, или я не замечал.
Если это бот, то клоакинг он не спалит.



Значит по любому туда броузер обычный сходил, или бот редирект исполнил.
последствия были?

не я думаю как раз бот ходит, человеки бы пробанили блоги на блоггере, а этого не наблюдается

[solar]

Я думаю что ревьюверы просто выставляют сайту оценки, затем все сайты помеченные как дорвеи отправляются на обработку спецам по алгоритму.

Руками никто не банит, они прекрасно видят схему работы дорвея и крутят движок выдачи. К счастью сделать это не так то просто, потому что если у страницы скажем есть 100-200 параметров которые влияют на ее позиции, то надо подкрутить движок так, что бы не слетели белые сайты. Когда мы видим мощный апдейт по выдаче, значит программеры написали патч затыкающий очередные пару дырок в алгоритмах ))

мне вот еще такой вопрос интересен:, если есть спец бот, который палит клоакинг, то зачем пускать его с гугловской сетки? Это очень легко закрыть с нашей стороны. Хотя есть конечно шанс, что все действительно настолько тупо сделано.

получается, что ревьюверов мы не запалим т.к айпишники у них свои
обоим ботам надо выдавать одинаковый чистый контент, а всем кто с рефом гугла (не site: итд) надо выдавать клоакинг.

[reality]

Сообщение от xatman

+1
Аналогичная ситуация. Причём было такое месяца два назад - щаз поутихло.

Добавлю только то, что утром по запросу site: doorway.com my-doorway-page - было что-то , через 2-3 часа пусто. И еще, в индексе были только те паги, на которые так лазили.

У меня 2 дня назад с такими запросами пошлялись по моим дорам. Примерно 50% в выдаче по таким запросам уже нет, вторая половина на месте. Доры не в бане, даже траф на них сейчас есть. Думаю если бы это были люди, то был бы бан, т.к. доры на белые сайты не очень похожи, но правда и трафа копейки на них, может фильтры а не бан вписали.

P.S. Доры без редиректа, с js выдачей. Так что ничего криминального по идее бот даже выполнив все скрипты заметить не должен был.

[TerVer]

Сообщение от reality

...P.S. Доры без редиректа, с js выдачей. Так что ничего криминального по идее бот даже выполнив все скрипты заметить не должен был.

а что он должен был заметить? Думаю он смотрит на ссылки. Если без редиректа поставишь ссылку жирную и он это спалит, то санкции будут одинаковые. А выдача на js - это куча ссылок. По идее он исполняет скрипт и смотрит контент.

[ykar]

Сообщение от reality

Это кому был ответ? У меня статистика на js написана, так что про "Javascript не исполняют" точно не верно

Пересмотрел логи специально. Да, действительно в некоторых случаях исполняет javascript (если реферер вида q=site%3Adomain.com то не исполняет, а если q=site%3Adomain.com+page.html - исполняет). Х.з. может дорабатывали бота.
Я вобще закрыл следующие сетки от греха по дальше firewall-ом:

74.125.0.0/16
72.14.192.0/18
209.85.128.0/17
216.239.32.0/19
64.233.160.0/19

Конечно потерялось немного посетителей которые через гугловский mobile proxy, vpn и т.п. Но по субьективному мнению, доры стали дольше жить.

Кстати, только что заметил, он и из сетки 66.249 лазил с такими проверками. Кроме таких рефереров еще подставлял реферер ресурсов в которых была ссылка на этот дор, и еще реальные запросы по которым дор был в выдаче. Javascript исполнял. IP не ресолвится в crawl-xxxx.googlebot.com. Но не человек это тоже, так как запросы с этого IP были на протяжении суток с перерывами максимум 7 часов.

Сообщение от solar

интересно, и что после таких посещений была движуха по своим позициям?

за позициями не слежу, да и по дорам это мало что изметит и так и так пару дней живут

[andrew13_k]

Руками БАНЯТ. Могу подтвердить из личного пыта и чесно уже заипали ...
Банят просто если ты попадешьв топ в ЮС выдачу по слову Виагра (топ это топ 5 примерно) - ты больше суток не провисишь(а дальше твоего сайта просто небудлет в индексе, никакой пессимизации ... если ты на фрихосте - может они не бояться банить весь фрихост а твою сетку не знают как на нем найти - может по этому и пессимизируют сильно просто), у меня не получалось. Часто по другим "известным" запросам. Тока что сцуки казырный но до селе не "банный" запрос тоже обработали.

Имхо это не тока в гугле люди сами шерстят, а еще по жалобам работают.
Никакого алго тама нет, алго мы обходим ща
А с ручным баном бороться анриал - как ты против людей то попрешь Дор он и есть дор. В топовых нишах их отличить от зареккомендованных ресурсов - ничего не стоит.

[solar]

andrew13_k, мониторить тысячи запросов руками анрил. Я думаю алго все-таки есть. В конце концов можно даже не в выдачу смотреть, а немного в другие места и душить дорвейщиков практически в момент создания дора

ykar, интересно, спасибо. я тоже посмотрю лог получше, сравним результаты. Ты уверен, что на перечисленых сетках нет гуглобота? И файрволом закрывать тоже не совсем верно помоему, может быть 500 Busy будет правильнее? Или просто в начало страницы ставить sleep(), чтобы он сам по таймауту отваливался.