Hidden Bots

[Drg]

После недавнего массового бана со стороны гугла, решил опять поискать ботов, которые полностью расшифровывают JS косят под обычного юзера.
Кто-нибудь еще этим занимался?
Примеры таких ботов:
72.14.192.67 66.249.85.67
Их достаточно легко вычислить, по тупым запросам и по хуизу, в которой OrgTechName: Google Inc.
Но думаю гугл не дурак, и наверняка уже поскупал IP, где в хуизе не светится Google Inc.
Кто-нибудь подскажет идеи по поиску?

[imgreen]

Через день/два, был заход на вторую страницу. Сам гуглобот приходил раньше. Айпи было из гугловской подсети.

А это как понять? На вторую страниц пришел гуглобот, только под другим юзерагентом?

ну согласись, реально многие, на сегодня актуальные, методы наебалова гугла не работали бы (тьфу тьфу тьфу), если бы у гугла было чудо-подразделение нинздя-ботов-антиклоакеров. постоянный мониторинг фарма выдачи заставляет меня усомнится в предположениях топикстартера

Не знаю про какие методы ты имеешь в виду, но мне кажется не в производительности их ДЦ дело точно)

[deschain]

imgreen, я не знаю, что это было, бот или индус. Юзер-агент был стандартный, что-то типа Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0). Я делал это давненько, и уже не помню этих деталей. Но в хуизе айпишника было написано про Google.
Сомневаюсь, что это был индус, видимо, какие-то хитроботы иногда гуляют по сайтам, всё-таки.

[Drg]

Сообщение от operator

ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому

Сколько раз я уже отвечал на подобный вопрос) ДА и уже давно кстати первый, кто начал читать js это был msn, притом от этих ботов такая нагрузка была... они просто одно время меня замучили...
Потом стал замечать, что поперл гугл, в начале у него был один и тот же Юзер Агент Firefox 1.5, потом уже юзерагент стал разным.

Полностью согласен с dady, гугл проверяет только подозрительные сайты и сайты с большим PR.

[kanscx]

Сообщение от operator

ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому

Да, приходит бот который полностью эмулирует пользователя и выполняет все скрипты. Я ето могу утверждать со 100% уверенностью на основе своих аналитических данных из логов.
Хотя каких-то года 3 назад вообще никто не верил что такое когда-то будет возможно.
И вообще, тема уже обсуждалась здесь не раз.

Кстати, по поводу бана сетки я ошибся... Гугл меня подъебал , вчера был просто провал трафа, сегодня снова пошел рост