Hidden Bots

[Drg]

После недавнего массового бана со стороны гугла, решил опять поискать ботов, которые полностью расшифровывают JS косят под обычного юзера.
Кто-нибудь еще этим занимался?
Примеры таких ботов:
72.14.192.67 66.249.85.67
Их достаточно легко вычислить, по тупым запросам и по хуизу, в которой OrgTechName: Google Inc.
Но думаю гугл не дурак, и наверняка уже поскупал IP, где в хуизе не светится Google Inc.
Кто-нибудь подскажет идеи по поиску?

[Drg]

Видимо все двигают либо полностью белые проекты, либо профили и клоакингом не занимаются)

[kanscx]

Upd. Глянул лог и статсы - судя по всему вряд ли он проходил. Хотя может быть и проходил, но уже так не палится как раньше.
Тем не менее, последняя сетка слишком быстро улетела в бан...

[dady]

Да полюбому у гугла какая нибуть компания неразглашённая есть на которую зарегана подсеть выявляющая клоакинг..
Тода надо не гугла вычеслять а провайдеров чтоли .. или это фантастика?

[operator]

ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому

[imgreen]

Сообщение от operator

ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому

а ты видел датацентры гугла?

[operator]

Сообщение от imgreen

а ты видел датацентры гугла?

ну согласись, реально многие, на сегодня актуальные, методы наебалова гугла не работали бы (тьфу тьфу тьфу), если бы у гугла было чудо-подразделение нинздя-ботов-антиклоакеров. постоянный мониторинг фарма выдачи заставляет меня усомнится в предположениях топикстартера

[ziavra]

Сообщение от operator

ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому

А как он тогда узнает результаты выполнения JS? вот хотя бы это
http://devaka.ru/articles/javascript-links-experiment

[dady]

может проверяются только подозрительные "сайты" ? быстрый прирост беков, быстрая индексация большого колва страниц? думаю если выделить по таким параметрам нужное то там и ненадо больших ресурсов для обработки.

[deschain]

dady, проверял, есть боты, выполняющие редиректы. Если шифровать, делать на странице <script src="url"> и хитро редиректить, то не проходит. Простой яваскрипт выполняет на ура. Делал две страницы, на одной стоит яваскрипт, на второй в лог пишутся заходы. На вторую страницу не заходил браузером никак, т.е. никакой тулбар бы не спалил, да и нет его у меня. Далее ставил один линк ПР5 и пихал в пингоматик. Через день/два, был заход на вторую страницу. Сам гуглобот приходил раньше. Айпи было из гугловской подсети.