Как фильтровать Гуглоботов?

[Добратебе]

Подскажите как фильтровать ботов гугла, какие юзерагенты они используют, или может есть другие способы ?

[wazzup]

У ботов гугла в UA есть слово google, так и ловлю
Кто-то ещё IP проверяет

[Dimazzan]

фильтровал по UA и подсетям гугла

[Добратебе]

а где подсети гугловские можно взять не подскажешь?

[zpromo]

Сообщение от Добратебе

а где подсети гугловские можно взять не подскажешь?

Берем супер-пупер мега парсер и парсим-копируем всякие открытые логи, статистики и прочее. Пробиваем на предмет наличия строчек типа crawl-66-249-67-18.googlebot.com и так далее. Найти всяких логов и статистик можно гигабайты. Из них выковырять штук 100 гугловских подсеток. Ну, или купить у того, кто уже напарсил..

[x999xx]

сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд

[googleum]

тебе с какой целью фильтровать?
клоачить редик/контент?
Там всего 10 диапазонов забанить и вопрос решен.
хотя индексит онли с 5.
бан по юзерагентам не желателен так как иногда он их не юзает, иногда даже с реферером гугл.ком заходит. хуегознает зачем такая проверка.
ну и с подключением!

[Lanhost]

В поиске вбить (Диапазон IP-адресов поисковых роботов) и просто фильтровать потом по этим IP адресам.
А так же можно включить логи на хостинге, там сразу видны все похождения поисковых систем.

[капрал]

http://bgp.he.net/search?search[search]=google+inc&commit=Search

но у гугла есть акцепторы кторые ходят не из корп сети гугла, а откуда прийдется, как простые пользователи

[digg]

Сообщение от x999xx

сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд

так гугл же в вмт тулсе для моб девайсов сам показывает, что типа вот блять на этой ссылке сильно маленький шрифт и вокруг нее мало места
другое дело, что делать пиздатую ссылку в шапке или меню со всех страниц сайта сквозняком но скрытую стилями и эта стр и будет ловушкой для бота особенно если рефер в хедерах будет - свой же домен