Как фильтровать Гуглоботов? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB73.4747
BTC/USD47167.5948
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 21.05.2016, 20:14   #1
Добратебе
Senior Member
 
Аватар для Добратебе
 
Регистрация: 01.11.2012
Сообщений: 403
Бабло: $129440
Question Как фильтровать Гуглоботов?

Подскажите как фильтровать ботов гугла, какие юзерагенты они используют, или может есть другие способы ?
__________________
Дорого выкупаю качественный (не биржевой) траффик US, CA, IT, UK, FR, JP, AU. Интересуют крупные объемы.
Добратебе вне форума  
Старый 23.05.2016, 10:53   #2
wazzup
Senior Member
 
Регистрация: 06.03.2010
Сообщений: 183
Бабло: $28960
По умолчанию

У ботов гугла в UA есть слово google, так и ловлю
Кто-то ещё IP проверяет
wazzup вне форума  
Старый 23.05.2016, 15:48   #3
Dimazzan
Senior Major
 
Аватар для Dimazzan
 
Регистрация: 06.04.2015
Сообщений: 586
Бабло: $81754
По умолчанию

фильтровал по UA и подсетям гугла
Dimazzan вне форума  
Старый 26.05.2016, 03:52   #4
Добратебе
Senior Member
 
Аватар для Добратебе
 
Регистрация: 01.11.2012
Сообщений: 403
Бабло: $129440
ТС -->
автор темы ТС По умолчанию

а где подсети гугловские можно взять не подскажешь?
__________________
Дорого выкупаю качественный (не биржевой) траффик US, CA, IT, UK, FR, JP, AU. Интересуют крупные объемы.
Добратебе вне форума  
Старый 26.05.2016, 04:14   #5
zpromo
Ебланнед
 
Регистрация: 01.09.2008
Сообщений: 247
Бабло: $43580
По умолчанию

Цитата:
Сообщение от Добратебе Посмотреть сообщение
а где подсети гугловские можно взять не подскажешь?
Берем супер-пупер мега парсер и парсим-копируем всякие открытые логи, статистики и прочее. Пробиваем на предмет наличия строчек типа crawl-66-249-67-18.googlebot.com и так далее. Найти всяких логов и статистик можно гигабайты. Из них выковырять штук 100 гугловских подсеток. Ну, или купить у того, кто уже напарсил..
__________________
Делаю и продаю сайты. Можно оптом. Размещаю ссылки. 100 тыс. сайтов-доноров. За $10 - 20 тыс. ссылок.
zpromo вне форума  
Старый 26.05.2016, 04:59   #6
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,206
Бабло: $470751
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума  
Старый 26.05.2016, 11:15   #7
googleum
big bro
 
Аватар для googleum
 
Регистрация: 12.07.2008
Сообщений: 866
Бабло: $357954931
По умолчанию

тебе с какой целью фильтровать?
клоачить редик/контент?
Там всего 10 диапазонов забанить и вопрос решен.
хотя индексит онли с 5.
бан по юзерагентам не желателен так как иногда он их не юзает, иногда даже с реферером гугл.ком заходит. хуегознает зачем такая проверка.
ну и с подключением!
googleum вне форума  
Старый 26.05.2016, 12:45   #8
Lanhost
Senior Member
 
Аватар для Lanhost
 
Регистрация: 24.05.2016
Сообщений: 176
Бабло: $19450
По умолчанию

В поиске вбить (Диапазон IP-адресов поисковых роботов) и просто фильтровать потом по этим IP адресам.
А так же можно включить логи на хостинге, там сразу видны все похождения поисковых систем.
Lanhost вне форума  
Старый 26.05.2016, 13:02   #9
капрал
Юниор
 
Регистрация: 05.05.2014
Сообщений: 12
Бабло: $2360
По умолчанию

http://bgp.he.net/search?search[search]=google+inc&commit=Search

но у гугла есть акцепторы кторые ходят не из корп сети гугла, а откуда прийдется, как простые пользователи
капрал вне форума  
Старый 26.05.2016, 23:48   #10
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 10,531
Бабло: $1518455
Отправить сообщение для digg с помощью ICQ
По умолчанию

Цитата:
Сообщение от x999xx Посмотреть сообщение
сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд
так гугл же в вмт тулсе для моб девайсов сам показывает, что типа вот блять на этой ссылке сильно маленький шрифт и вокруг нее мало места
другое дело, что делать пиздатую ссылку в шапке или меню со всех страниц сайта сквозняком но скрытую стилями и эта стр и будет ловушкой для бота особенно если рефер в хедерах будет - свой же домен
digg вне форума