Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.8870
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 21.05.2016, 20:14   #1
Добратебе
Senior Member
 
Аватар для Добратебе
 
Регистрация: 01.11.2012
Сообщений: 326
Бабло: $111860
Question Как фильтровать Гуглоботов?

Подскажите как фильтровать ботов гугла, какие юзерагенты они используют, или может есть другие способы ?
__________________
Дорого выкупаю качественный (не биржевой) траффик US, CA, UK, FR, JP, AU c пирогов/доров/адвордса и тд. Интересуют крупные объемы.
Добратебе на форуме  
Старый 23.05.2016, 10:53   #2
wazzup
Member
 
Регистрация: 06.03.2010
Сообщений: 83
Бабло: $14215
По умолчанию

У ботов гугла в UA есть слово google, так и ловлю
Кто-то ещё IP проверяет
wazzup вне форума  
Старый 23.05.2016, 15:48   #3
Dimazzan
Senior Major
 
Аватар для Dimazzan
 
Регистрация: 06.04.2015
Сообщений: 331
Бабло: $47719
По умолчанию

фильтровал по UA и подсетям гугла
Dimazzan вне форума  
Старый 26.05.2016, 03:52   #4
Добратебе
Senior Member
 
Аватар для Добратебе
 
Регистрация: 01.11.2012
Сообщений: 326
Бабло: $111860
ТС -->
автор темы ТС По умолчанию

а где подсети гугловские можно взять не подскажешь?
__________________
Дорого выкупаю качественный (не биржевой) траффик US, CA, UK, FR, JP, AU c пирогов/доров/адвордса и тд. Интересуют крупные объемы.
Добратебе на форуме  
Старый 26.05.2016, 04:14   #5
zpromo
Ебланнед
 
Регистрация: 01.09.2008
Сообщений: 271
Бабло: $43580
По умолчанию

Цитата:
Сообщение от Добратебе Посмотреть сообщение
а где подсети гугловские можно взять не подскажешь?
Берем супер-пупер мега парсер и парсим-копируем всякие открытые логи, статистики и прочее. Пробиваем на предмет наличия строчек типа crawl-66-249-67-18.googlebot.com и так далее. Найти всяких логов и статистик можно гигабайты. Из них выковырять штук 100 гугловских подсеток. Ну, или купить у того, кто уже напарсил..
__________________
Делаю и продаю сайты. Можно оптом. Размещаю ссылки. 100 тыс. сайтов-доноров. За $10 - 20 тыс. ссылок.
zpromo вне форума  
Старый 26.05.2016, 04:59   #6
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,204
Бабло: $468791
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума  
Старый 26.05.2016, 11:15   #7
googleum
big bro
 
Аватар для googleum
 
Регистрация: 12.07.2008
Сообщений: 778
Бабло: $357940856
По умолчанию

тебе с какой целью фильтровать?
клоачить редик/контент?
Там всего 10 диапазонов забанить и вопрос решен.
хотя индексит онли с 5.
бан по юзерагентам не желателен так как иногда он их не юзает, иногда даже с реферером гугл.ком заходит. хуегознает зачем такая проверка.
ну и с подключением!
googleum на форуме  
Старый 26.05.2016, 12:45   #8
Lanhost
Member
 
Аватар для Lanhost
 
Регистрация: 24.05.2016
Сообщений: 48
Бабло: $6290
По умолчанию

В поиске вбить (Диапазон IP-адресов поисковых роботов) и просто фильтровать потом по этим IP адресам.
А так же можно включить логи на хостинге, там сразу видны все похождения поисковых систем.
Lanhost вне форума  
Старый 26.05.2016, 13:02   #9
капрал
Юниор
 
Регистрация: 05.05.2014
Сообщений: 12
Бабло: $2350
По умолчанию

http://bgp.he.net/search?search[search]=google+inc&commit=Search

но у гугла есть акцепторы кторые ходят не из корп сети гугла, а откуда прийдется, как простые пользователи
капрал вне форума  
Старый 26.05.2016, 23:48   #10
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 7,993
Бабло: $1214640
Отправить сообщение для digg с помощью ICQ
По умолчанию

Цитата:
Сообщение от x999xx Посмотреть сообщение
сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд
так гугл же в вмт тулсе для моб девайсов сам показывает, что типа вот блять на этой ссылке сильно маленький шрифт и вокруг нее мало места
другое дело, что делать пиздатую ссылку в шапке или меню со всех страниц сайта сквозняком но скрытую стилями и эта стр и будет ловушкой для бота особенно если рефер в хедерах будет - свой же домен
digg на форуме