|
|
| | Дата |
|
| USD/RUB | 93.4409 | | BTC/USD | 64062.9741 |
|
|
|
| Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
21.05.2016, 20:14
|
#1
|
|
Senior Member
Регистрация: 01.11.2012
Сообщений: 403
Бабло: $129450
|
Как фильтровать Гуглоботов?
Подскажите как фильтровать ботов гугла, какие юзерагенты они используют, или может есть другие способы ?
__________________
Дорого выкупаю качественный (не биржевой) траффик US, CA, IT, UK, FR, JP, AU. Интересуют крупные объемы.
|
|
|
|
23.05.2016, 10:53
|
#2
|
|
Senior Member
Регистрация: 06.03.2010
Сообщений: 198
Бабло: $31390
|
У ботов гугла в UA есть слово google, так и ловлю
Кто-то ещё IP проверяет
|
|
|
|
|
23.05.2016, 15:48
|
#3
|
|
Senior Major
Регистрация: 06.04.2015
Сообщений: 615
Бабло: $86014
|
фильтровал по UA и подсетям гугла
|
|
|
|
|
26.05.2016, 03:52
|
#4
|
|
Senior Member
Регистрация: 01.11.2012
Сообщений: 403
Бабло: $129450
-->
|
ТС
а где подсети гугловские можно взять не подскажешь?
__________________
Дорого выкупаю качественный (не биржевой) траффик US, CA, IT, UK, FR, JP, AU. Интересуют крупные объемы.
|
|
|
|
|
26.05.2016, 04:14
|
#5
|
|
Ебланнед
Регистрация: 01.09.2008
Сообщений: 247
Бабло: $43580
|
Цитата:
Сообщение от Добратебе
а где подсети гугловские можно взять не подскажешь?
|
Берем супер-пупер мега парсер и парсим-копируем всякие открытые логи, статистики и прочее. Пробиваем на предмет наличия строчек типа crawl-66-249-67-18.googlebot.com и так далее. Найти всяких логов и статистик можно гигабайты. Из них выковырять штук 100 гугловских подсеток. Ну, или купить у того, кто уже напарсил..
__________________
Делаю и продаю сайты. Можно оптом. Размещаю ссылки. 100 тыс. сайтов-доноров. За $10 - 20 тыс. ссылок.
|
|
|
|
|
26.05.2016, 04:59
|
#6
|
|
xx999x
Регистрация: 20.12.2010
Сообщений: 2,215
Бабло: $473391
|
сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд
__________________
я знаю стабильный курс на будущее eur/(usd+0.001) + usd/(eur+0.00101) = 0 (  )
|
|
|
|
|
26.05.2016, 11:15
|
#7
|
|
big bro
Регистрация: 12.07.2008
Сообщений: 931
Бабло: $357966331
|
тебе с какой целью фильтровать?
клоачить редик/контент?
Там всего 10 диапазонов забанить и вопрос решен.
хотя индексит онли с 5.
бан по юзерагентам не желателен так как иногда он их не юзает, иногда даже с реферером гугл.ком заходит. хуегознает зачем такая проверка.
ну и с подключением!
|
|
|
|
|
26.05.2016, 12:45
|
#8
|
|
Senior Member
Регистрация: 24.05.2016
Сообщений: 198
Бабло: $21810
|
В поиске вбить (Диапазон IP-адресов поисковых роботов) и просто фильтровать потом по этим IP адресам.
А так же можно включить логи на хостинге, там сразу видны все похождения поисковых систем.
|
|
|
|
|
26.05.2016, 23:48
|
#10
|
|
$400
Регистрация: 17.05.2009
Сообщений: 13,953
Бабло: $1895870
|
Цитата:
Сообщение от x999xx
сделай скрытые ссылки на странице, хуки или как их называют
кароче обычный юзер не счелкнет по ней (потомучто ее на паге не будет видно)
ну и паси ботов, и сразу добавляй в бд
|
так гугл же в вмт тулсе для моб девайсов сам показывает, что типа вот блять на этой ссылке сильно маленький шрифт и вокруг нее мало места
другое дело, что делать пиздатую ссылку в шапке или меню со всех страниц сайта сквозняком но скрытую стилями и эта стр и будет ловушкой для бота особенно если рефер в хедерах будет - свой же домен |
|
|
|
|
Линейный вид
