Как полностью забанить ботов на сайте? - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB89.7026
BTC/USD69231.5399
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 24.02.2018, 22:41
Start Post: Как полностью забанить ботов на сайте? 
  #11
roddik
Senior Member
 
Аватар для roddik
 
Регистрация: 12.01.2009
Сообщений: 346
Бабло: $86613
По умолчанию

Привет, надо полностью забанить ботов, парсящих сайт.

Я, конечно, понимаю, что против офигенного софта, который эмулирует мотание мышью в реальном браузере ничего особо сделать не получится.

Но как минимум нужно проверять, что у юзера есть яваскрипт, мышь при движении вызывает onmouseover и прочие жс евенты, canvas fingerprint, webgl hash совпадает с юзерагентом, вот это все. 0,05% гиков, которые отключают яваскрипт пусть идут лесом.

Какие есть сервисы (можно платные) или скрипты для реализации подобного?
roddik вне форума  
Старый 26.02.2018, 18:25   #12
PanteraSoft
Senior Member
 
Аватар для PanteraSoft
 
Регистрация: 19.02.2012
Сообщений: 2,806
Бабло: $502130
По умолчанию

Самые конченые ltx71 - (http://ltx71.com/)
PanteraSoft вне форума  
Старый 26.02.2018, 20:24   #13
precautions
Senior Member
 
Регистрация: 01.08.2016
Сообщений: 1,332
Бабло: $155245
По умолчанию

Цитата:
Сообщение от roddik Посмотреть сообщение
Вопрос в том, что ставить в куку, чтобы девелопер бота не вытащил ее руками и не прописал своему боту?
Куку придётся менять при каждом новом посещении, и прописывать туда суммарное количество заходов и срок валидности куки(1-2 минуты) в зашифрованном виде. Если запрошено больше 200 страниц за 5 минут(цифры примерные) - на часок начать давать капчу этому IP+Useragent (или по Куке, но её могут и очистить).
Короче, получается сложно и некрасиво.

Посмотри простой вариант Защиты от ботов, основанная на различии в работе с большими числами в JavaScript и PHP.


Я не знаю твоего уровня, возможностей и степени дотошности, но надо делать комплексную защиту:

- забанить IP публичных хостингов в фаеровле сервера, первичный список есть в этой теме на Серче.

- сделать исключение для IP поисковых систем (не все IP, ибо у Google есть IPV4 proxy-google.com, прокси IPV6-> IPV4, публичный хостинг на googleusercontent.com)

- забанить все "нехорошие" юзерагенты в настройках веб-сервера по примеру поста Creolabs. На Апаче я баню через httpd.conf - туда инклудится отдельный файл с плохими useragent.

- применить на сайте свою "изюминку" для отсева ботов, не исполняющих яваскрипт (куки, работа с BigInteger по ссылке выше и тп).

- отсеять ботов на PhantomJS или SlimerJS, они исполняют JS, но палятся по сигнатурам.

- мониторить логи и по необходимости делать защиту от тех ботов, кто прорвался через сито выше. Но как это делать я не могу обсуждать в паблике. Ибо слитые в паблик темы перестают работать.


PS: Могу добавить, что ботов сейчас шарится по сайтам больше, чем нормальный посетителей. И даже простые способы защиты достаточно эффективны.

Последний раз редактировалось precautions; 26.02.2018 в 20:35.
precautions вне форума