Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.9640
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 12.08.2016, 13:07   #1
John
Senior Member
 
Регистрация: 08.10.2011
Сообщений: 166
Бабло: $44385
Question Как заблокировать лишних ботов на сервере?

Как правильно заблоикровать лишних ботов на сервере? CentOS

Я указал в конфиге nginx.conf

PHP код:
server 
if (
$http_user_agent SputnikBot|MegaIndex|Crowsnest|Baiduspider|Twitterbot|OpenLinkProfiler|Semrush|PaperLiBot|peerindex|ia_archiver|Slurp|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) { 
return 
403


Однако все равно вижу в логах ботов SputnikBot или MJ12bot например. Они получают 200 ОК.

Заблокировал пока временно через htaccess, но хотелось бы глобально на сервере заблокировать.
John вне форума  
Старый 12.08.2016, 13:15   #2
Hector
Статус кво
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: California
Сообщений: 11,252
Бабло: $1447290
Отправить сообщение для Hector с помощью ICQ
По умолчанию

PHP код:
    if ($http_user_agent ~* "curl|ahrefs|crawler|majestic|R6_CommentReader|python|urllib|MJ12bot|Baiduspider|DomainTools|360Spider|linkdex|genieo.com|ltx71.com|WordPress|similartech.com" ) {
        return 
403;
    } 
Hector на форуме  
Старый 12.08.2016, 14:51   #3
John
Senior Member
 
Регистрация: 08.10.2011
Сообщений: 166
Бабло: $44385
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
PHP код:
    if ($http_user_agent ~* "curl|ahrefs|crawler|majestic|R6_CommentReader|python|urllib|MJ12bot|Baiduspider|DomainTools|360Spider|linkdex|genieo.com|ltx71.com|WordPress|similartech.com" ) {
        return 
403;
    } 
Блин, да тоже не работает. Сминил юзерагент, зашел на сайт

Вот лог, отдает 200 ОК. Сервер перезагружал.

PHP код:
 [12/Aug/2016:13:47:15 +0300"GET / HTTP/1.0" 200 47868 "-" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/plugins/easy-vkontakte-connect/css/social-likes_classic.css?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/plugins/easy-vkontakte-connect/css/style-share.css?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-includes/css/dashicons.min.css?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/themes/mantra/style.css?ver=2.5.0 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-includes/js/jquery/jquery.js?ver=1.12.4 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.4.1 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/plugins/easy-vkontakte-connect/js/jquery.cookie.js HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/themes/mantra/js/frontend.js?ver=2.5.0 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/themes/mantra/style-mobile.css?ver=2.5.0 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/plugins/easy-vkontakte-connect/js/evc-share.js HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/plugins/easy-vkontakte-connect/js/social-likes.min.js?ver=3.0.4 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-includes/js/wp-embed.min.js?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
[12/Aug/2016:13:47:16 +0300"GET /wp-includes/js/wp-emoji-release.min.js?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/themes/mantra/images/socials/Facebook.png HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/themes/mantra/images/socials/Twitter.png HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:16 +0300"GET /wp-content/themes/mantra/images/socials/RSS.png HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 
[12/Aug/2016:13:47:17 +0300"GET /favicon.ico HTTP/1.0" 200 "http://domen.ru/" "AhrefsBot" 
Вставляю сразу после

PHP код:
server 
В файл /etc/nginx/nginx.conf

Нашел еще файл nginx.conf.rpmsave

В него тоже вставил. Все равно пускает. Только черех хтаксес блокировка работает
John вне форума  
Старый 12.08.2016, 15:10   #4
Hector
Статус кво
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: California
Сообщений: 11,252
Бабло: $1447290
Отправить сообщение для Hector с помощью ICQ
По умолчанию

У тебя может проблема в другом месте в конфиге.

Цитата:
Сообщение от John
Нашел еще файл nginx.conf.rpmsave
это бекап файл
он не будет отрабатывать
слушай найми админа если сам не того
Hector на форуме  
Старый 12.08.2016, 15:30   #5
John
Senior Member
 
Регистрация: 08.10.2011
Сообщений: 166
Бабло: $44385
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
У тебя может проблема в другом месте в конфиге.


это бекап файл
он не будет отрабатывать
слушай найми админа если сам не того
Да я сам хочу разобраться. Ну не разберусь, тогда найму. Сам-то нафига научился, нанял бы админа)
John вне форума  
Старый 12.08.2016, 15:36   #6
Hector
Статус кво
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: California
Сообщений: 11,252
Бабло: $1447290
Отправить сообщение для Hector с помощью ICQ
По умолчанию

А ты не используешь конфиги в папке conf.d?
Hector на форуме  
Старый 12.08.2016, 15:45   #7
John
Senior Member
 
Регистрация: 08.10.2011
Сообщений: 166
Бабло: $44385
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Hector Посмотреть сообщение
А ты не используешь конфиги в папке conf.d?
Да, есть

PHP код:
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/vhosts/*/
*.conf
Но там вроде ничего к этому относящегося нет
John вне форума  
Старый 12.08.2016, 15:56   #8
скабичевский
Member
 
Аватар для скабичевский
 
Регистрация: 20.04.2013
Сообщений: 84
Бабло: $15100
По умолчанию

Попробуй список в скобки возьми:
if ($http_user_agent ~* (SputnikBot|MegaIndex|Crowsnest) )
скабичевский вне форума  
Старый 12.08.2016, 16:22   #9
John
Senior Member
 
Регистрация: 08.10.2011
Сообщений: 166
Бабло: $44385
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от скабичевский Посмотреть сообщение
Попробуй список в скобки возьми:
if ($http_user_agent ~* (SputnikBot|MegaIndex|Crowsnest) )
Не помогает. Что ж за фигня-то))
John вне форума  
Старый 12.08.2016, 19:17   #10
веломан
Senior Member
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 5,892
Бабло: $695605
По умолчанию

Цитата:
Сообщение от John Посмотреть сообщение
Я указал в конфиге nginx.conf
где указал то?
веломан на форуме  
Закрытая тема



Опции темы
Опции просмотра