Как заблокировать лишних ботов на сервере?

[John]

Как правильно заблоикровать лишних ботов на сервере? CentOS

Я указал в конфиге nginx.conf

PHP код:

server { 
if ($http_user_agent ~ SputnikBot|MegaIndex|Crowsnest|Baiduspider|Twitterbot|OpenLinkProfiler|Semrush|PaperLiBot|peerindex|ia_archiver|Slurp|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) { 
return 403; 
} 


Однако все равно вижу в логах ботов SputnikBot или MJ12bot например. Они получают 200 ОК.

Заблокировал пока временно через htaccess, но хотелось бы глобально на сервере заблокировать.

[Hector]

PHP код:

    if ($http_user_agent ~* "curl|ahrefs|crawler|majestic|R6_CommentReader|python|urllib|MJ12bot|Baiduspider|DomainTools|360Spider|linkdex|genieo.com|ltx71.com|WordPress|similartech.com" ) {
        return 403;
    } 


[John]

Сообщение от Hector

PHP код:

    if ($http_user_agent ~* "curl|ahrefs|crawler|majestic|R6_CommentReader|python|urllib|MJ12bot|Baiduspider|DomainTools|360Spider|linkdex|genieo.com|ltx71.com|WordPress|similartech.com" ) {
        return 403;
    } 


Блин, да тоже не работает. Сминил юзерагент, зашел на сайт

Вот лог, отдает 200 ОК. Сервер перезагружал.

PHP код:

 [12/Aug/2016:13:47:15 +0300] "GET / HTTP/1.0" 200 47868 "-" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/plugins/easy-vkontakte-connect/css/social-likes_classic.css?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/plugins/easy-vkontakte-connect/css/style-share.css?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-includes/css/dashicons.min.css?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/themes/mantra/style.css?ver=2.5.0 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-includes/js/jquery/jquery.js?ver=1.12.4 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.4.1 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/plugins/easy-vkontakte-connect/js/jquery.cookie.js HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/themes/mantra/js/frontend.js?ver=2.5.0 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/themes/mantra/style-mobile.css?ver=2.5.0 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/plugins/easy-vkontakte-connect/js/evc-share.js HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/plugins/easy-vkontakte-connect/js/social-likes.min.js?ver=3.0.4 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-includes/js/wp-embed.min.js?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
[12/Aug/2016:13:47:16 +0300] "GET /wp-includes/js/wp-emoji-release.min.js?ver=4.5.3 HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/themes/mantra/images/socials/Facebook.png HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/themes/mantra/images/socials/Twitter.png HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:16 +0300] "GET /wp-content/themes/mantra/images/socials/RSS.png HTTP/1.1" 304 0 "http://domen.ru/" "AhrefsBot"
 [12/Aug/2016:13:47:17 +0300] "GET /favicon.ico HTTP/1.0" 200 - "http://domen.ru/" "AhrefsBot" 


Вставляю сразу после

PHP код:

server { 


В файл /etc/nginx/nginx.conf

Нашел еще файл nginx.conf.rpmsave

В него тоже вставил. Все равно пускает. Только черех хтаксес блокировка работает

[Hector]

У тебя может проблема в другом месте в конфиге.

Сообщение от John

Нашел еще файл nginx.conf.rpmsave

это бекап файл
он не будет отрабатывать
слушай найми админа если сам не того

[John]

Сообщение от Hector

У тебя может проблема в другом месте в конфиге.


это бекап файл
он не будет отрабатывать
слушай найми админа если сам не того

Да я сам хочу разобраться. Ну не разберусь, тогда найму. Сам-то нафига научился, нанял бы админа)

[Hector]

А ты не используешь конфиги в папке conf.d?

[John]

Сообщение от Hector

А ты не используешь конфиги в папке conf.d?

Да, есть

PHP код:

include /etc/nginx/conf.d/*.conf;
include /etc/nginx/vhosts/*/*.conf; 


Но там вроде ничего к этому относящегося нет

[скабичевский]

Попробуй список в скобки возьми:
if ($http_user_agent ~* (SputnikBot|MegaIndex|Crowsnest) )

[John]

Сообщение от скабичевский

Попробуй список в скобки возьми:
if ($http_user_agent ~* (SputnikBot|MegaIndex|Crowsnest) )

Не помогает. Что ж за фигня-то))

[веломан]

Сообщение от John

Я указал в конфиге nginx.conf

где указал то?