Боты или кто?

[migratetobrain]

Ситуация такая. Сделал я доров значит, на страницах постов поставил клоаку, клоаку вырубил, прогнал и начал ждать. Подождал пока заиндексируются станицы, врубил клоаку, взял для теста лэнд с кнопкой и направил на него поток компов с доров. На стате ТДС вижу 300 уников в сутки, которые идут на лэндинг с кнопкой, но на кнопку почему-то не нажимают (нажимает один из 10). Ну я подумал, что какбы не соответвует интересу. Но потом в логах апача увидел, что когда на лэндинг заходят те 1 из 10 с потока трафа и когда я захожу - идёт запрос на стили ксс и пнг кнопки ну и сама страница загружается. А все остальные грузят только страницу. То есть вот так человек с браузера заходит:

192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7690 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /button.png HTTP/1.0" 200 9480 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /css/jquery-ui.css?1 HTTP/1.0" 404 1704 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /css/style.css?13436 HTTP/1.0" 404 1704 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"

И вот такая картина, когда заходят остальные 9 из 10:

100.38.188.68 - - [22/Oct/2018:15:48:34 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7697 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

То есть они не запрашивают почему-то ни кнопку, ни ксс, ничего. Это чё получается бот? В тдске они все уникальные, страны разные, юзерагенты разные. Я чё-то не недопонимаю, или это реально столько ботов 90%, или клоака чё-то мутит? Подскажите плиз за ситуацию.

Взял логи ТДС за 3 дня, вытянул ИП - все уникальные.

Соврал немного, не 9 из 10, а 15 из 20 - в общем 75% где-то.

[migratetobrain]

Сообщение от gumu

У тебя перед апачем нгинкс стоит?

На лэндинге или на хосте с дорами?

Для доров я купил впс, и поставил туда ИСП-манагера со стандартными настройками и больше ничего не делал и судя по програмному обеспечению сервера (в админке ИСП) нгиникс не стоит.

На хосте с лэндингом нгиникс стоит, но как узнать стоит ли он перед апачем? Погуглил, так и не нашёл.

Ты к клонишь к тому, что на хосте лэндинга перегрузка и этим 75% не подгружается всё содержимое страницы?

[kooper]

Сообщение от migratetobrain

Взял логи ТДС за 3 дня, вытянул ИП - все уникальные.

Можно чекнуть IP по ISP и все станет ясно, скинь сюда 10-20 IP, пробъем.

[migratetobrain]

Сообщение от kooper

Можно чекнуть IP по ISP и все станет ясно, скинь сюда 10-20 IP, пробъем.

178.91.253.104
179.7.53.153
18.212.42.148
180.14.39.87
181.194.157.190
182.182.59.50
182.185.82.117
183.0.180.77
184.160.13.193
2.84.7.52
200.105.166.138
201.142.222.82
202.125.149.126
203.12.195.240
204.58.244.4
206.188.37.13
207.195.86.90
208.107.34.95
209.169.174.98
210.185.163.8


А что это значит "чекнуть IP по ISP"?

[kooper]

Сообщение от migratetobrain

А что это значит "чекнуть IP по ISP"?

ISP - Internet Service Provider
За каждым провайдером закреплен определенный диапазон IP адресов, либо выкупленный им либо взятый в аренду.
Диапазоны IP адресов складываются в ASN который присваивается провайдеру организацией IANA
Таким образом зная IP адрес можно определить какому ISP он принадлежит и в какой диапазон ASN он входит.

Большинство ботов работают с серверов, те IP с которого пришел запрос должен принадлежать хостеру/клауду/организации занимающейся ресерчами/киберсекюрити/антивирусной компании/etc

По IP которые ты скинул 100% серверные боты по ASN
18.212.42.148 = Amazon (Cloud)
180.14.39.87 = NTT Communications Corporation (Cloud)

Некоторые были замечены как вредоносные
https://www.abuseipdb.com/check/178.91.253.104
https://www.abuseipdb.com/check/200.105.166.138
https://www.abuseipdb.com/check/202.125.149.126

Есть даже VPN
204.58.244.4 = vpn.myriad.com

[migratetobrain]

kooper, а я могу самостоятельно проверять? Еслин не затруднит, посмотри плиз ещё вот эти:

1.132.110.26
24.224.159.124
122.111.3.195
107.77.161.4
2.31.99.62
89.87.205.57
50.35.116.206
119.160.65.94
99.253.205.24
109.157.38.213


Какой можно сделать вывод из этого? Если количество страниц в индексе останется таким как и сейчас, а количество реальных юзеров на сайтах будет расти, то количество ботов увеличиваться не должно поидее ведь. То есть сейчас к примеру 1к трафа по стате и 75% примерно боты то есть 750, а когда будет 2к по стате, то колво ботов также и останется 750 примерно. Как считаешь? И если всё-таки % ботов также будет увеличиваться, то о чём это может говорить?

[kooper]

Сообщение от migratetobrain

kooper, а я могу самостоятельно проверять?

Сможешь если захочешь
Составить список ISP, распарсить их ASN-ы, вот например для Amazon
У abuseipdb.com есть API фришный
Вот сервис у которого тоже есть API https://www.ipqualityscore.com/free-...p/107.77.161.4

Из списка IP который ты выдал только 1 неблагонадежный - 107.77.161.4

Сообщение от migratetobrain

Какой можно сделать вывод из этого? Если количество страниц в индексе останется таким как и сейчас, а количество реальных юзеров на сайтах будет расти, то количество ботов увеличиваться не должно поидее ведь. То есть сейчас к примеру 1к трафа по стате и 75% примерно боты то есть 750, а когда будет 2к по стате, то колво ботов также и останется 750 примерно. Как считаешь? И если всё-таки % ботов также будет увеличиваться, то о чём это может говорить?

Ну врядли боты тебя находят через серп, скорее сканят диапазоны IP (можно побороть например поставив запрет на выдачу контента по IP, выдавать только по URL) или списки доменов.
Если у тебя доры в рисковых тематиках типа фармы или downloads то к ним будет больше внимания. Трудно сказать что будет дальше.

[migratetobrain]

Первый список, который скинул - это Windows Юзерагенты

Из списка IP который ты выдал только 1 неблагонадежный - 107.77.161.4

Второй - это мобилы. Получается боты почему-то берут юзерагент Винды, а мобилы в трафе это реальные юзеры чтоли..

[gagavip]

Сообщение от kooper

Сможешь если захочешь
Составить список ISP, распарсить их ASN-ы, вот например для Amazon

вот еще можно после заюзать для блокировок под разные конфиги хттпс://www.enjen.net/asn-blocklist/

[gumu]

Сообщение от migratetobrain

Ты к клонишь к тому, что на хосте лэндинга перегрузка и этим 75% не подгружается всё содержимое страницы?

Я клоню к тому, что там, где у тебя сплошной HTTP/1.0 - это НЕ ВСЕ боты, а, скорее всего, стоит nginx на фронте и проксирует на апач. Он ходит по HTTP/1.0 к апачу.

[digg]

капчу им поставь, пусть разгадывают