Боты или кто?

[migratetobrain]

Ситуация такая. Сделал я доров значит, на страницах постов поставил клоаку, клоаку вырубил, прогнал и начал ждать. Подождал пока заиндексируются станицы, врубил клоаку, взял для теста лэнд с кнопкой и направил на него поток компов с доров. На стате ТДС вижу 300 уников в сутки, которые идут на лэндинг с кнопкой, но на кнопку почему-то не нажимают (нажимает один из 10). Ну я подумал, что какбы не соответвует интересу. Но потом в логах апача увидел, что когда на лэндинг заходят те 1 из 10 с потока трафа и когда я захожу - идёт запрос на стили ксс и пнг кнопки ну и сама страница загружается. А все остальные грузят только страницу. То есть вот так человек с браузера заходит:

192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7690 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /button.png HTTP/1.0" 200 9480 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /css/jquery-ui.css?1 HTTP/1.0" 404 1704 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /css/style.css?13436 HTTP/1.0" 404 1704 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"

И вот такая картина, когда заходят остальные 9 из 10:

100.38.188.68 - - [22/Oct/2018:15:48:34 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7697 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

То есть они не запрашивают почему-то ни кнопку, ни ксс, ничего. Это чё получается бот? В тдске они все уникальные, страны разные, юзерагенты разные. Я чё-то не недопонимаю, или это реально столько ботов 90%, или клоака чё-то мутит? Подскажите плиз за ситуацию.

Взял логи ТДС за 3 дня, вытянул ИП - все уникальные.

Соврал немного, не 9 из 10, а 15 из 20 - в общем 75% где-то.

[веломан]

HTTP/1.0 по-любому боты

[IDL]

Плюсую. Причём не просто боты, а самое дно типа wget

[migratetobrain]

веломан, IDL,

Так ведь я при тесте со своих компов захожу и тоже кажет HTTP/1.0

[IDL]

migratetobrain, смотря чем и как заходишь. Вообще браузеры ходят под протоколом 1.1

[migratetobrain]

IDL, Захожу с разных браузеров, просто на страницу лэндинга. Под протоколом HTTP/1.1 забираются только изображания у меня, а сама страница забирается HTTP/1.0. Это второй вопрос непонятный, раз вы говорите, что это боты.

А первыая странность заключается в том, почему 75% вообще не забирает изображения и стили ксс. Просто не верится, что 75% трафа это боты с уникальными ИП, причём за разные дни уникальность сохраняется, то есть я взял логи за 3 дня (примерно по 300 уников в день), выдернул ИПы и удалил дубли - получилось 1к ИПов. Если я за месяц выдерну логи с делаю то же самое, получается что у меня 10к уников, среди которых 7,5к это боты с уникальными ИП. Это нормальное явление?

[IDL]

migratetobrain, да с ботнета ебашит что-то

[migratetobrain]

с ботнета
Зачем какому-то ботнету сдались мои сайты)

То есть никто не думает, что дело всё-таки в клоаке?

Ну чё остаётся тогда ждать, пока будет расти "статистика трафа" до 10к с этой пачки сайтов (если будет), и сделать больше сайтов в 10 раз, чтобы 750к ИПов с ботнета ежемесячно посещали мои страницы. Причём, это только десктоп, вторая половина трафа с мобилами тоже чтоли с ботнета?

[IDL]

migratetobrain, да дохера всего делают, кто-то ищет дыры, кто-то собирает контент, чтобы в дорах юзнуть, кто-то проксирует, кто-то просто хулиган

[migratetobrain]

Интересно также мнение других. Ни у одного меня так?)