Боты или кто?

[migratetobrain]

Ситуация такая. Сделал я доров значит, на страницах постов поставил клоаку, клоаку вырубил, прогнал и начал ждать. Подождал пока заиндексируются станицы, врубил клоаку, взял для теста лэнд с кнопкой и направил на него поток компов с доров. На стате ТДС вижу 300 уников в сутки, которые идут на лэндинг с кнопкой, но на кнопку почему-то не нажимают (нажимает один из 10). Ну я подумал, что какбы не соответвует интересу. Но потом в логах апача увидел, что когда на лэндинг заходят те 1 из 10 с потока трафа и когда я захожу - идёт запрос на стили ксс и пнг кнопки ну и сама страница загружается. А все остальные грузят только страницу. То есть вот так человек с браузера заходит:

192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7690 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /button.png HTTP/1.0" 200 9480 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /css/jquery-ui.css?1 HTTP/1.0" 404 1704 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /css/style.css?13436 HTTP/1.0" 404 1704 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"

И вот такая картина, когда заходят остальные 9 из 10:

100.38.188.68 - - [22/Oct/2018:15:48:34 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7697 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

То есть они не запрашивают почему-то ни кнопку, ни ксс, ничего. Это чё получается бот? В тдске они все уникальные, страны разные, юзерагенты разные. Я чё-то не недопонимаю, или это реально столько ботов 90%, или клоака чё-то мутит? Подскажите плиз за ситуацию.

Взял логи ТДС за 3 дня, вытянул ИП - все уникальные.

Соврал немного, не 9 из 10, а 15 из 20 - в общем 75% где-то.

[IDL]

Сообщение от migratetobrain

Интересно также мнение других

Так может тебя другие и парсят

[веломан]

Сообщение от migratetobrain

IDL, Захожу с разных браузеров, просто на страницу лэндинга. Под протоколом HTTP/1.1 забираются только изображания у меня, а сама страница забирается HTTP/1.0. Это второй вопрос непонятный, раз вы говорите, что это боты.

А первыая странность заключается в том, почему 75% вообще не забирает изображения и стили ксс.

да боты это.
все современные браузеры на 1.1 работают, а боту вручную прописывают, либо юзают фреймворки какие-то
во:

95.163.255.47 - - [22/Oct/2018:14:26:34 +0300] "GET /robots.txt HTTP/1.0" 200 308 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)" "-"

и изображения НЕ забирают тоже боты, а не браузеры
браузеры их забирают

у меня всего 7% трафа это 1.0

зы: 2.0, кстати, никто не юзает, ЧСХ, либо он у меня отключён...

[migratetobrain]

все современные браузеры на 1.1 работают, а боту вручную прописывают, либо юзают фреймворки какие-то
во:
95.163.255.47 - - [22/Oct/2018:14:26:34 +0300] "GET /robots.txt HTTP/1.0" 200 308 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)" "-"

во:
178.154.171.16 - - [22/Oct/2018:19:59:58 -0400] "GET /q=?KEY HTTP/1.1" 403 646 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

а вот я со своего браузера:
192.115.45.205 - - [22/Oct/2018:15:20:59 -0400] "GET /template.php?q=KEY HTTP/1.0" 200 7690 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"

Как видно, яндекс бот HTTP/1.1, а мой браузер HTTP/1.0.
С HTTP/1.1 мой браузер забирает только изображения, а саму станицу забирает с HTTP/1.0. Также и другие забирают изображения с HTTP/1.1 а страницу с HTTP/1.0 - и похоже что это реальные люди, так как по логу они схожи с моими (когда я заходил на лэнд со своих браузеров). Я какбы не то что спорю, а просто пример привожу, и получается, что не каждый HTTP/1.1 - человек, и не каждый HTTP/1.0 - бот.

и изображения НЕ забирают тоже боты, а не браузеры
браузеры их забирают

у меня всего 7% трафа это 1.0

Ну вот какбы так я и понял, что те, которые забирают изображения - они не боты. Но почему 75% ботов у меня, а не 7.

[Юнга]

те которые изображения забирают – тоже могут быть боты.
а чего они тебя так парят вообще?

[migratetobrain]

Сообщение от Юнга

те которые изображения забирают – тоже могут быть боты.
а чего они тебя так парят вообще?

парит то, что их много. смотришь в тдс, примерно прикидываешь чё почём, а хер там, 75% ботов.

Может ещё у кого-то также и это нормальная парктика? Или у меня объёмы слишком малы, и если число людей со временем будет расти (к примеру увеличится 10-тикратно), то число ботов останется на месте и в итоге %-соотношение людей\ботов увеличится в сторону людей и получатся те же самые 7% как у веломана? не?

[Юнга]

если ру-трафик и все свежее, то скорее всего яндекс-боты тебя дрочат.

вообще могу дать попользовать свой счетчик ботов, который специально под них заточен – смотреть кто пасется и откуда.
но он saas, и в стата пока в полуручном режиме.

[gagavip]

Сообщение от веломан

зы: 2.0, кстати, никто не юзает, ЧСХ, либо он у меня отключён...

2.0 на маках только судя по логам.

[migratetobrain]

Сообщение от Юнга

если ру-трафик и все свежее, то скорее всего яндекс-боты тебя дрочат.

вообще могу дать попользовать свой счетчик ботов, который специально под них заточен – смотреть кто пасется и откуда.
но он saas, и в стата пока в полуручном режиме.

Траф не ру, мир. Все боты содержащие в юзерагенте гугл, яндекс, бинг и тд вообще клоакой фильтруются я думаю, не зря же она стоит. То есть в ТДС у меня попадают юзерагенты, которые не соржат в юзерагенте гугл, яндекс, бинг.., то есть виндоус, мак, айфон, андроид и вот уже среди них 75% получается не люди.

Спасибо. А как и на основе чего работает этот счётчик?

[gumu]

У тебя перед апачем нгинкс стоит?

[fortweb]

Когда заходят реально с браузера, то грузятся и все остальные приложения или картинки и это видно сразу
когда на один IP подгружается эта информация, а такое поведение как показано, это все различные боты, сканеры.