Юзер агенты ботов которые индетефицируют себя как боты наверное и так всем известны не стоит их перечислять, а вот боты которые исполняют яву хотелось бы отловить. Сегодня проэксперементировал на блоге создав новую страницу не имеющую линков ни с фейса ни с других страниц блога, поставил на эту страницу линков с нескольких пиаристых блогов. Из заметил вот такие вот заходы без реффера:
03:23:52 PM 22.5.07 || US || 69.104.90.9 || Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
04:03:49 PM 22.5.07 || CH || 84.75.13.120 || Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts; .NET CLR 2.0.50727)
06:13:43 PM 22.5.07 || CA || 24.86.122.147 || Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; IEMB3; IEMB3)
06:14:47 PM 22.5.07 || CA || 24.86.122.147 || Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; IEMB3; IEMB3)
06:14:58 PM 22.5.07 || CA || 24.86.122.147 || Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; IEMB3; IEMB3)
07:28:02 PM 22.5.07 || GB || 81.102.183.228 || Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)
07:28:22 PM 22.5.07 || GB || 81.102.183.228 || Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)
Юзерагент тут немного странный, смущает NET CLR очень кажется что это типа НЕТ КРАУЛЕР + заходы с разных стран по порядку, в большинстве своём запрос повторяется через 10-30 секунд с того же ip с тем же юзерагентом.
Вопрос в том кто-нить отлавливал их и что они из себя представляют.
P.S. Страницу делал специально с редиректом и фиксировал юзерагенты только тех кто прошёл редирект.
P.P.S. Вот кстати нашёл похожую заметку
http://blogs.gotdotnet.ru/personal/s...A-6D222E8DAF94
UserAgent'ы ботов
ТС
Линейный вид
