Нужен ботов отсетить )) заимели

[KooK]

Парни,кто отсеивает ботов хтаксесом по юзер агенту, если не сложно, выложите хтакксес хочеться пополнить свой
вобщем-то сейчас некоторые боты фильтруются, но на тдс видно что ботов всеж куча проходит

вот хтаксес мой )

RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|spider|ZyBorg/1|Ask\ Jeeves|AskJeeves|ActiveTouristBot|JemmaTheTourist| agadine3|BecomeBot|Clustered-Search-Bot|MSIECrawler|freefind|galaxy|genieknows|INGRID| grub-client|MojeekBot|NaverBot|NetNose-Crawler|OnetSzukaj|PrassoSunner|Asterias\ Crawler|T-H-U-N-D-E-R-S-T-O-N-E|GeorgeTheTouristBot|VoilaBot|Vagabondo|fantomBro wser|stealthBrowser|cloakBrowser|fantomCrew\ Browser|Girafabot|Indy\ Library|Intelliseek|Zealbot|Windows\ 95|^Mozilla/4\.05\ \[en\]$|^Mozilla/4\.0$) [NC]
RewriteRule ^(.*)$ - [F]
#
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Opera.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Firefox.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Netscape.* [NC]
RewriteRule ^(.*)$ - [L]
RewriteRule ^(.*)$ - [F]

[KooK]

Видя, громадное кол-во откликов, захотелось узнать ...
а кто как вообще отсеивет ботов (средствами апача) ?

[alexf2000]

Twiceler
heritrix
Combine
appie
boitho
e-SocietyRobot
Exabot
Nutch
OmniExplorer
MJ12bot

[KooK]

Сообщение от alexf2000

Twiceler
heritrix
Combine
appie
boitho
e-SocietyRobot
Exabot
Nutch
OmniExplorer
MJ12bot

thx )
добавил

[Le Comte de Monte-Cristo]

По IP можно часть попробовать положить на лопатки. - http://www.iplists.com/nw/
А это - http://www.user-agents.org/index.shtml вообще поможет тебе устроить для ботов вселенскую катастрофу.

[KooK]

Сообщение от Le Comte de Monte-Cristo

По IP можно часть попробовать положить на лопатки. - http://www.iplists.com/nw/
А это - http://www.user-agents.org/index.shtml вообще поможет тебе устроить для ботов вселенскую катастрофу.

Почему-то у меня такое мнение, что по ипу фильтровать - это нормальные ёблы

список ипов, гораздо больше списка ЮзАг'ов... посему - нормальная нагрузка на серв.
Как-то так, мне кажеться

PS
www.user-agents.org/index.shtml - Хотя в ручную пересчитать невозьмусь

[Le Comte de Monte-Cristo]

Здесь уже так: хозяин - барин.

[seocoder]

поставил на фид в надежде убрать ботов, так получается и юзеру не зайти )
куда копать, я в хтаксесах даже не 0, а -1.

[Nou]

Twiceler самое сцуко

[sevian]

Сообщение от Nou

Twiceler самое сцуко

Я им гневное письмо даже накатал чтоб не лазили на мой ИП когда 2 раз за день ВПС упал. Извинились и ответили, что робот понимает robots.txt.

Какие-то бывшие гугловцы его делают