Как прогнать роботов?

[Maximus325]

С сутры. А то у меня в безредиректных дорах стоят прямые ссылки на сутру - они гады и лезут туда особо массово.

[elchip]

а robots.txt не помогает?

[Maximus325]

Нет

[SEng]

может это подойдет?

[Maximus325]

Сообщение от SEng

может это подойдет?

О, то что надо!) Спасибо!

[Maximus325]

А такой вот вопрос к знатокам htaccess магии:
Вот код что предложил SEng выше:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot



Order Allow,Deny
Allow from all
Deny from env=search_bot

Но код прогоняет только вот такого робота например Baiduspider+(+http://www.baidu.com/search/spider.h...) а вот бота который представляется мозилой уже не может. Вот например, такой гад портит мне всю статистику Mozilla/5.0 (compatible; Yahoo! Slurp; http://help - чего с такими делать?

[pepper]

У меня так стоит в акцессе

PHP код:

RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|spider|ZyBorg/1|Ask\ Jeeves|AskJeeves|ActiveTouristBot|JemmaTheTourist|agadine3|BecomeBot|Clustered-Search-Bot|MSIECrawler|freefind|galaxy|genieknows|INGRID|grub-client|MojeekBot|NaverBot|NetNose-Crawler|OnetSzukaj|PrassoSunner|Asterias\ Crawler|T-H-U-N-D-E-R-S-T-O-N-E|GeorgeTheTouristBot|VoilaBot|Vagabondo|fantomBrowser|stealthBrowser|cloakBrowser|fantomCrew\ Browser|Girafabot|Indy\ Library|Intelliseek|Zealbot|Windows\ 95|^Mozilla/4\.05\ \[en\]$|^Mozilla/4\.0$) [NC] 
RewriteRule ^(.*)$ - [F] 


Slurp тоже фильтруется

[dady]

Пыщ пыщ пошли отсюда,давай давай нех тут бродить - очень эфективно если это прозносить по 10-20 разв час.

[Dadee]

да. я тоже просто в роботс ткст пишу "боты идите нахуй отсюда". А то гугл иначе не реагирует. ему цывильный запрет в robots.txt похуй

[Maximus325]

^Mozilla/4.05 [en]$|^Mozilla/4.0$)

меня вот это немного смущает..