Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.0510
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 22.08.2008, 22:44   #1
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443430
По умолчанию Как прогнать роботов?

С сутры. А то у меня в безредиректных дорах стоят прямые ссылки на сутру - они гады и лезут туда особо массово.
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 22.08.2008, 22:46   #2
elchip
Папа
 
Аватар для elchip
 
Регистрация: 12.09.2007
Сообщений: 1,956
Бабло: $201420
Отправить сообщение для elchip с помощью ICQ Отправить сообщение для elchip с помощью Skype™
По умолчанию

а robots.txt не помогает?
__________________
267-403-9l12 https://bidcampaign.com/
Cтабильное решение под LQ траф [email protected]
elchip вне форума  
Старый 22.08.2008, 22:50   #3
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443430
ТС -->
автор темы ТС По умолчанию

Нет
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 22.08.2008, 23:23   #4
SEng
Senior Member
 
Аватар для SEng
 
Регистрация: 28.07.2007
Адрес: Russia
Сообщений: 181
Бабло: $27710
Отправить сообщение для SEng с помощью ICQ
По умолчанию

может это подойдет?
SEng вне форума  
Старый 23.08.2008, 00:29   #5
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443430
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от SEng Посмотреть сообщение
может это подойдет?
О, то что надо!) Спасибо!
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 23.08.2008, 23:39   #6
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443430
ТС -->
автор темы ТС По умолчанию

А такой вот вопрос к знатокам htaccess магии:
Вот код что предложил SEng выше:
Цитата:
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot



Order Allow,Deny
Allow from all
Deny from env=search_bot
Но код прогоняет только вот такого робота например Baiduspider+(+http://www.baidu.com/search/spider.h...) а вот бота который представляется мозилой уже не может. Вот например, такой гад портит мне всю статистику Mozilla/5.0 (compatible; Yahoo! Slurp; http://help - чего с такими делать?
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 24.08.2008, 00:09   #7
pepper
Senior Member
 
Регистрация: 04.06.2008
Сообщений: 467
Бабло: $171756
По умолчанию

У меня так стоит в акцессе
PHP код:
RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|spider|ZyBorg/1|AskJeeves|AskJeeves|ActiveTouristBot|JemmaTheTourist|agadine3|BecomeBot|Clustered-Search-Bot|MSIECrawler|freefind|galaxy|genieknows|INGRID|grub-client|MojeekBot|NaverBot|NetNose-Crawler|OnetSzukaj|PrassoSunner|AsteriasCrawler|T-H-U-N-D-E-R-S-T-O-N-E|GeorgeTheTouristBot|VoilaBot|Vagabondo|fantomBrowser|stealthBrowser|cloakBrowser|fantomCrewBrowser|Girafabot|IndyLibrary|Intelliseek|Zealbot|Windows95|^Mozilla/4\.05\ \[en\]$|^Mozilla/4\.0$) [NC
RewriteRule ^(.*)$ - [F
Slurp тоже фильтруется
pepper вне форума  
Старый 24.08.2008, 00:14   #8
dady
Senior Medved
 
Аватар для dady
 
Регистрация: 15.06.2008
Сообщений: 4,140
Бабло: $22472150
По умолчанию

Offtopic
dady вне форума  
Старый 24.08.2008, 02:10   #9
Dadee
Шоколатье
 
Аватар для Dadee
 
Регистрация: 20.04.2007
Сообщений: 5,967
Бабло: $715885
По умолчанию

Offtopic
__________________
Зарабатывай с SearchAnyway. Отличные биды и уникальный фид
Dadee вне форума  
Старый 24.08.2008, 05:56   #10
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443430
ТС -->
автор темы ТС По умолчанию

Цитата:
^Mozilla/4.05 [en]$|^Mozilla/4.0$)
меня вот это немного смущает..
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Закрытая тема



Опции темы
Опции просмотра