Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.1160
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 12.11.2007, 19:46   #1
KooK
Это Дед =)
 
Аватар для KooK
 
Регистрация: 31.10.2007
Сообщений: 23
Бабло: $1135
Smile Нужен ботов отсетить )) заимели

Парни,кто отсеивает ботов хтаксесом по юзер агенту, если не сложно, выложите хтакксес хочеться пополнить свой
вобщем-то сейчас некоторые боты фильтруются, но на тдс видно что ботов всеж куча проходит

вот хтаксес мой )

RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|spider|ZyBorg/1|Ask\ Jeeves|AskJeeves|ActiveTouristBot|JemmaTheTourist| agadine3|BecomeBot|Clustered-Search-Bot|MSIECrawler|freefind|galaxy|genieknows|INGRID| grub-client|MojeekBot|NaverBot|NetNose-Crawler|OnetSzukaj|PrassoSunner|Asterias\ Crawler|T-H-U-N-D-E-R-S-T-O-N-E|GeorgeTheTouristBot|VoilaBot|Vagabondo|fantomBro wser|stealthBrowser|cloakBrowser|fantomCrew\ Browser|Girafabot|Indy\ Library|Intelliseek|Zealbot|Windows\ 95|^Mozilla/4\.05\ \[en\]$|^Mozilla/4\.0$) [NC]
RewriteRule ^(.*)$ - [F]
#
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Opera.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Firefox.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Netscape.* [NC]
RewriteRule ^(.*)$ - [L]
RewriteRule ^(.*)$ - [F]
KooK вне форума  
Старый 13.11.2007, 02:46   #2
KooK
Это Дед =)
 
Аватар для KooK
 
Регистрация: 31.10.2007
Сообщений: 23
Бабло: $1135
ТС -->
автор темы ТС По умолчанию ))

Видя, громадное кол-во откликов, захотелось узнать ...
а кто как вообще отсеивет ботов (средствами апача) ?
KooK вне форума  
Старый 13.11.2007, 05:57   #3
alexf2000
Senior Member
 
Аватар для alexf2000
 
Регистрация: 04.04.2007
Сообщений: 266
Бабло: $3333
По умолчанию

Twiceler
heritrix
Combine
appie
boitho
e-SocietyRobot
Exabot
Nutch
OmniExplorer
MJ12bot
alexf2000 вне форума  
Старый 13.11.2007, 19:37   #4
KooK
Это Дед =)
 
Аватар для KooK
 
Регистрация: 31.10.2007
Сообщений: 23
Бабло: $1135
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от alexf2000 Посмотреть сообщение
Twiceler
heritrix
Combine
appie
boitho
e-SocietyRobot
Exabot
Nutch
OmniExplorer
MJ12bot
thx )
добавил
KooK вне форума  
Старый 13.11.2007, 23:21   #5
Le Comte de Monte-Cristo
Prisoner
 
Аватар для Le Comte de Monte-Cristo
 
Регистрация: 09.10.2007
Адрес: Marseille
Сообщений: 284
Бабло: $1155
По умолчанию

По IP можно часть попробовать положить на лопатки. - http://www.iplists.com/nw/
А это - http://www.user-agents.org/index.shtml вообще поможет тебе устроить для ботов вселенскую катастрофу.
Le Comte de Monte-Cristo вне форума  
Старый 14.11.2007, 04:05   #6
KooK
Это Дед =)
 
Аватар для KooK
 
Регистрация: 31.10.2007
Сообщений: 23
Бабло: $1135
ТС -->
автор темы ТС Smile

Цитата:
Сообщение от Le Comte de Monte-Cristo Посмотреть сообщение
По IP можно часть попробовать положить на лопатки. - http://www.iplists.com/nw/
А это - http://www.user-agents.org/index.shtml вообще поможет тебе устроить для ботов вселенскую катастрофу.
Почему-то у меня такое мнение, что по ипу фильтровать - это нормальные ёблы

список ипов, гораздо больше списка ЮзАг'ов... посему - нормальная нагрузка на серв.
Как-то так, мне кажеться

PS
www.user-agents.org/index.shtml - Хотя в ручную пересчитать невозьмусь
KooK вне форума  
Старый 15.11.2007, 14:27   #7
Le Comte de Monte-Cristo
Prisoner
 
Аватар для Le Comte de Monte-Cristo
 
Регистрация: 09.10.2007
Адрес: Marseille
Сообщений: 284
Бабло: $1155
По умолчанию

Здесь уже так: хозяин - барин.
Le Comte de Monte-Cristo вне форума  
Старый 16.11.2007, 13:31   #8
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,267
Бабло: $107486
Отправить сообщение для seocoder с помощью Skype™
По умолчанию

поставил на фид в надежде убрать ботов, так получается и юзеру не зайти )
куда копать, я в хтаксесах даже не 0, а -1.
seocoder вне форума  
Старый 16.11.2007, 17:11   #9
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,074
Бабло: $134959
По умолчанию

Twiceler самое сцуко
Nou вне форума  
Старый 16.11.2007, 19:07   #10
sevian
Senior Member
 
Регистрация: 29.08.2007
Сообщений: 169
Бабло: $1930
Отправить сообщение для sevian с помощью ICQ
По умолчанию

Цитата:
Сообщение от Nou Посмотреть сообщение
Twiceler самое сцуко
Я им гневное письмо даже накатал чтоб не лазили на мой ИП когда 2 раз за день ВПС упал. Извинились и ответили, что робот понимает robots.txt.

Какие-то бывшие гугловцы его делают
sevian вне форума  
Закрытая тема



Опции темы
Опции просмотра