Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 20.06.2009, 03:03   #1
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
По умолчанию Правильный бан поисковых ботов

Боты-мерзавцы начали мне ложить сервер и решил я их побанить в ipables
Как я это делаю: смотрю с каких ip сыпется очень много коннектов одновременных, пробивают ip по гуглу и если этот ип не принадлежит нужным мне поисковикам то я его баню (а сосбенно подсети)

Так же баню одиночные ИП которые занесены в базу данных спамерских ресурсов а так которые юзаются как прокси (на фоумах отсавляют с них сообщения)

Вопрос заключается вот в чем - может ли нужный мне бот (yahoo и google) маскироваться под других ботов (если быть точнее в в юзерагенте выдавать о себе ложную информацию)?
Bond James вне форума  
Старый 20.06.2009, 03:07   #2
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
ТС -->
автор темы ТС По умолчанию

вот например
очень много заходов одновременных с этой подсети 221.194.132.* (с этого ip 221.194.132.184 больше всего)
пробил я этот ip по гуглу и вот что нашел

221.194.132.184 - Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)/Nutch-1.0

может ли данная подсеть/ip принадлежать google или yahoo?
Bond James вне форума  
Старый 20.06.2009, 03:11   #3
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,217
Бабло: $797160072
По умолчанию

По идее, чтобы не проебать индекс, достаточно пропускать только тех, у кого юзерагент поисковика.
В доках каких-нибудь нету инфы по этому поводу?
__________________
EssayPartner.com. Партнерка по эссе трафу.
Drunk Monk вне форума  
Старый 20.06.2009, 14:44   #4
Aston Martim
Senior Member
 
Аватар для Aston Martim
 
Регистрация: 29.03.2009
Сообщений: 680
Бабло: $93015
По умолчанию

Имхо, лучше вообще не банить поисковых ботов. Потому как они могут отреагировать, например, вообще отменой индексации. Лучше затюнить сервер чтобы он не падал от повышенной нагрузки. Ну или на крайний случай использовать директивы типа Crow-delay в robotsx.txt. Это они должны правильно понять.
__________________
Мой форум о Бали
Aston Martim вне форума  
Старый 20.06.2009, 15:04   #5
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Aston Martim Посмотреть сообщение
Имхо, лучше вообще не банить поисковых ботов. Потому как они могут отреагировать, например, вообще отменой индексации. Лучше затюнить сервер чтобы он не падал от повышенной нагрузки. Ну или на крайний случай использовать директивы типа Crow-delay в robotsx.txt. Это они должны правильно понять.
в моем случае robots.txt использовать нельзя (такая особенность доров)
сервер затюнен но дело не в этом...очень много одновременных запросов к диску и поэтому возникает перегруз (памяти добавить тоже нет возможности)

а насчет бана - я как раз не баню ботов если вижу что они с нужных мне СЕ =)
баню левых ботов только (практических все на китайских ip)
Bond James вне форума