Правильный бан поисковых ботов

[Bond James]

Боты-мерзавцы начали мне ложить сервер и решил я их побанить в ipables
Как я это делаю: смотрю с каких ip сыпется очень много коннектов одновременных, пробивают ip по гуглу и если этот ип не принадлежит нужным мне поисковикам то я его баню (а сосбенно подсети)

Так же баню одиночные ИП которые занесены в базу данных спамерских ресурсов а так которые юзаются как прокси (на фоумах отсавляют с них сообщения)

Вопрос заключается вот в чем - может ли нужный мне бот (yahoo и google) маскироваться под других ботов (если быть точнее в в юзерагенте выдавать о себе ложную информацию)?

[Bond James]

вот например
очень много заходов одновременных с этой подсети 221.194.132.* (с этого ip 221.194.132.184 больше всего)
пробил я этот ip по гуглу и вот что нашел

221.194.132.184 - Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)/Nutch-1.0

может ли данная подсеть/ip принадлежать google или yahoo?

[Drunk Monk]

По идее, чтобы не проебать индекс, достаточно пропускать только тех, у кого юзерагент поисковика.
В доках каких-нибудь нету инфы по этому поводу?

[Aston Martim]

Имхо, лучше вообще не банить поисковых ботов. Потому как они могут отреагировать, например, вообще отменой индексации. Лучше затюнить сервер чтобы он не падал от повышенной нагрузки. Ну или на крайний случай использовать директивы типа Crow-delay в robotsx.txt. Это они должны правильно понять.

[Bond James]

Сообщение от Aston Martim

Имхо, лучше вообще не банить поисковых ботов. Потому как они могут отреагировать, например, вообще отменой индексации. Лучше затюнить сервер чтобы он не падал от повышенной нагрузки. Ну или на крайний случай использовать директивы типа Crow-delay в robotsx.txt. Это они должны правильно понять.

в моем случае robots.txt использовать нельзя (такая особенность доров)
сервер затюнен но дело не в этом...очень много одновременных запросов к диску и поэтому возникает перегруз (памяти добавить тоже нет возможности)

а насчет бана - я как раз не баню ботов если вижу что они с нужных мне СЕ =)
баню левых ботов только (практических все на китайских ip)