Цитата:
Сообщение от Aston Martim
Имхо, лучше вообще не банить поисковых ботов. Потому как они могут отреагировать, например, вообще отменой индексации. Лучше затюнить сервер чтобы он не падал от повышенной нагрузки. Ну или на крайний случай использовать директивы типа Crow-delay в robotsx.txt. Это они должны правильно понять.
|
в моем случае robots.txt использовать нельзя (такая особенность доров)
сервер затюнен но дело не в этом...очень много одновременных запросов к диску и поэтому возникает перегруз (памяти добавить тоже нет возможности)
а насчет бана - я как раз не баню ботов если вижу что они с нужных мне СЕ =)
баню левых ботов только (практических все на китайских ip)