Как прогнать роботов?

[Maximus325]

С сутры. А то у меня в безредиректных дорах стоят прямые ссылки на сутру - они гады и лезут туда особо массово.

[JackSoft]

Сообщение от Grut

Спасибо. Уже использую такой способ. Однако, минус такого способа в том, что он игнорирует ботов, которые маскируются под Mozilla. То есть, бота "MLBot (www.metadatalabs.com/mlbot)" он блокирует, а бота "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)" пропускает

а добавить его в список?

SetEnvIfNoCase User-Agent "ScoutJet" search_bot

[Grut]

Сообщение от JackSoft

а добавить его в список?

SetEnvIfNoCase User-Agent "ScoutJet" search_bot

Ты похоже не понял мой предыдущий пост.

[pina]

да нет, все он понял)

просто если переводить на русский то

SetEnvIfNoCase User-Agent "^Yandex" search_bot

если юзерагент начинается с Yanedx, то переменная search_bot правда

ну а это

SetEnvIfNoCase User-Agent "ScoutJet" search_bot

если вообще в юзерагенте есть строка ScoutJet, то search_bot правда

на счет того что search_bot прадва или не правда, я хз) больше на ум ни чего не пришло. Поправьте если не прав.

[Grut]

Сообщение от Grut

Ты похоже не понял мой предыдущий пост.

Забираю свои слова обратно. Спасибо,pina, разжевал.

[JackSoft]

все верно, так можно отсеить и ботов и любопытных
по ИП вопрос был - в моем файле есть и отсев по ип (включая зоны)