Про ботов

[Buga]

Раньше никогда не наблюдал за поведением ботов на сайте. Сейчас решил посмотреть
Есть сайт. Включил логирование ботов. Поставил ссылки на файлы с логером тоже в разных местах сайта, посмотреть куда боты лучше ходят)
Так на сайт боты приходят, а на ссылки сутки уже никто не заходил)
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?)

[Drg]

Сообщение от Sead

У меня совсем маленький и наивный вопросик: а как включить логирование ботов?

Что за странный вопрос? включаешь апач логи и смотришь подозрительные Ip с подозрительными юзерагентами. Часто от одного и того же Ip идут заходы с разными юзерагентами и без рефера, а дальше уже методом тыка изучаешь что же это за боты, полезные или бесполезные

[Drg]

народ, никто не знает, что за бот?
38.100.21.*
38.100.21.23
38.100.21.19
меня лично этот бот задолбал( хочу заблочить его, но вдруг полезный

[Athos]

если я правильно понял, то
OrgName: PSINet, Inc.
на англоязычных форумах читал про их ботов