отлов гуугл и др. ботов

[mirikas]

собсвтенно сабж чем и как лучше? их все отловить
может у кого нить есть простой скриптец который будет записывать рефер и ип, либо можем с кем то потом обменяться листами ип.
пока только приходят мысли делать скрытые линки на всем чем можно и писать все ип которые пришли.

[chesser]

Сообщение от dady

В серпе вроде как браузер генерит превьюшки а не гугл.

не, гугл генерит их в гугле, там и юзерагент специальный, примерно такой: AppleWebKit/534.24 (KHTML, like Gecko; Google Web Preview) Chrome/11.0.696 Safari/534.24
Причем, картинка со скришотом либо генерится налету, либо берется из кеша гугла, но он не все кеширует.
как происходит рендеринг html - хз, наверно с помощью фреймворка webkit, а там js наверно на v8, а это шустрая тема. может есть где статьи на эту тему.

[HwoR]

Сообщение от Diplomat

Вспоминаю прикол. Я тут одного нач. вебмастера убедил. ЧТо если он вдруг по стате бота видит, то сервак вырубать надо сразу. Тогда бот просто не сможет вылезти с сайта))))

Это у тебя топик с кликфорума про доры-коридоры закешировался навреное в голове

[mirikas]

ребята давайте активно палить темы кто как вычисляет, мож у кого то есть наработки или желание - можем объедениться. гууглзло надо его победить
вот от меня небольшой список ип пока что нарыл с логов апача http://www.sendspace.com/file/6f393e

ps еще вот что пришло в голову - делать на дорах некликабельные ссылки и потом сверять ип тех кто перешел простеньким скриптом, если 1 ип засветиться на нескольких доменах - в бан, так же можно еще подсети банить. но для сверки надо найти 3-5 человек с кем активно меняться листами.

[Diplomat]

Сообщение от HwoR

Это у тебя топик с кликфорума про доры-коридоры закешировался навреное в голове

ага, есть такое. Ну у тебя и память!)