отлов гуугл и др. ботов

[mirikas]

собсвтенно сабж чем и как лучше? их все отловить
может у кого нить есть простой скриптец который будет записывать рефер и ип, либо можем с кем то потом обменяться листами ип.
пока только приходят мысли делать скрытые линки на всем чем можно и писать все ип которые пришли.

[chesser]

надо сразу писать кошелек в сообщении

эта задача, над которой все бьются втихоря со времен инсталяции интернетов.
PPC биржи бьются в одном направлении, а кликботы в противоположном. И конца этой борьбы не будет до тех пор, пока интернет принципиально не поменяет форму существования.

тупых ботов да, можно отловить

[mirikas]

нужны гуугля и мальварь боты.
ps кошелек ща скину в пм

[maxtrade]

Сообщение от mirikas

собсвтенно сабж чем и как лучше? их все отловить
может у кого нить есть простой скриптец который будет записывать рефер и ип, либо можем с кем то потом обменяться листами ип.
пока только приходят мысли делать скрытые линки на всем чем можно и писать все ип которые пришли.

долго работал в этом направлении, могу сказать что 100% всех ботов не отловить.

Если про гугл - можно найти список все IP его и фильтровать так. Но если он что-то заподозрит, жди уже других ботов, которые раньше возможно вообще нигде не ходили. Это про гугл.

Если еще и другие боты, которые подменяют реферер, заходят с разными "человеческими" параметрами, запускают JS, скачивают софт, если грузить, запускают и его, все чекают и хуй от них спрячешься.

Вобщем если ничего плохого не делаешь, то пали по IP, реферерам, хостам и скринам JS

[mirikas]

вообще у меня была мысль создавать нечеловечные страницы ijigjerigjerigjerigjerig - такого плана, кормить их гуглю и писать все ип которые там будут тусоваться.

[maxtrade]

тупая мысль)) повесь туда что нибудь плохое, через часа 2 будет списочек, но он как я уже говорил, часто меняется

[chesser]

ну вообщем на 100% никак не узнаешь.
еще, ты же прячешь с какой-то целью, не просто так ведь. И возможно твой сайт маякнет по другим параметрам и на него придет индус из гуглоофиса и сделат профессиональный осмотр. Не знаю на сколько такое возможно, но то, что в сетки айпи включают гуглоофисы - точно. + конкуренты и прочие стукачи, но это оффтоп уже

про прятать ссылки и если линк открыл, то значит бот. Чем прятать?
если js - то бывают юзеры, которые ходят по интернетам с отключенным js и включают его только на трастовых сайтах - я иногда так делаю на винде. Значит прятать js-ом отпадает.
если прятать css - то это элементарно ботами просчитывается.
Да и js можно запустить, если бот посложнее.

еще можно куки писать разные, картинки смотреть какие открываются, какие ресурсы грузятся. и тд, но все равно сквозь это все один да просочится.

гугл же умеет рендерить страницы сайта в серпе, значит там у него нормальный бот, не глупый

еще наблюдал, яху ходит по всем ссылкам и ему nofollow не указ, а гугл нет, не ходит, покрайне мере под своим ua, но я не поверю, чтобы ему это было не интересно )

[dady]

Сообщение от chesser

ну вообщем на 100% никак не узнаешь.
еще, ты же прячешь с какой-то целью, не просто так ведь. И возможно твой сайт маякнет по другим параметрам и на него придет индус из гуглоофиса и сделат профессиональный осмотр. Не знаю на сколько такое возможно, но то, что в сетки айпи включают гуглоофисы - точно. + конкуренты и прочие стукачи, но это оффтоп уже

про прятать ссылки и если линк открыл, то значит бот. Чем прятать?
если js - то бывают юзеры, которые ходят по интернетам с отключенным js и включают его только на трастовых сайтах - я иногда так делаю на винде. Значит прятать js-ом отпадает.
если прятать css - то это элементарно ботами просчитывается.
Да и js можно запустить, если бот посложнее.

еще можно куки писать разные, картинки смотреть какие открываются, какие ресурсы грузятся. и тд, но все равно сквозь это все один да просочится.

гугл же умеет рендерить страницы сайта в серпе, значит там у него нормальный бот, не глупый

еще наблюдал, яху ходит по всем ссылкам и ему nofollow не указ, а гугл нет, не ходит, покрайне мере под своим ua, но я не поверю, чтобы ему это было не интересно )

Пользователями с отрубленым js моно пренебречь ради благого дела.
В серпе вроде как браузер генерит превьюшки а не гугл.

[Diplomat]

Вспоминаю прикол. Я тут одного нач. вебмастера убедил. ЧТо если он вдруг по стате бота видит, то сервак вырубать надо сразу. Тогда бот просто не сможет вылезти с сайта))))

[maxtrade]

Сообщение от Diplomat

Вспоминаю прикол. Я тут одного нач. вебмастера убедил. ЧТо если он вдруг по стате бота видит, то сервак вырубать надо сразу. Тогда бот просто не сможет вылезти с сайта))))

Ну раз такое дело, то и с посетителями прокатит 100%