Жесткий клоакинг

[[censored]]

В последнее время довольно часто наблюдаю в топах доры, заклоаченные довольно жестко. А именно страница дора, насколько я понимаю, показывается только ботам, причем, попинав немного урлы с разными параметрами в заголовке, пришел к выводу, что ботов определяют в первую очередь по диапозонам IP, а другим IP ни при каких useragent'ах и пр. контент дора не отдают. Редирект идет на уровне HTTP-заголовков, если есть правильный реферер, или же 404, если нету. Все безусловно красиво и анализируется со скрежетом. Но если посмотреть со стороны создателей подобных доров, я не могу понять, каким образом им удается удержаться в топах, если боты как правило не приходят только с общеизвестных диапозонов IP с ботовыми useragent'ами.
Может кто наведет на мысль, как реализовать такой клоакерский фильтр?

З.Ы.: Коль уж залез на стул и вещаю... как нынче бэки смотрят?
`link:blablabla.com/blablabla` в гугле
и
`+link:blablabla.com/blablabla` в мсне что-то не спешат проинформировать.

[xoxlov]

Раз удается пробиться то наверное база IP и UserAgent-ов достаточная чтобы определить боты поисковиков А те боты которые не приходят с известных IP и с нужными UserAgent-ами скорее всего и не являются ботами поисковых систем (доты поиска email и т.п.).

Насчёт реализации. В чём сложность то? Берешь базы IP и UserAgent-ов, проверяешь есть ли IP запросившего клиента в базе, есть ли UserAgent в базе, по результату проверки принимаешь решение что показывать клиенту.

[Lovec]

http://iplists.com/

[TerVer]

Так приемы ловли хитробота обсуждались уже.
Правда иметь надо сетку доров или еще каких ресурсов.
Например подозрителен заход на разные доры с одного айпи в короткий промежуток времени, ну или просто заход 20 раз с одного айпи в течение там недели.
Такие айпи заносятся в базу и анализируются дальше(хуиз например).
Сам не делал.
Получается что шансов отловить хитроботов стало больше, чем скрыть от него редирект.
а вот нашел http://alexf.name/2007-10-17/poisk-xitrobotov-gugla/
но на форумах и блогах тема эта обсуждалась, кааак ты пропустил?..

[[censored]]

Вот-вот! Я хитробота и имел в виду. Где взять списки диапозонов Ip поисковых ботов, я знаю, но все равно спасибо
Короче никто так и не занялся этим в ОБЩЕСТВЕННО-полезных целях, насколько я понимаю... а жаль...

[alexf2000]

ТС, то что ты видишь в топах, могло выглядеть немного иначе перед тем как оно туда попало. Это надо иметь в виду.

[inferno[DGT]]

А если на эту страницу заходит не хитробот, а рейтер гугловский, то он при обнаружении 404 ошибки поставит странице самый низкий рейтинг. Возможно после этого последует страницы из индекса... Часто эти хитроботы и есть рейтеры. Не думаю, что это правильно: отдавать 404 или ставить sleep(N).

[solar]

Дор живет в индексе очень недолгое время сейчас поэтому пока там раздуплится хитробот, успеет пройти трафик. Я думаю именно такая модель.

[TerVer]

Гы..
а может просто сначала вгоняют в индекс, а потом "жестко" редиректят?
Не знаю как гугль, а вот с яхи и мсн у меня траф идет с доменов которые "упали" вместе с серваком. Причем я только через месяц догадался редирект на 404 поставить.