Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.7570
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 10.01.2008, 07:22   #1
[censored]
Member
 
Регистрация: 21.07.2007
Сообщений: 95
Бабло: $20110
По умолчанию Жесткий клоакинг

В последнее время довольно часто наблюдаю в топах доры, заклоаченные довольно жестко. А именно страница дора, насколько я понимаю, показывается только ботам, причем, попинав немного урлы с разными параметрами в заголовке, пришел к выводу, что ботов определяют в первую очередь по диапозонам IP, а другим IP ни при каких useragent'ах и пр. контент дора не отдают. Редирект идет на уровне HTTP-заголовков, если есть правильный реферер, или же 404, если нету. Все безусловно красиво и анализируется со скрежетом. Но если посмотреть со стороны создателей подобных доров, я не могу понять, каким образом им удается удержаться в топах, если боты как правило не приходят только с общеизвестных диапозонов IP с ботовыми useragent'ами.
Может кто наведет на мысль, как реализовать такой клоакерский фильтр?

З.Ы.: Коль уж залез на стул и вещаю... как нынче бэки смотрят?
`link:blablabla.com/blablabla` в гугле
и
`+link:blablabla.com/blablabla` в мсне что-то не спешат проинформировать.
[censored] вне форума  
Старый 10.01.2008, 11:11   #2
xoxlov
Юниор
 
Регистрация: 31.07.2007
Сообщений: 27
Бабло: $920
По умолчанию

Раз удается пробиться то наверное база IP и UserAgent-ов достаточная чтобы определить боты поисковиков А те боты которые не приходят с известных IP и с нужными UserAgent-ами скорее всего и не являются ботами поисковых систем (доты поиска email и т.п.).

Насчёт реализации. В чём сложность то? Берешь базы IP и UserAgent-ов, проверяешь есть ли IP запросившего клиента в базе, есть ли UserAgent в базе, по результату проверки принимаешь решение что показывать клиенту.
__________________
Doorway-Master3
xoxlov вне форума  
Старый 10.01.2008, 12:08   #3
Lovec
Ловец стрекоз
 
Аватар для Lovec
 
Регистрация: 09.10.2007
Адрес: lvc.name
Сообщений: 286
Бабло: $500
По умолчанию

http://iplists.com/
Lovec вне форума  
Старый 10.01.2008, 12:21   #4
TerVer
Senior Member
 
Аватар для TerVer
 
Регистрация: 14.09.2007
Сообщений: 743
Бабло: $73711
По умолчанию

Так приемы ловли хитробота обсуждались уже.
Правда иметь надо сетку доров или еще каких ресурсов.
Например подозрителен заход на разные доры с одного айпи в короткий промежуток времени, ну или просто заход 20 раз с одного айпи в течение там недели.
Такие айпи заносятся в базу и анализируются дальше(хуиз например).
Сам не делал.
Получается что шансов отловить хитроботов стало больше, чем скрыть от него редирект.
а вот нашел http://alexf.name/2007-10-17/poisk-xitrobotov-gugla/
но на форумах и блогах тема эта обсуждалась, кааак ты пропустил?..
TerVer вне форума  
Старый 10.01.2008, 15:53   #5
[censored]
Member
 
Регистрация: 21.07.2007
Сообщений: 95
Бабло: $20110
ТС -->
автор темы ТС По умолчанию

Вот-вот! Я хитробота и имел в виду. Где взять списки диапозонов Ip поисковых ботов, я знаю, но все равно спасибо
Короче никто так и не занялся этим в ОБЩЕСТВЕННО-полезных целях, насколько я понимаю... а жаль...
[censored] вне форума  
Старый 10.01.2008, 18:06   #6
alexf2000
Senior Member
 
Аватар для alexf2000
 
Регистрация: 04.04.2007
Сообщений: 266
Бабло: $3333
По умолчанию

ТС, то что ты видишь в топах, могло выглядеть немного иначе перед тем как оно туда попало. Это надо иметь в виду.
alexf2000 вне форума  
Старый 10.01.2008, 19:04   #7
inferno[DGT]
Аццкий хостер
 
Аватар для inferno[DGT]
 
Регистрация: 02.05.2007
Адрес: Таиланд, Пхукет
Сообщений: 3,597
Бабло: $1733893508
Отправить сообщение для inferno[DGT] с помощью ICQ Отправить сообщение для inferno[DGT] с помощью AIM Отправить сообщение для inferno[DGT] с помощью Skype™
По умолчанию

А если на эту страницу заходит не хитробот, а рейтер гугловский, то он при обнаружении 404 ошибки поставит странице самый низкий рейтинг. Возможно после этого последует страницы из индекса... Часто эти хитроботы и есть рейтеры. Не думаю, что это правильно: отдавать 404 или ставить sleep(N).
__________________
Inferno Solutions: Выделенные серверы и VPS с абсолютно бесплатным администрированием. Более 10 лет с вами. Любые конфигурации под заказ.
inferno[DGT] вне форума  
Старый 11.01.2008, 11:20   #8
solar
Senior Member
 
Регистрация: 04.04.2007
Сообщений: 607
Бабло: $7700
По умолчанию

Дор живет в индексе очень недолгое время сейчас поэтому пока там раздуплится хитробот, успеет пройти трафик. Я думаю именно такая модель.
solar вне форума  
Старый 11.01.2008, 12:24   #9
TerVer
Senior Member
 
Аватар для TerVer
 
Регистрация: 14.09.2007
Сообщений: 743
Бабло: $73711
По умолчанию

Гы..
а может просто сначала вгоняют в индекс, а потом "жестко" редиректят?
Не знаю как гугль, а вот с яхи и мсн у меня траф идет с доменов которые "упали" вместе с серваком. Причем я только через месяц догадался редирект на 404 поставить.
TerVer вне форума