Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.1710
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 05.07.2011, 12:32   #1
mirikas
Senior Member
 
Аватар для mirikas
 
Регистрация: 25.12.2008
Сообщений: 1,099
Бабло: $272735
По умолчанию отлов гуугл и др. ботов

собсвтенно сабж чем и как лучше? их все отловить
может у кого нить есть простой скриптец который будет записывать рефер и ип, либо можем с кем то потом обменяться листами ип.
пока только приходят мысли делать скрытые линки на всем чем можно и писать все ип которые пришли.
mirikas вне форума  
Старый 05.07.2011, 12:38   #2
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

надо сразу писать кошелек в сообщении

эта задача, над которой все бьются втихоря со времен инсталяции интернетов.
PPC биржи бьются в одном направлении, а кликботы в противоположном. И конца этой борьбы не будет до тех пор, пока интернет принципиально не поменяет форму существования.

тупых ботов да, можно отловить
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 05.07.2011, 12:39   #3
mirikas
Senior Member
 
Аватар для mirikas
 
Регистрация: 25.12.2008
Сообщений: 1,099
Бабло: $272735
ТС -->
автор темы ТС По умолчанию

нужны гуугля и мальварь боты.
ps кошелек ща скину в пм
mirikas вне форума  
Старый 05.07.2011, 12:39   #4
maxtrade
Ебланнед
 
Регистрация: 12.02.2011
Адрес: -> Ower
Сообщений: 1,196
Бабло: $159385
По умолчанию

Цитата:
Сообщение от mirikas Посмотреть сообщение
собсвтенно сабж чем и как лучше? их все отловить
может у кого нить есть простой скриптец который будет записывать рефер и ип, либо можем с кем то потом обменяться листами ип.
пока только приходят мысли делать скрытые линки на всем чем можно и писать все ип которые пришли.
долго работал в этом направлении, могу сказать что 100% всех ботов не отловить.

Если про гугл - можно найти список все IP его и фильтровать так. Но если он что-то заподозрит, жди уже других ботов, которые раньше возможно вообще нигде не ходили. Это про гугл.

Если еще и другие боты, которые подменяют реферер, заходят с разными "человеческими" параметрами, запускают JS, скачивают софт, если грузить, запускают и его, все чекают и хуй от них спрячешься.

Вобщем если ничего плохого не делаешь, то пали по IP, реферерам, хостам и скринам JS
__________________
Start earn with Alcuda LTD! Up to $120 per each paid order
maxtrade вне форума  
Старый 05.07.2011, 12:41   #5
mirikas
Senior Member
 
Аватар для mirikas
 
Регистрация: 25.12.2008
Сообщений: 1,099
Бабло: $272735
ТС -->
автор темы ТС По умолчанию

вообще у меня была мысль создавать нечеловечные страницы ijigjerigjerigjerigjerig - такого плана, кормить их гуглю и писать все ип которые там будут тусоваться.
mirikas вне форума  
Старый 05.07.2011, 12:44   #6
maxtrade
Ебланнед
 
Регистрация: 12.02.2011
Адрес: -> Ower
Сообщений: 1,196
Бабло: $159385
По умолчанию

тупая мысль)) повесь туда что нибудь плохое, через часа 2 будет списочек, но он как я уже говорил, часто меняется
__________________
Start earn with Alcuda LTD! Up to $120 per each paid order
maxtrade вне форума  
Старый 05.07.2011, 13:01   #7
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

ну вообщем на 100% никак не узнаешь.
еще, ты же прячешь с какой-то целью, не просто так ведь. И возможно твой сайт маякнет по другим параметрам и на него придет индус из гуглоофиса и сделат профессиональный осмотр. Не знаю на сколько такое возможно, но то, что в сетки айпи включают гуглоофисы - точно. + конкуренты и прочие стукачи, но это оффтоп уже

про прятать ссылки и если линк открыл, то значит бот. Чем прятать?
если js - то бывают юзеры, которые ходят по интернетам с отключенным js и включают его только на трастовых сайтах - я иногда так делаю на винде. Значит прятать js-ом отпадает.
если прятать css - то это элементарно ботами просчитывается.
Да и js можно запустить, если бот посложнее.

еще можно куки писать разные, картинки смотреть какие открываются, какие ресурсы грузятся. и тд, но все равно сквозь это все один да просочится.

гугл же умеет рендерить страницы сайта в серпе, значит там у него нормальный бот, не глупый

еще наблюдал, яху ходит по всем ссылкам и ему nofollow не указ, а гугл нет, не ходит, покрайне мере под своим ua, но я не поверю, чтобы ему это было не интересно )
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 05.07.2011, 13:06   #8
dady
Senior Medved
 
Аватар для dady
 
Регистрация: 15.06.2008
Сообщений: 4,140
Бабло: $22472130
По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
ну вообщем на 100% никак не узнаешь.
еще, ты же прячешь с какой-то целью, не просто так ведь. И возможно твой сайт маякнет по другим параметрам и на него придет индус из гуглоофиса и сделат профессиональный осмотр. Не знаю на сколько такое возможно, но то, что в сетки айпи включают гуглоофисы - точно. + конкуренты и прочие стукачи, но это оффтоп уже

про прятать ссылки и если линк открыл, то значит бот. Чем прятать?
если js - то бывают юзеры, которые ходят по интернетам с отключенным js и включают его только на трастовых сайтах - я иногда так делаю на винде. Значит прятать js-ом отпадает.
если прятать css - то это элементарно ботами просчитывается.
Да и js можно запустить, если бот посложнее.

еще можно куки писать разные, картинки смотреть какие открываются, какие ресурсы грузятся. и тд, но все равно сквозь это все один да просочится.

гугл же умеет рендерить страницы сайта в серпе, значит там у него нормальный бот, не глупый

еще наблюдал, яху ходит по всем ссылкам и ему nofollow не указ, а гугл нет, не ходит, покрайне мере под своим ua, но я не поверю, чтобы ему это было не интересно )
Пользователями с отрубленым js моно пренебречь ради благого дела.
В серпе вроде как браузер генерит превьюшки а не гугл.
dady вне форума  
Старый 05.07.2011, 15:49   #9
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 594
Бабло: $123024
По умолчанию

Offtopic
Diplomat вне форума  
Старый 05.07.2011, 15:57   #10
maxtrade
Ебланнед
 
Регистрация: 12.02.2011
Адрес: -> Ower
Сообщений: 1,196
Бабло: $159385
По умолчанию

Цитата:
Сообщение от Diplomat Посмотреть сообщение
Offtopic
Offtopic
__________________
Start earn with Alcuda LTD! Up to $120 per each paid order
maxtrade вне форума  
Закрытая тема



Опции темы
Опции просмотра