Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.7570
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 21.01.2010, 19:28   #1
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
По умолчанию Hidden Bots

После недавнего массового бана со стороны гугла, решил опять поискать ботов, которые полностью расшифровывают JS косят под обычного юзера.
Кто-нибудь еще этим занимался?
Примеры таких ботов:
72.14.192.67 66.249.85.67
Их достаточно легко вычислить, по тупым запросам и по хуизу, в которой OrgTechName: Google Inc.
Но думаю гугл не дурак, и наверняка уже поскупал IP, где в хуизе не светится Google Inc.
Кто-нибудь подскажет идеи по поиску?
Drg вне форума  
Старый 21.01.2010, 20:40   #2
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
ТС -->
автор темы ТС По умолчанию

Видимо все двигают либо полностью белые проекты, либо профили и клоакингом не занимаются)
Drg вне форума  
Старый 21.01.2010, 21:05   #3
kanscx
Senior Member
 
Аватар для kanscx
 
Регистрация: 03.04.2007
Адрес: www.ua
Сообщений: 3,227
Бабло: $373635
По умолчанию

Upd. Глянул лог и статсы - судя по всему вряд ли он проходил. Хотя может быть и проходил, но уже так не палится как раньше.
Тем не менее, последняя сетка слишком быстро улетела в бан...
kanscx вне форума  
Старый 21.01.2010, 21:12   #4
dady
Senior Medved
 
Аватар для dady
 
Регистрация: 15.06.2008
Сообщений: 4,140
Бабло: $22472170
По умолчанию

Да полюбому у гугла какая нибуть компания неразглашённая есть на которую зарегана подсеть выявляющая клоакинг..
Тода надо не гугла вычеслять а провайдеров чтоли .. или это фантастика?
dady вне форума  
Старый 22.01.2010, 19:10   #5
operator
alles geht vorbei
 
Аватар для operator
 
Регистрация: 14.08.2009
Сообщений: 42
Бабло: $5680
По умолчанию

ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому
operator вне форума  
Старый 22.01.2010, 19:21   #6
imgreen
Lion King
 
Аватар для imgreen
 
Регистрация: 15.11.2008
Сообщений: 12,074
Бабло: $247698106
По умолчанию

Цитата:
Сообщение от operator Посмотреть сообщение
ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому
а ты видел датацентры гугла?
__________________
ДетскиеДомики.ру - забота о детях с особыми нуждами.
imgreen вне форума  
Старый 22.01.2010, 19:27   #7
operator
alles geht vorbei
 
Аватар для operator
 
Регистрация: 14.08.2009
Сообщений: 42
Бабло: $5680
По умолчанию

Цитата:
Сообщение от imgreen Посмотреть сообщение
а ты видел датацентры гугла?
ну согласись, реально многие, на сегодня актуальные, методы наебалова гугла не работали бы (тьфу тьфу тьфу), если бы у гугла было чудо-подразделение нинздя-ботов-антиклоакеров. постоянный мониторинг фарма выдачи заставляет меня усомнится в предположениях топикстартера
operator вне форума  
Старый 22.01.2010, 19:44   #8
ziavra
Senior Member
 
Регистрация: 10.04.2007
Адрес: Balifor
Сообщений: 468
Бабло: $29318
По умолчанию

Цитата:
Сообщение от operator Посмотреть сообщение
ты действительно думаешь, что у гугла ходят боты который полностью эмулируют поведения браузера, и выполняют яваскрипт на лету? ты представляешь себе нагрузку которую создавали бы эти боты? по-моему ето нереально даже для такого гиганта как наш любимый гугл, иначе выдача бы выглядела сейчас совсем по-другому
А как он тогда узнает результаты выполнения JS? вот хотя бы это
http://devaka.ru/articles/javascript-links-experiment
ziavra вне форума  
Старый 22.01.2010, 20:00   #9
dady
Senior Medved
 
Аватар для dady
 
Регистрация: 15.06.2008
Сообщений: 4,140
Бабло: $22472170
По умолчанию

может проверяются только подозрительные "сайты" ? быстрый прирост беков, быстрая индексация большого колва страниц? думаю если выделить по таким параметрам нужное то там и ненадо больших ресурсов для обработки.
dady вне форума  
Старый 22.01.2010, 20:18   #10
deschain
Senior Member
 
Аватар для deschain
 
Регистрация: 01.11.2007
Сообщений: 2,275
Бабло: $288535
По умолчанию

dady, проверял, есть боты, выполняющие редиректы. Если шифровать, делать на странице <script src="url"> и хитро редиректить, то не проходит. Простой яваскрипт выполняет на ура. Делал две страницы, на одной стоит яваскрипт, на второй в лог пишутся заходы. На вторую страницу не заходил браузером никак, т.е. никакой тулбар бы не спалил, да и нет его у меня. Далее ставил один линк ПР5 и пихал в пингоматик. Через день/два, был заход на вторую страницу. Сам гуглобот приходил раньше. Айпи было из гугловской подсети.
deschain вне форума  
Закрытая тема



Опции темы
Опции просмотра