парсинг кэша гугла - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB93.4409
BTC/USD64361.8351
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 02.11.2013, 11:39   #1
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,096
Бабло: $611825
По умолчанию парсинг кэша гугла

У меня есть несколько впс, на каждом несколько IP из разных подсетей.
Заметил, что последнее время гугл стал как-то определять, что IP из разных подсетей, я бы даже сказал из разных стран, расположены на одном впс.
Я через прокси на впс парсил кэш сайтов с гугла, и если он блочил один IP, то блочил сразу все на этом впс. Как он может определять, что IP принадлежат одному впс?
Сквид настроен четко, выдает только IP на REMOTE_ADDR
ip=>gethostbyaddr]=REMOTE_ADDR
Цитата:
HTTP_CLIENT_IP:
HTTP_X_FORWARDED_FOR:
HTTP_PROXY_CONNECTION:
HTTP_VIA:
HTTP_FORWARDED:
HTTP_USER_AGENT_VIA:
(REMOTE_HOST):
HTTP_CACHE_CONTROL: max-age=259200
HTTP_CACHE_INFO:
HTTP_X_FORWARDED_FOR_IP:
HTTP_CONNECTION: keep-alive
HTTP_FORWARDED:
это все отключено.
По мак адресу чтоли? да он его вроде бы не видеть должен. сначала я думал, что по юзер агенту браузера, но если сменишь IP проксей на другой впс дает без проблем парсить.
И ведь даже каптчу не введешь, просто 403 ошибку выдает и все.
Drg вне форума