Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 17.07.2015, 22:46   #1
Afobazol
Ебланнед
 
Регистрация: 30.10.2014
Сообщений: 57
Бабло: $13865
Question Как similarweb и другие узнают стату?

Всем привет, чуваки!

У меня нубский вопрос, сорри за тупость. Объясните, пожалуйста, как сервисы типа similarweb, prodvigator, alexa, semalt и так далее, вычисляют источник перехода на сайт (реферера).

Спасибо.
Afobazol вне форума  
Старый 17.07.2015, 22:49   #2
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,204
Бабло: $468791
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

Цитата:
Вы когда-нибудь сканировали только что установленный Windows антишпионской программкой под названием Adaware? Если да, то должны были заметить, что единственной "шпионской программой", которую обнаружил этот сканер, был небольшой модуль интегрированный в браузер Internet Explorer - это и есть частичка alexa.com на вашей машине. Alexa.com официально утверждает, что все данные берутся исключительно из, т.н. alexa toolbar, но по всей видимости, этот источник поставляет только определенную долю статистики. Основная же часть информации добывается посредством тесной коммуникации с популярными продуктами от Microsoft (и, разумеется, других производителей - например, гугла).
Цитата:
На заре своей деятельности компания Alexa.com имела прямое отношение к созданию Wayback Machine (Машина Времени). Wayback Machine - это Интернет-архив, который собирает все данные, когда-либо появлявшиеся в сети. С помощью этой штуки можно посмотреть, как выглядел тот или иной сайт 5 или 10 лет назад. Через 20-30 лет информация из этой базы данных будет пользоваться неимоверной популярностью.
нагуглил, но смысл тотже

Цитата:
С середины 2002 года Alexa вошла в тесный контакт с Гуглом - именно гугля предоставляла свои поисковые данные для сервисов от Alexa.com. Непродолжительное время, Alexa использовала также мощности Windows Live Search, но в конце 2006 года инженерами компании была разработана собственная поисковая платформа.
вооот

ну и источник перехода это referer...

он есть в каждом пакете, который отправляет твой браузер, но многие его блокируют (для анонимности чтоли)
например
Код:
GET http://www.gofuckbiz.com/forumdisplay.php?f=99 
      Host:www.gofuckbiz.com
      User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0
      Referer:http://www.gofuckbiz.com/
      Cookie: cfduid=debfff2ccd86e82dc299111a73a0fceb51425646400; bblastvisit=1425646400;
      Connection:keep-alive
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума  
Старый 17.07.2015, 22:56   #3
Afobazol
Ебланнед
 
Регистрация: 30.10.2014
Сообщений: 57
Бабло: $13865
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от x999xx Посмотреть сообщение
нагуглил, но смысл тотже



вооот

ну и источник перехода это referer...

он есть в каждом пакете, который отправляет твой браузер, но многие его блокируют (для анонимности чтоли)
например
Код:
GET http://www.gofuckbiz.com/forumdisplay.php?f=99 
      Host:www.gofuckbiz.com
      User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0
      Referer:http://www.gofuckbiz.com/
      Cookie: cfduid=debfff2ccd86e82dc299111a73a0fceb51425646400; bblastvisit=1425646400;
      Connection:keep-alive
Я не очень "программист". То есть эти сервисы юзают свой плагин в браузерах пользователей?
Afobazol вне форума  
Старый 17.07.2015, 22:59   #4
Gogi
Senior Member
 
Регистрация: 15.03.2014
Сообщений: 212
Бабло: $36250
По умолчанию

Цитата:
Сообщение от Afobazol Посмотреть сообщение
Я не очень "программист". То есть эти сервисы юзают свой плагин в браузерах пользователей?
Симилар вроде как логи скупает у тулбарщиков.
Алекса 100% юзала свой плагин, по крайней мере в дремучие годы, сейчас хз.
Продвигатор мониторит позиции по базе ключей и просто делает расчёт по формуле.
Gogi на форуме  
Старый 17.07.2015, 22:59   #5
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,204
Бабло: $468791
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

Цитата:
Сообщение от Afobazol Посмотреть сообщение
Я не очень "программист". То есть эти сервисы юзают свой плагин в браузерах пользователей?
так раньше может было, в ИЕ помоему ток плагины и были
да написали своих поисковых ботов, которые уже по существующим сайтам собирают несуществующие и пополняют БД
а кто-то топ10 лямов алексы купил/скачал и начал свое расследование
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума  
Старый 17.07.2015, 23:04   #6
spasibo
banned
 
Регистрация: 14.04.2013
Сообщений: 127
Бабло: $26265
По умолчанию

че гадать то
http://www.similarweb.com/ourdata

Цитата:
Our data comes from 4 main sources:
1) A panel of over 100 million monitored devices, currently the largest panel in the industry.
2) Local internet service providers (ISPs) located in many different countries.
3) Our web crawlers that scan every public website to create a highly accurate map of the digital world, and
4) Hundreds of thousands of direct measurement sources from websites and apps that are connected with us directly.
__________________
не за что
spasibo вне форума  
Старый 18.07.2015, 00:30   #7
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 8,000
Бабло: $1215480
Отправить сообщение для digg с помощью ICQ
По умолчанию

т.е. собирают данные не на уровне браузера или ос, а на уровне провайдеров?
digg на форуме  
Старый 18.07.2015, 00:48   #8
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,204
Бабло: $468791
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

оба случая возможны
даже с помощью троянов можно норм инфы выцепить!
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума