Как similarweb и другие узнают стату? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.7493
BTC/USD70498.4266
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 17.07.2015, 22:46   #1
Afobazol
Ебланнед
 
Регистрация: 30.10.2014
Сообщений: 56
Бабло: $13865
Question Как similarweb и другие узнают стату?

Всем привет, чуваки!

У меня нубский вопрос, сорри за тупость. Объясните, пожалуйста, как сервисы типа similarweb, prodvigator, alexa, semalt и так далее, вычисляют источник перехода на сайт (реферера).

Спасибо.
Afobazol вне форума  
Старый 17.07.2015, 22:49   #2
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Сообщений: 2,215
Бабло: $473391
По умолчанию

Цитата:
Вы когда-нибудь сканировали только что установленный Windows антишпионской программкой под названием Adaware? Если да, то должны были заметить, что единственной "шпионской программой", которую обнаружил этот сканер, был небольшой модуль интегрированный в браузер Internet Explorer - это и есть частичка alexa.com на вашей машине. Alexa.com официально утверждает, что все данные берутся исключительно из, т.н. alexa toolbar, но по всей видимости, этот источник поставляет только определенную долю статистики. Основная же часть информации добывается посредством тесной коммуникации с популярными продуктами от Microsoft (и, разумеется, других производителей - например, гугла).
Цитата:
На заре своей деятельности компания Alexa.com имела прямое отношение к созданию Wayback Machine (Машина Времени). Wayback Machine - это Интернет-архив, который собирает все данные, когда-либо появлявшиеся в сети. С помощью этой штуки можно посмотреть, как выглядел тот или иной сайт 5 или 10 лет назад. Через 20-30 лет информация из этой базы данных будет пользоваться неимоверной популярностью.
нагуглил, но смысл тотже

Цитата:
С середины 2002 года Alexa вошла в тесный контакт с Гуглом - именно гугля предоставляла свои поисковые данные для сервисов от Alexa.com. Непродолжительное время, Alexa использовала также мощности Windows Live Search, но в конце 2006 года инженерами компании была разработана собственная поисковая платформа.
вооот

ну и источник перехода это referer...

он есть в каждом пакете, который отправляет твой браузер, но многие его блокируют (для анонимности чтоли)
например
Код:
GET http://www.gofuckbiz.com/forumdisplay.php?f=99 
      Host:www.gofuckbiz.com
      User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0
      Referer:http://www.gofuckbiz.com/
      Cookie: cfduid=debfff2ccd86e82dc299111a73a0fceb51425646400; bblastvisit=1425646400;
      Connection:keep-alive
__________________
я знаю стабильный курс на будущее eur/(usd+0.001) + usd/(eur+0.00101) = 0 ( )
x999xx вне форума  
Старый 17.07.2015, 22:56   #3
Afobazol
Ебланнед
 
Регистрация: 30.10.2014
Сообщений: 56
Бабло: $13865
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от x999xx Посмотреть сообщение
нагуглил, но смысл тотже



вооот

ну и источник перехода это referer...

он есть в каждом пакете, который отправляет твой браузер, но многие его блокируют (для анонимности чтоли)
например
Код:
GET http://www.gofuckbiz.com/forumdisplay.php?f=99 
      Host:www.gofuckbiz.com
      User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0
      Referer:http://www.gofuckbiz.com/
      Cookie: cfduid=debfff2ccd86e82dc299111a73a0fceb51425646400; bblastvisit=1425646400;
      Connection:keep-alive
Я не очень "программист". То есть эти сервисы юзают свой плагин в браузерах пользователей?
Afobazol вне форума  
Старый 17.07.2015, 22:59   #4
Gogi
Senior Member
 
Регистрация: 15.03.2014
Сообщений: 216
Бабло: $40090
По умолчанию

Цитата:
Сообщение от Afobazol Посмотреть сообщение
Я не очень "программист". То есть эти сервисы юзают свой плагин в браузерах пользователей?
Симилар вроде как логи скупает у тулбарщиков.
Алекса 100% юзала свой плагин, по крайней мере в дремучие годы, сейчас хз.
Продвигатор мониторит позиции по базе ключей и просто делает расчёт по формуле.
Gogi вне форума  
Старый 17.07.2015, 22:59   #5
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Сообщений: 2,215
Бабло: $473391
По умолчанию

Цитата:
Сообщение от Afobazol Посмотреть сообщение
Я не очень "программист". То есть эти сервисы юзают свой плагин в браузерах пользователей?
так раньше может было, в ИЕ помоему ток плагины и были
да написали своих поисковых ботов, которые уже по существующим сайтам собирают несуществующие и пополняют БД
а кто-то топ10 лямов алексы купил/скачал и начал свое расследование
__________________
я знаю стабильный курс на будущее eur/(usd+0.001) + usd/(eur+0.00101) = 0 ( )
x999xx вне форума  
Старый 17.07.2015, 23:04   #6
spasibo
Senior Member
 
Регистрация: 14.04.2013
Сообщений: 131
Бабло: $28805
По умолчанию

че гадать то
http://www.similarweb.com/ourdata

Цитата:
Our data comes from 4 main sources:
1) A panel of over 100 million monitored devices, currently the largest panel in the industry.
2) Local internet service providers (ISPs) located in many different countries.
3) Our web crawlers that scan every public website to create a highly accurate map of the digital world, and
4) Hundreds of thousands of direct measurement sources from websites and apps that are connected with us directly.
spasibo вне форума  
Старый 18.07.2015, 00:30   #7
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 13,850
Бабло: $1885175
Отправить сообщение для digg с помощью ICQ
По умолчанию

т.е. собирают данные не на уровне браузера или ос, а на уровне провайдеров?
digg вне форума  
Старый 18.07.2015, 00:48   #8
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Сообщений: 2,215
Бабло: $473391
По умолчанию

оба случая возможны
даже с помощью троянов можно норм инфы выцепить!
__________________
я знаю стабильный курс на будущее eur/(usd+0.001) + usd/(eur+0.00101) = 0 ( )
x999xx вне форума