Общедоступный индекс веба (5 миллиардов веб-страниц)

[getalifejerk]

Организация Common Crawl сделала щедрый подарок разработчикам и компаниям, которые работают в области поиска и обработки информации. В открытый доступ на Amazon S3 выложен индекс из 5 миллиардов веб-страниц с метаданными, PageRank и графом гиперссылок.

Если вы видели в логах веб-сервера CCBot/1.0, то это их краулер. Некоммерческая организация Common Crawl выступает за свободу информации и поставила целью сделать общедоступный поисковый индекс, который будет доступен каждому разработчику или стартапу. Предполагается, что это приведёт к созданию целой плеяды инновационных веб-сервисов.

Поисковый кластер Common Crawl работает на Hadoop, данные хранятся в файловой системе HDFS, а обработка осуществляется средствами MapReduce, после чего весь контент сжимается в архивы формата ARC, файлы по 100 МБ (общий объём базы 40-50 ТБ). Файлы можно скачать к себе или напрямую обрабатывать на EC2 с помощью того же MapReduce. Доступ к bucket'у возможен только с флагом Amazon Requester-Pays, то есть для зарегистрированных пользователей EC2 (подробнее о Amazon Requester-Pays здесь). Скачать 40-50 ТБ из внешней сети обойдётся примерно в $130 по текущим расценкам Amazon, обращение через MapReduce внутри EC2 — бесплатно.

Данные доступны практически без ограничений: см. инструкцию по доступу к данным и условия пользования. Запрещено только выкладывать скачанные данные где-то в другом месте, продавать доступ или использовать данные каким-либо незаконным способом.

Добавим, что руководителем Common Crawl Foundation является широко известный в узких кругах Гилад Элбаз (Gilad Elbaz), главный разработчик системы Google AdSense и исполнительный директор стартапа Factual.

Отсюда.

PS: Ну что, ждем когда выкачают и сделают адекватные сервисы-надстройки над базой.

[huanpedro]

у меня бровя задергалась.
Это же просто жесть что можно сделать..

[Sanchez]

Запрещено только выкладывать скачанные данные где-то в другом месте, продавать доступ или использовать данные каким-либо незаконным способом.

а зачем они тогда нужны?

[chesser]

Сообщение от Sanchez

а зачем они тогда нужны?

для аналитики, для вебмайнинга, например

или ты подумал, что они о дорвейщиках и пекарях думали, пока парсили ))

[Sanchez]

Сообщение от chesser

для аналитики, для вебмайнинга, например

или ты подумал, что они о дорвейщиках и пекарях думали, пока парсили ))

да я понял, тролю просто

[Drunk Monk]

А что будет, если выложить? Морские котики через форточку войдут?

[soul]

Сообщение от Drunk Monk

А что будет, если выложить? Морские котики через форточку войдут?

может быть как у тебя на аватарке

[Drunk Monk]

А что это у тебя за трезвый день рождения, что-ли?

[WebNinja]

есть еще компании которые открытый индекс строят.
http://www.majestic12.co.uk/
http://www.dotnetdotcom.org/ - тут точно скачать можно.

я думаю их щаз масса, стоит только попарсить логи сервера на предмет незнакомых юзерагентов.

[CrocGena]

Всяких сервисов, которые инфу по доменам показывают (которые ещё для линкбилдинга используют) - их и так до фига. Будет видимо ещё больше и с уже готовыми базами

Но не думаю что сразу появятся тучи новых сервисов - слишком большой объём данных - не так просто и хранить и обрабатывать Нужен бюджет чтоб сервис какой-то разработать с таким объёмом данных.

И ещё не понятно насколько всё это будет актуально без обновлений.