Чего бы интересного пропарсить из 9 млн. доменов?

[lorien]

Скачал морды 9млн доменов. Подскажите, что интересного оттуда можно выпарсить? Если кому-то что-то нужно, пишите, я могу пропарсить.

[Skyworker]

Сообщение от digg

теперь все эти домены на позиции в гугле по всем кеям пропарсить и сделать семраш с ахрефсом в одном ))

Регулярно парсить на кеи и сделать так свой Гугл
А если без шуток, то есть такие сервисы, которые до ТСа уже пропарсили гораздо больше доменов, да еще и по куче параметров.

[digg]

Сообщение от Skyworker

Регулярно парсить на кеи и сделать так свой Гугл
А если без шуток, то есть такие сервисы, которые до ТСа уже пропарсили гораздо больше доменов, да еще и по куче параметров.

а у тс-а будет бесплатный сервис

[kezz]

кто знает сервисы по определению тематики сайтов ?
ты ему список доменов, он тебе какой домен какой тематики

[capturis]

Сообщение от kezz

кто знает сервисы по определению тематики сайтов ?
ты ему список доменов, он тебе какой домен какой тематики

http://zennolab.com/wiki/ru:context-recognizer

[thoth666]

Что парсить:
- движок
- возможно, тематику, на основе текстов на сайте
- какие рекламные блоки установлены
- ссылки на другие домены
- насобирать текстов с морд, чтобы лепить дорвеи

дополнительно можно парсить
- данные хуиза (из них - контакты админов, иногда они есть)
- IP сервера

на такой бигдате можно поэкспериментировать с нейронной сетью, например, скормить контент в самоорганизующуюся карту, тогда данные можно кластеризовать и дальше как-то использовать (к, примеру, договариваться об обмене ссылками с сайтами определенного кластера и т.п.)

но 9 млн - это как-то мало вообще
если пройтись по мордам и пособирать линки, то из 9 млн получится гораздо больше доменов.

затем, можно насобирать брошенные домены (ссылки на которые есть, но они проэкспарились), и зарегать их

вообще, можно много чего с этим сделать, зависит от целей)
как-то парсил сопоставимый объем, даже где-то база валялась
запилил потом локальный поисковичок на эластике и через формы обратной связи (там, где они были), выцеплял вебмастеров

[Олдфаг]

Сообщение от kezz

кто знает сервисы по определению тематики сайтов ?
ты ему список доменов, он тебе какой домен какой тематики

https://goo.gl/aw7tPJ

[TextSupplier]

Попробуй сделать спаилку для арбитражников. Но это не просто "попарсить". По ФБ не так много предложений и индексом слабенько, например.

[7make]

Уже все спарсили за нас
грепай не хочу...

[lorien]

Там не всё, а лишь некоторая часть интернета. Вот тут можно посмотреть, сколько страниц с каждого домена спарсено: http://urlsearch.commoncrawl.org/

[KongWeiLing]

Хз, а-парсером такие объёмы морд дербаню за пару дней, даже прокси не нужны, даже не храню их. Бэки так бесполезно искать все самое интересное не на мордах. Идей что собирать ищи в апарсере) единственное чем ты можешь отличиться - это собирать и хранить историю изменения всего что сможешь парсить.