где взять блогов

[durman]

надо пару лямов блогов на wp. где их взять?

ps: пробовал напарсить из гугла, для этого купил у товарища BABBLS2 запросы для парсинга, но уникальных набралось всего 80К.

[sashawww]

Сообщение от durman

спасибо Dux, натолкнул на мысль.

моя догадка такая, если используешь inurl: то гугл режет выдачу. кто нибудь подтвердит или опровергнет ?

через inurl: действитльно много не выпарсишь имхо, лучше использовать "powered by wordpress" комбинируя с разными кеями

[Fisherman]

тож хочу базейку... чеканую на версии было бы вообще шоколад

[Fisherman]

West Fucker, хокер детектед
2.9 нормально даже

[RedHead]

если есть канал: взять список всех доменов, выкачивать главную и искать в ней отличительную_черту_вордпресс_блога

[JackSoft]

RedHead, вроде не первое апреля
Ты про базу всех доменов, или ВСЕХ?
Если про ВСЕХ, то ТС как раз к трехтясячному году и закончит выпарсивать морды

[RedHead]

По информации сайта cybersecurity.ru, итогам второго квартала этого года общее число доменов в интернет достигло 184 миллионов,

первое что нагуглил: http://itua.info/news/internet/22779.html

пусть сейчас уже 200 млн.
пусть главная весит 200кб.
пусть у нас канал 100мбит (или 100/8= 12,5мб\сек)

(200.000.000*0,2)/12,5=3.200.000 сек => 37дней на одном серваке.

может где-то и ошибся, поправьте.

[Dux]

только одна проблеме, где можно скачать эту базу ВСЕХ доменов ?

[imgreen]

Сообщение от JackSoft

RedHead, вроде не первое апреля
Ты про базу всех доменов, или ВСЕХ?
Если про ВСЕХ, то ТС как раз к трехтясячному году и закончит выпарсивать морды

а в чем отличие слов "всех" и "ВСЕХ"?

[JackSoft]

Сообщение от RedHead

первое что нагуглил: http://itua.info/news/internet/22779.html

пусть сейчас уже 200 млн.
пусть главная весит 200кб.
пусть у нас канал 100мбит (или 100/8= 12,5мб\сек)

(200.000.000*0,2)/12,5=3.200.000 сек => 37дней на одном серваке.

может где-то и ошибся, поправьте.

Поправляю - сабы на доменах + время на обработку и запись.

[JackSoft]

Сообщение от Dux

только одна проблеме, где можно скачать эту базу ВСЕХ доменов ?

наверное на корневом ДНС