Ресурсы для парсинга типа ahrefs

[7make]

Кто может оценить какие ресурсы нужны для парсинга веба по типу ahrefs?
Сколько серваков /ТБ места/канал?

К примеру, в гугле по запросу site:com - примерно 25 270 000 000 документов
Сколько ресурсов и времени нужно пропарсить их?

[inkubus]

http://www.michaelnielsen.org/ddi/ho...s-in-40-hours/ для размышлений

I crawled 250,113,669 pages for just under 580 dollars in 39 hours and 25 minutes, using 20 Amazon EC2 machine instances.

[sspy]

Сообщение от 7make

Сколько ресурсов и времени нужно пропарсить их?

попарсить это фигня, берешь серваки с анлим каналом и вперед. 25TB / средний вес страницы = количество страниц в месяц. самое главное правильная архитектура софта для анализа, там уже побольше мощностей надо.

[dady]

Сообщение от inkubus

http://www.michaelnielsen.org/ddi/ho...s-in-40-hours/ для размышлений

Смыл амазон брать там цены за трафик пиздецкакие.
Тут пощитал если с одного сервака парсить в 1000 страниц в секунду, то на 292 дня , то есть чтоб за месяц напарсить всё , надо 10 серваков примерно.

[spamless]

Сообщение от sspy

попарсить это фигня, берешь серваки с анлим каналом и вперед. 25TB / средний вес страницы = количество страниц в месяц. самое главное правильная архитектура софта для анализа, там уже побольше мощностей надо.

Суммарная мощность ахрефс 25 тфлопс по их заявлениям.

[7make]

MapReduce самое то для таких задач?
В плане построения архитектуры.
На чем такое строят?

[WebNinja]

Сообщение от sspy

попарсить это фигня, берешь серваки с анлим каналом и вперед. 25TB / средний вес страницы = количество страниц в месяц. самое главное правильная архитектура софта для анализа, там уже побольше мощностей надо.

ну конечно

Смыл амазон брать там цены за трафик пиздецкакие.

там можно выкупать споты вычислительные очень дешево + инстансы могут работать только тогда когда нужно а не круглые сутки.

25 270 000 000 например 1000 страниц в секунду, 7019 часов или 292 дня.

[sspy]

Сообщение от WebNinja

ну конечно

еще один безаргументный и необоснованный критик моего экспертного опыта и светлого ума затмевающего солнце. лучше бы ты питонил себе там дальше и не лез в топик, где серъезные дяди общаются.

Сообщение от 7make

MapReduce самое то для таких задач?
В плане построения архитектуры.
На чем такое строят?

да, Hadoop и другие разработки Apache Foundation идеально для этого подойдут

[Dadee]

про ахрефс :

The service has grown up since that time: the first cluster of 6 handmade servers was replaced with mighty 25TFlops cluster in modern world-class datacentre.
Nowadays we crawl up to 6 billion pages a day. Hard to believe – it’s only three times less than Googlebot does!

всего на треть медленней гуглбота. начинали с кластера на 6 серваков.

[digg]

ну, а маркетинг
напарсить, потом то что? бабло надо же отбивать