Попробовал для прикола Go. Быстрый очень. Да и парсинг им делать легко. Например
https://github.com/PuerkitoBio/goquery
Так что если будет нужна быстрая системная приблуда буду заказывать на нем. Сокеты еще интересно как работают.
Но в Ноде все таки куча библиотек, но и хреновых из них почти все.
Цитата:
Сообщение от Vitej
Лям страниц это детский объём, я недавно 450к локальных html файлов на питоне за 20 минут распарсил, на 6 ядрах. И то там всё в медленный hdd упиралось. Основная проблема в парсинге это быстро забрать сами страницы, а там многопоточные языки редко упираются в производительность, а не сеть.
|
Ну вот сграблено и прочекано 50к страниц разных сайтов с таймаутом в 10 сек. 50 000 потоков))))
Total: 50000, Good: 44004, bad: 5996
Script execution time: 51.928716183s
За 50 секунд на 4 гигах озу и среднем проце
Нода блять работает на одном ядре, там танцы с бубном надо чтобы запустить на всех. А тут пожалуйста.
Цитата:
Сообщение от Vitej
Нода это хипстерский язык
|
В каком смысле хипстерский? Что значит это выражение?