Python. быстрый http клиент ?

[gre4a]

Нужен пример кода на питоне, который по максимум грузит интернет канал запросами http. Т.е. пример работы http - асинхронный, многопоточный и тп. всё лучшее на что способен питон.
Кто может черканите пример, или хотя бы модули какие посмотреть ?

[medar]

а обычный мультикурл через php (либа rolling-curl), например, не канает ?

[freeman]

https://github.com/facebook/tornado/.../httpclient.py
http://habrahabr.ru/blogs/personal/61960/

[gre4a]

должен признать я впечатлён php (питон ещё не протестировал).
rolling-curl по производительности не уступает перлу. перл выигрывает в несколько раз только при использовании кeep-alive. (как его заиспользовать в rolling-curl не нашёл.)

[medar]

Сообщение от gre4a

должен признать я впечатлён php

Ну там php не особо причём, там всю асинхронную многопоточную работу делает сишный модуль curl (как и в питоне), php просто принимает от него результаты.

А для keep-alive надо, по идее, просто добавить header к http-запросу "Connection: Keep-Alive"
Т.е. при добавлении урла в пачку запросов в $headers помещаешь array("Connection"=>"Keep-Alive")

[gre4a]

medar, не работает.
Одного заголовка мало, надо что бы сама либа сохраняла коннект и использовала его для следующего реквеста, вместо того что бы опять резолвить имя в dns и соединятся заново с сайтом.

[gre4a]

либо питон вдрызг разрывает perl и php . либо там что то не работает. для теста юзал http://habrahabr.ru/blogs/personal/61960/.
при 100 потоках в 2 раза быстрее чем перл и в 2.5 чем пхп, но на увеличение потоков питон никак не реагирует (загрузка цп повышается но время работы скрипта остаётся прежним).
в перле и пхп с этим всё в порядке, кол-во потоков прямо пропорциональны загрузки цп и времени работы теста.

[xanxy]

Сообщение от gre4a

либо питон вдрызг разрывает perl и php . либо там что то не работает. для теста юзал http://habrahabr.ru/blogs/personal/61960/.
при 100 потоках в 2 раза быстрее чем перл и в 2.5 чем пхп, но на увеличение потоков питон никак не реагирует (загрузка цп повышается но время работы скрипта остаётся прежним).
в перле и пхп с этим всё в порядке, кол-во потоков прямо пропорциональны загрузки цп и времени работы теста.

По моему ты зря заморачиваешься. Перл пхп и питон в любом случае все упирается в сшную либу, а та юзает epoll.
Да и в большинстве случаев все упирается в количество и качество проксей.
Я бы остановился на перле. У перла большое количество модулей, анонимные функции, компилится в какой то свой байт код.

[gre4a]

очень странно получается. я понимаю что в основном производительность даёт сишная либа. я для уверенности потестировал libcurl и на перле (WWW::curl::Multi), результат не укладывается в картину мира. Она оказалась медленнее альтернативной реализации на перле и вдобавок грузит цп на 100%

[freeman]

А у тебя точно libcurl с флагом c-ares собран?