multi curl и centos: ограничение потоков

[carl0s]

Столкнулся с неприятной проблемой.
centos 5.5
Curl 7.21.3
php 5.3.5

При попытке запустить простой парсер списка урлов через мульти курл хотя бы в 50-100 потоков - получаю какой то "затык". Если поставить 100 потоков - вообще ничего не приходит в ответ, и сам multi_curl_exec висит очень долго, хотя по сути должен исполнятся почти моментально. Если поставить потоков 10-20 - все нормально приходит в ответ.

Самое важное: если все тоже самое запустить с винды через впн на этом самом хосте - никаких ограничений нет, все соединения проходят, хоть 200-300. Т.е. режет не ДЦ а какие то проблемы либо в centos, либо в curl под linux =((

Пробывал включать curl_verbose: просто открывается сотня Trying to connect [айпи] - и ноль ответа.

заебалоуже

[TerVer]

бляяя, у меня тоже самое. Попробуй для теста тайамуты слонячие поставь. Если будет больше потоков работать, то в точности как у меня будет.

[carl0s]

Сообщение от TerVer

бляяя, у меня тоже самое. Попробуй для теста тайамуты слонячие поставь. Если будет больше потоков работать, то в точности как у меня будет.

да там часть приходит ответ, но таааак медленно. Смысл в том что быстрее всего работает при 10 потоках. Чем больше потоков - тем медленнее. curl_multi_exec вообще по несколько минут висит, когда на винде он за милисекунды пролетает.

[mrzaggi]

Вчера тож решил одну херню набросать. Поставил 10 потоков, смотрю работает вроде. Зарядил 200 - вот че успело с первых открывшихся потоков вытянуть, упало в результаты а дальше затык. pycurl + ubuntu. Переделал на urllib2.

[mavook]

а есть решение какое?
чтобы стопроцентно потоки расширить

[y4b53]

попробуй
curl_setopt($ch, CURLOPT_NOSIGNAL, 1);

для pycurl
curl.setopt(curl.NOSIGNAL, 1)

[cossack]

ТС, погугли на предмет установки либы c-ares. Там фишка в том, что в никсах curl скомпилирован без поддержки этой либы, в винде сразу с поддержкой. Либа отвечает за асинхронную работу с DNS.
Если у тебя в списке URL попадаются нерезолвящиеся NSы, то без c-ares у тебя все потоки будут ждать пока отрезолвится или отлетит по таймауту этот поток.

[rushter]

Не юзайте мультикурл и не будет проблем... Толку от него мало.

[Drunk Monk]

Что использовать?

[TerVer]

Сообщение от y4b53

попробуй
curl_setopt($ch, CURLOPT_NOSIGNAL, 1);

о, мне вроде помогло, щас еще потестю