pcntl_fork - как быстрее и правильнее

[Hector]

В общем делаю чекер соксов на PHP pcntl_fork. Ставлю 100 потоков. В списке около 30 000 проксей. Так вот доходит до 3000 и начинает сильно тормозить (замедляется выполнение потоков) хотя и выделено 2000метров на скрипт, и вообще оператива и проц не загружены. Не могу понять в чем причина? Чекать в 30 потоков очень долго.

[Hector]

В ТОП

top - 16:28:16 up 28 days, 2:12, 2 users, load average: 0.02, 0.03, 0.10
Tasks: 2440 total, 1 running, 271 sleeping, 1993 stopped, 175 zombie
Cpu(s): 0.3%us, 0.3%sy, 0.0%ni, 99.2%id, 0.0%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 4137960k total, 1637212k used, 2500748k free, 128552k buffers
Swap: 8193140k total, 58268k used, 8134872k free, 351080k cached

[chesser]

проверь лимиты таймаутов при коннекте к соксам. Ближе к 3000 видимо все 100 форк-процессов забиваются медленными соксами, соединения с которыми нужно обрубать принудительно.

также возможно ОС ограничивает какие-то ресурсы:
ulimit -a
например так: ulimit -u
ну и man ulimit

Но скорее всего виноваты медленные соксы и отсутствие лимитов по работе с ними

[Hector]

5 сек таймауты курлом дергаю
Думаешь курл лажает?

Если да то как решить трабл? Сокеты?

[deschain]

Hector, у курла есть трабл достаточно известный, при котором сокеты реально не отрубаются.

[Hector]

Хм вот зараза! Альтернативный кусок кода чекера выложите?

[chesser]

да-да! как раз именно на таймаутах и именно с соксами у курла баг, какая версия? желательно > 7.18 иметь. Насколько я помню, курл принимал команду на установку коннект-таймаута на сокс4-5, но нихера ей не следовал.

если ОС=centos - то курл с пхп руками собирать

ну и форк - так то не лучший вариант, он простой, но рабочий. С форком ты быстрее упрешься в системные ресурсы, чем маскимум выжмешь из канала. Если нужно и канал забить, то мульти курл или stream_socket. А в идеале: форкать мультикурл или стримсокеты

на счет альтернативного куска кода не понятна фраза, ядро парсера спалить? ну хз
http://www.proxy-tool.net/ - я на основе этого делал

[Hector]

Так мультикурл еще глючнее.

[dveredel]

Асинхронные сокеты с асинхронным же коннектом (и соотв полным ручным контролем таймаута на коннект) имхо идеальный вариант. Только чистые сокеты (которые обертки над сишнымы) а не всякие там fsockopen.

Форкать процессы для мульти-запросов -- простая, но не самая лучшая идея, т.к. данную задачу в одном потоке можно делать, только логика усложняется конкретно.

[arma]

curl не стоит использовать в скриптах, которые должны выжимать максимум из канала. Походу это первая ошибка многих
Сокеты лучше.