написание спамилки контроль трафика

[LorikX]

Cейчас написал Php-спамилку, возник вопрос контроля эффективности загрузки канала по использованию трафика,а именно, при 40 одновременно работающих скриптов планирую запускать в 1000 сокетов каждый, так как скрипты работают отдельно друг от друга, по использованию трафика возникает ситуация "то густо то пусто", кто сталкивался с данной проблемой отпишитесь, можно в личку

[Dmitry HT]

40*1000 = 40000 потоков или я че-то не вкурил

[LorikX]

Сообщение от Dmitry HT

40*1000 = 40000 потоков или я че-то не вкурил

а что так пугает ?

[kitt]

Сообщение от lorikx

а что так пугает ?

не пугает а смущает я б сказал...
ты запускал 40к потоков?

[LorikX]

Сообщение от kitt

не пугает а смущает я б сказал...
ты запускал 40к потоков?

я запускаю 40 скриптов в каждом открываю 1К соединений, в чём проблема я не пойму?
работа спамилки это 10 секунд скачивания иныормации + около 3 минут дальнейшей обработки этой инфы, я как раз и просил отписаться людей которые сталкивались с вопросом оптимизации трафика, мне нужно каким то образом из Php увидеть загрузку сети, что бы поралельно не закачивать из 2-х разных скриптов данные а правильно растянуть этот процесс

[baadf00d]

если у тебя бсд или линукс, то набери для начала команду: sysctl -a | grep files
получишь результат вроде этого:
kern.maxfiles: 12328
kern.maxfilesperproc: 11095
kern.openfiles: 672
p1003_1b.mapped_files: 1

kern.maxfiles - максимальное количество открытых сокетов в системе
kern.maxfilesperproc - максимальное количество сокетов на процесс

по опыту могу сказать, что 10к открытых сокетов далеко не на каждой системе будет нормально работать.

PS если честно, вообще не верю, что на среднем серваке 5к сокетов + пхп будет адекватно работать

[Dmitry HT]

все равно нифига не ясно

40к потоков одновременно не работают, а висят и ждут очереди? тогда зачем запускать копии скриптов? пусть одна копия в 1к потоков и шпарит постоянно.

[kitt]

Присоединяюсь к Дмитрию и Баафуду.
открывать даже 5к потоков так, что бы большая их часть ждала своей очереди - ну эм... как минимум не рационально...

я спрашивал про 40к потоков потому что лично запускал 1к потоков на один процесс, в итоге это оказалось медленнее примерно на 70% чем 150 потоков на процесс.

но это как говориться Я...

попробуй обдумать вариант что например тела будут где-нить "флажки" ставить, что типа "я ху#рю на 3/5" и от этого танцевать, мож чего толкового придумаешь...

З.Ы. Если есть желание - стукнись в асю ко мне, пообщаемся

[solar]

netstat -w1

запускаете это и будет видно сколько трафика идет по интерфейсам

[LorikX]

Сообщение от Dmitry HT

все равно нифига не ясно

40к потоков одновременно не работают, а висят и ждут очереди? тогда зачем запускать копии скриптов? пусть одна копия в 1к потоков и шпарит постоянно.

интересная идея