Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.6550
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 23.10.2008, 14:45   #1
LorikX
Senior Member
 
Регистрация: 07.01.2008
Сообщений: 148
Бабло: $19810
Отправить сообщение для LorikX с помощью ICQ
По умолчанию написание спамилки контроль трафика

Cейчас написал Php-спамилку, возник вопрос контроля эффективности загрузки канала по использованию трафика,а именно, при 40 одновременно работающих скриптов планирую запускать в 1000 сокетов каждый, так как скрипты работают отдельно друг от друга, по использованию трафика возникает ситуация "то густо то пусто", кто сталкивался с данной проблемой отпишитесь, можно в личку
__________________
Желаний больше чем денег !!!
LorikX вне форума  
Старый 23.10.2008, 14:51   #2
Dmitry HT
В помошь вебмастеру!
 
Аватар для Dmitry HT
 
Регистрация: 11.09.2007
Сообщений: 437
Бабло: $27673
По умолчанию

40*1000 = 40000 потоков или я че-то не вкурил
Dmitry HT вне форума  
Старый 23.10.2008, 14:55   #3
LorikX
Senior Member
 
Регистрация: 07.01.2008
Сообщений: 148
Бабло: $19810
ТС -->
Отправить сообщение для LorikX с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от Dmitry HT Посмотреть сообщение
40*1000 = 40000 потоков или я че-то не вкурил
а что так пугает ?
__________________
Желаний больше чем денег !!!
LorikX вне форума  
Старый 23.10.2008, 16:23   #4
kitt
3лостный аффтопир:))
 
Аватар для kitt
 
Регистрация: 02.02.2008
Адрес: Краснодар
Сообщений: 137
Бабло: $10195
Отправить сообщение для kitt с помощью ICQ
По умолчанию

Цитата:
Сообщение от lorikx Посмотреть сообщение
а что так пугает ?
не пугает а смущает я б сказал...
ты запускал 40к потоков?
__________________
Да, мы такая нация! Мы и Гитлера до самоубийства довели!
kitt вне форума  
Старый 23.10.2008, 16:58   #5
LorikX
Senior Member
 
Регистрация: 07.01.2008
Сообщений: 148
Бабло: $19810
ТС -->
Отправить сообщение для LorikX с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от kitt Посмотреть сообщение
не пугает а смущает я б сказал...
ты запускал 40к потоков?
я запускаю 40 скриптов в каждом открываю 1К соединений, в чём проблема я не пойму?
работа спамилки это 10 секунд скачивания иныормации + около 3 минут дальнейшей обработки этой инфы, я как раз и просил отписаться людей которые сталкивались с вопросом оптимизации трафика, мне нужно каким то образом из Php увидеть загрузку сети, что бы поралельно не закачивать из 2-х разных скриптов данные а правильно растянуть этот процесс
__________________
Желаний больше чем денег !!!
LorikX вне форума  
Старый 23.10.2008, 17:26   #6
baadf00d
несъедобный
 
Аватар для baadf00d
 
Регистрация: 06.04.2007
Сообщений: 686
Бабло: $70655
По умолчанию

если у тебя бсд или линукс, то набери для начала команду: sysctl -a | grep files
получишь результат вроде этого:
kern.maxfiles: 12328
kern.maxfilesperproc: 11095
kern.openfiles: 672
p1003_1b.mapped_files: 1

kern.maxfiles - максимальное количество открытых сокетов в системе
kern.maxfilesperproc - максимальное количество сокетов на процесс

по опыту могу сказать, что 10к открытых сокетов далеко не на каждой системе будет нормально работать.

PS если честно, вообще не верю, что на среднем серваке 5к сокетов + пхп будет адекватно работать
__________________
миром правит не тайная ложа, а явная лажа
baadf00d вне форума  
Старый 23.10.2008, 17:30   #7
Dmitry HT
В помошь вебмастеру!
 
Аватар для Dmitry HT
 
Регистрация: 11.09.2007
Сообщений: 437
Бабло: $27673
По умолчанию

все равно нифига не ясно

40к потоков одновременно не работают, а висят и ждут очереди? тогда зачем запускать копии скриптов? пусть одна копия в 1к потоков и шпарит постоянно.
Dmitry HT вне форума  
Старый 23.10.2008, 23:04   #8
kitt
3лостный аффтопир:))
 
Аватар для kitt
 
Регистрация: 02.02.2008
Адрес: Краснодар
Сообщений: 137
Бабло: $10195
Отправить сообщение для kitt с помощью ICQ
По умолчанию

Присоединяюсь к Дмитрию и Баафуду.
открывать даже 5к потоков так, что бы большая их часть ждала своей очереди - ну эм... как минимум не рационально...

я спрашивал про 40к потоков потому что лично запускал 1к потоков на один процесс, в итоге это оказалось медленнее примерно на 70% чем 150 потоков на процесс.

но это как говориться Я...

попробуй обдумать вариант что например тела будут где-нить "флажки" ставить, что типа "я ху#рю на 3/5" и от этого танцевать, мож чего толкового придумаешь...

З.Ы. Если есть желание - стукнись в асю ко мне, пообщаемся
__________________
Да, мы такая нация! Мы и Гитлера до самоубийства довели!
kitt вне форума  
Старый 23.10.2008, 23:58   #9
solar
Senior Member
 
Регистрация: 04.04.2007
Сообщений: 607
Бабло: $7700
По умолчанию

netstat -w1

запускаете это и будет видно сколько трафика идет по интерфейсам
solar вне форума  
Старый 24.10.2008, 10:03   #10
LorikX
Senior Member
 
Регистрация: 07.01.2008
Сообщений: 148
Бабло: $19810
ТС -->
Отправить сообщение для LorikX с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от Dmitry HT Посмотреть сообщение
все равно нифига не ясно

40к потоков одновременно не работают, а висят и ждут очереди? тогда зачем запускать копии скриптов? пусть одна копия в 1к потоков и шпарит постоянно.
интересная идея
__________________
Желаний больше чем денег !!!
LorikX вне форума