Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Хостинг и железо
Дата
USD/RUB58.7570
BTC/USD0.0000
Хостинг и железо Обсуждаем вопросы хостинга и железа.

Закрытая тема
Опции темы Опции просмотра
Старый 11.07.2015, 04:00   #1
weout
Member
 
Регистрация: 10.04.2014
Сообщений: 56
Бабло: $38160
Question Какой нужен сервак?

Подскажите пожалуйста, какой должен быть дедикейтед сервер, и где его взять, если нужно скачивать в сутки скриптом php 500k страниц? Мой windows AMD 4.7X8 на ssd с шириной канала 20mb не тянет.
weout вне форума  
Старый 11.07.2015, 04:30   #2
isoff
Senior Member
 
Регистрация: 16.09.2008
Сообщений: 617
Бабло: $138676
По умолчанию

Дело не в сервере. Парсер должен быть многопоточным, в один поток нереально.
isoff вне форума  
Старый 11.07.2015, 07:42   #3
spec
Senior Member
 
Аватар для spec
 
Регистрация: 01.02.2009
Сообщений: 105
Бабло: $44710
По умолчанию

в сутках 86400 секунд, запусти 6 копий своего скрипта, он тебе с домашнего компа все что надо скачает.
spec вне форума  
Старый 11.07.2015, 21:19   #4
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 603
Бабло: $85868
По умолчанию

Цитата:
Сообщение от weout Посмотреть сообщение
Подскажите пожалуйста, какой должен быть дедикейтед сервер, и где его взять, если нужно скачивать в сутки скриптом php 500k страниц? Мой windows AMD 4.7X8 на ssd с шириной канала 20mb не тянет.
как минимум 100мб канал и анлим траф
sim0n вне форума  
Старый 11.07.2015, 23:03   #5
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,204
Бабло: $468791
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

тогда и я добавлю
канал гбит и 100 копий скрипта
ток не одно и тоже качают, а каждый разное
подойдет даже самый непутевый пентиум4

правда я подумываю что за 500к запросов тебя забанят
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума  
Старый 15.07.2015, 17:25   #6
SoftMaster
я крут як root
 
Аватар для SoftMaster
 
Регистрация: 28.05.2012
Адрес: HTTPHEADER
Сообщений: 333
Бабло: $49360
По умолчанию

Цитата:
Сообщение от spec Посмотреть сообщение
в сутках 86400 секунд, запусти 6 копий своего скрипта, он тебе с домашнего компа все что надо скачает.
а таймаут 30-60 сек
__________________
HostZealot - аренда серверов на 4 континентах.
SoftMaster вне форума  
Старый 15.07.2015, 23:25   #7
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 603
Бабло: $85868
По умолчанию

Цитата:
Сообщение от x999xx Посмотреть сообщение
тогда и я добавлю
канал гбит и 100 копий скрипта
ток не одно и тоже качают, а каждый разное
подойдет даже самый непутевый пентиум4

правда я подумываю что за 500к запросов тебя забанят
нужно сразу у хостера уточнить такие вопросы, я делал делал больше запросов в сутки и нормально
sim0n вне форума  
Старый 16.07.2015, 00:30   #8
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
Отправить сообщение для lorien с помощью Skype™
По умолчанию

Если страница загзипованная в среднем весит 15КБ, то нужно скачать 500К * 15КБ = 7500M = 7.5Гбайт = 60Гбит т.е.
60000 Мбит / (60 * 60 * 24) = 0.69 Mbit в секунду.

Вопрос, зачем тут советуют 100мбит в секунду канал (и тем более гигабит)?
lorien вне форума  
Старый 16.07.2015, 00:34   #9
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 603
Бабло: $85868
По умолчанию

Цитата:
Сообщение от lorien Посмотреть сообщение
Если страница загзипованная в среднем весит 15КБ, то нужно скачать 500К * 15КБ = 7500M = 7.5Гбайт = 60Гбит т.е.
60000 Мбит / (60 * 60 * 24) = 0.69 Mbit в секунду.

Вопрос, зачем тут советуют 100мбит в секунду канал (и тем более гигабит)?
то есть ты хочешь сказать что скорость парсинга на 1мб и на 100мб будет одинаковой?
sim0n вне форума  
Старый 16.07.2015, 00:37   #10
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

Цитата:
Сообщение от sim0n Посмотреть сообщение
то есть ты хочешь сказать что скорость парсинга на 1мб и на 100мб будет одинаковой?
ты что тупой?
Strikelol вне форума  
Закрытая тема



Опции темы
Опции просмотра