Какой нужен сервак?

[weout]

Подскажите пожалуйста, какой должен быть дедикейтед сервер, и где его взять, если нужно скачивать в сутки скриптом php 500k страниц? Мой windows AMD 4.7X8 на ssd с шириной канала 20mb не тянет.

[isoff]

Дело не в сервере. Парсер должен быть многопоточным, в один поток нереально.

[spec]

в сутках 86400 секунд, запусти 6 копий своего скрипта, он тебе с домашнего компа все что надо скачает.

[sim0n]

Сообщение от weout

Подскажите пожалуйста, какой должен быть дедикейтед сервер, и где его взять, если нужно скачивать в сутки скриптом php 500k страниц? Мой windows AMD 4.7X8 на ssd с шириной канала 20mb не тянет.

как минимум 100мб канал и анлим траф

[x999xx]

тогда и я добавлю
канал гбит и 100 копий скрипта
ток не одно и тоже качают, а каждый разное
подойдет даже самый непутевый пентиум4

правда я подумываю что за 500к запросов тебя забанят

[SoftMaster]

Сообщение от spec

в сутках 86400 секунд, запусти 6 копий своего скрипта, он тебе с домашнего компа все что надо скачает.

а таймаут 30-60 сек

[sim0n]

Сообщение от x999xx

тогда и я добавлю
канал гбит и 100 копий скрипта
ток не одно и тоже качают, а каждый разное
подойдет даже самый непутевый пентиум4

правда я подумываю что за 500к запросов тебя забанят

нужно сразу у хостера уточнить такие вопросы, я делал делал больше запросов в сутки и нормально

[lorien]

Если страница загзипованная в среднем весит 15КБ, то нужно скачать 500К * 15КБ = 7500M = 7.5Гбайт = 60Гбит т.е.
60000 Мбит / (60 * 60 * 24) = 0.69 Mbit в секунду.

Вопрос, зачем тут советуют 100мбит в секунду канал (и тем более гигабит)?

[sim0n]

Сообщение от lorien

Если страница загзипованная в среднем весит 15КБ, то нужно скачать 500К * 15КБ = 7500M = 7.5Гбайт = 60Гбит т.е.
60000 Мбит / (60 * 60 * 24) = 0.69 Mbit в секунду.

Вопрос, зачем тут советуют 100мбит в секунду канал (и тем более гигабит)?

то есть ты хочешь сказать что скорость парсинга на 1мб и на 100мб будет одинаковой?

[Strikelol]

Сообщение от sim0n

то есть ты хочешь сказать что скорость парсинга на 1мб и на 100мб будет одинаковой?

ты что тупой?