wget загрузка файлов по списку url в разные папки - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.7493
BTC/USD70374.4969
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 12.05.2015, 02:19   #1
kibnet
Senior Member
 
Аватар для kibnet
 
Регистрация: 11.03.2012
Сообщений: 586
Бабло: $128055
По умолчанию wget загрузка файлов по списку url в разные папки

кто знаком с wget, подскажите, как решить такое:
-есть список прямых url на файлы (картинки), несколько лямов;
нужно скачать файлы по этому списку в n потоков, без рекурсии и прочего. Это я еще смог нагуглить, но как сделать так, чтобы в 1 папке не было больше n картинок.
Ведь это не вариант, чтобы в одной папке было пару лямов файлов.
kibnet вне форума  
Старый 12.05.2015, 09:41   #2
spamless
Senior Member
 
Регистрация: 16.07.2009
Сообщений: 938
Бабло: $152632
По умолчанию

Так разбей общий список урлов на списки (по кол-ву файлов в папке, скорее всего не более 10'000) и запусти на каждый список свой 'wget -i ...' - получишь многопоточную закачку в разные папки

Последний раз редактировалось spamless; 12.05.2015 в 09:47.
spamless вне форума  
Старый 12.05.2015, 12:32   #3
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,096
Бабло: $611825
По умолчанию

Сам wget такое не может, правильно тебе spamless, сказал, нужно чем-то делать bat файл, куда ты по строчно запишешь wget с юрлом, сделай несколько таких bat файлов и запусти, вот тебе и будет несколько потоков.
Если потоков хочешь много, то лучше это делать на php или perl
Drg вне форума  
Старый 12.05.2015, 13:57   #4
kibnet
Senior Member
 
Аватар для kibnet
 
Регистрация: 11.03.2012
Сообщений: 586
Бабло: $128055
ТС -->
автор темы ТС По умолчанию

понятно.
мне бы такой вариант подошел еще , скажем, скачать в одну папку 1kk , а дальше уже любым скриптом, раскидать эти файлы по папках.
Но наверное, когда будет в папке 1kk файлов , то она ваще не откроется ? тем более что это будет на windows
kibnet вне форума  
Старый 12.05.2015, 18:13   #5
spamless
Senior Member
 
Регистрация: 16.07.2009
Сообщений: 938
Бабло: $152632
По умолчанию

Цитата:
Сообщение от kibnet Посмотреть сообщение
понятно.
мне бы такой вариант подошел еще , скажем, скачать в одну папку 1kk , а дальше уже любым скриптом, раскидать эти файлы по папках.
Но наверное, когда будет в папке 1kk файлов , то она ваще не откроется ? тем более что это будет на windows
Конечно откро-----оется, но лучше так не делать. И зачем такие сложности, если можно сразу качать в отдельные папки? Либо ты задачу не до конца описываешь, либо занимаешься чем-то странным
spamless вне форума  
Старый 12.05.2015, 18:17   #6
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,760
Бабло: $953448
По умолчанию

для этой задачи идеально подходит aria2
__________________
sspy на форуме  
Старый 12.05.2015, 18:35   #7
kibnet
Senior Member
 
Аватар для kibnet
 
Регистрация: 11.03.2012
Сообщений: 586
Бабло: $128055
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от sspy Посмотреть сообщение
для этой задачи идеально подходит aria2
ого, она даже с web UI есть
kibnet вне форума  
Старый 12.05.2015, 21:20   #8
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 597
Бабло: $127864
По умолчанию

А что значит в разные папки? Сейчас как раз через wget многопоточно качаю
Diplomat вне форума  
Старый 12.05.2015, 21:36   #9
kibnet
Senior Member
 
Аватар для kibnet
 
Регистрация: 11.03.2012
Сообщений: 586
Бабло: $128055
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Diplomat Посмотреть сообщение
А что значит в разные папки? Сейчас как раз через wget многопоточно качаю
многопоточно не проблема.
значит: чтобы не было в одной папке 2 миллиона файлов.

в общем само безгеморно и автоматизировано,
это запустить загрузку в n потоков в одну папку, например 500k файлов , дальше уже batником распределить файлы в папки, как мне нужно.
кто-то менее геморный способ знает еще )?
kibnet вне форума  
Старый 12.05.2015, 22:19   #10
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Сообщений: 2,215
Бабло: $473391
По умолчанию

Цитата:
Например, у вас есть список URL, которые вам надо скопировать из Интернет. Допустим, список находится в файле URL_list, тогда
wget -i URL_list
разбить список на куски, засунуть каждый кусок в отдельную папку (например от 1 до 999) значит файл 1 в папке 1, файл 2 в папке 2 и тп
дальше for($i=1;$i<1000;$i++)
{ system('cd '.$i.';wget -i '.$i.';cd ..; }
__________________
я знаю стабильный курс на будущее eur/(usd+0.001) + usd/(eur+0.00101) = 0 ( )
x999xx вне форума