Подскажите как массово скачать - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.4409
BTC/USD64315.4276
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 03.12.2015, 20:17   #1
Soba
Senior Member
 
Регистрация: 02.05.2014
Сообщений: 628
Бабло: $257430
Question Подскажите как массово скачать

привет всем!
подскажите как сделать:

есть 10к урлов на картинки (прямые ссылки до .jpg)
как либо можно скачать все эти файлы на сервер в linux (centos)?
может wget но хз как массово.. или скриптом.
кто сталкивался подскажите плс.

спс
Soba вне форума  
Старый 03.12.2015, 20:21   #2
Compressor
Member
 
Аватар для Compressor
 
Регистрация: 03.11.2009
Сообщений: 76
Бабло: $14125
По умолчанию

wget -i links.txt
Compressor вне форума  
Старый 03.12.2015, 20:22   #3
editeur
Senior Member
 
Регистрация: 27.09.2013
Сообщений: 697
Бабло: $101520
По умолчанию

del
editeur вне форума  
Старый 03.12.2015, 20:23   #4
Soba
Senior Member
 
Регистрация: 02.05.2014
Сообщений: 628
Бабло: $257430
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Compressor Посмотреть сообщение
wget -i links.txt
неужели всё так просто?
Soba вне форума  
Старый 03.12.2015, 20:26   #5
creator123
Senior Member
 
Аватар для creator123
 
Регистрация: 05.01.2008
Сообщений: 1,676
Бабло: $213930
По умолчанию

Цитата:
Сообщение от Soba
неужели всё так просто?
херасе просто. За этим стоит более 20 лет разработки линукса
creator123 вне форума  
Старый 03.12.2015, 20:29   #6
Soba
Senior Member
 
Регистрация: 02.05.2014
Сообщений: 628
Бабло: $257430
ТС -->
автор темы ТС По умолчанию

ещё вопрос раз про линукс пошло..
он может скаченные картинки фильтрануть по размеру (разрешению)?
или только скриптом/прогой?
Soba вне форума  
Старый 03.12.2015, 20:52   #7
веломан
сыроед
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 15,859
Бабло: $1861015
По умолчанию

по размеру проще всего find фильтранёт
или awk через ls, что сложнее для понимания намного
по разрешению пхп-скрипт надо писать (в него и размер можно пихнуть)
веломан вне форума  
Старый 04.12.2015, 05:00   #8
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 928
Бабло: $196595
По умолчанию

Цитата:
он может скаченные картинки фильтрануть по размеру (разрешению)?
Да, ставь imagemagick пакет. Потом заходи в директории и сделай по аналогии.

Тут просто выводим список картинок с их разрешением.
Код:
lorien@athlon:~/down$ find z*.jpg | xargs -n1 identify -format "%H %f"
500 z13.jpg
640 z1.jpg
700 z2.jpg
700 z3.jpg
595 z4.jpg
1024 z6.jpg
700 z7.jpg
604 z8.jpg
450 z.jpg
960 zz.jpg
А тут уже фильтруем по размеру (не больше 500 ширина)
Код:
lorien@athlon:~/down$ find z*.jpg | xargs -n1 identify -format "%H %f" | awk '$1 < 600 {print}'
500 z13.jpg
595 z4.jpg
450 z.jpg
Если надо, только имен файлов вывести, то:
Код:
lorien@athlon:~/down$ find z*.jpg | xargs -n1 identify -format "%H %f" | awk '$1 < 600 {print $2}'
z13.jpg
z4.jpg
z.jpg
__________________
TgScan - узнай Telegram группы, в которых состоит человек
lorien вне форума  
Старый 04.12.2015, 12:11   #9
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 961
Бабло: $138858
По умолчанию

на винде я качал 200к картинок
http://gnuwin32.sourceforge.net/packages/wget.htm

перед этим юзал доунлоадмастер но он такой объем не хавает
sim0n вне форума  
Старый 04.12.2015, 18:19   #10
DimaX
Senior Member
 
Регистрация: 19.04.2007
Сообщений: 2,393
Бабло: $314345
По умолчанию

Цитата:
Сообщение от Soba Посмотреть сообщение
ещё вопрос раз про линукс пошло..
он может скаченные картинки фильтрануть по размеру (разрешению)?
или только скриптом/прогой?
Залей куда-нить в инет файл со ссылками на картинки (links.txt, ссылки построчно или просто через пробел) и скорми путь к этому файлу моему парсеру картинок http://backlinks-checker.dimax.biz/t...r_kartinok.php, указав там в настройках минимальные размеры картинок (в пикселях), которые тебе нужны.
DimaX вне форума