Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 03.12.2015, 20:17   #1
Soba
Senior Member
 
Регистрация: 02.05.2014
Сообщений: 506
Бабло: $202295
Question Подскажите как массово скачать

привет всем!
подскажите как сделать:

есть 10к урлов на картинки (прямые ссылки до .jpg)
как либо можно скачать все эти файлы на сервер в linux (centos)?
может wget но хз как массово.. или скриптом.
кто сталкивался подскажите плс.

спс
Soba на форуме  
Старый 03.12.2015, 20:21   #2
Compressor
Member
 
Аватар для Compressor
 
Регистрация: 03.11.2009
Сообщений: 62
Бабло: $11515
По умолчанию

wget -i links.txt
Compressor вне форума  
Старый 03.12.2015, 20:22   #3
editeur
Senior Member
 
Регистрация: 27.09.2013
Сообщений: 620
Бабло: $89330
По умолчанию

del
editeur вне форума  
Старый 03.12.2015, 20:23   #4
Soba
Senior Member
 
Регистрация: 02.05.2014
Сообщений: 506
Бабло: $202295
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Compressor Посмотреть сообщение
wget -i links.txt
неужели всё так просто?
Soba на форуме  
Старый 03.12.2015, 20:26   #5
creator123
Senior Member
 
Аватар для creator123
 
Регистрация: 05.01.2008
Сообщений: 1,570
Бабло: $184030
По умолчанию

Цитата:
Сообщение от Soba
неужели всё так просто?
херасе просто. За этим стоит более 20 лет разработки линукса
creator123 вне форума  
Старый 03.12.2015, 20:29   #6
Soba
Senior Member
 
Регистрация: 02.05.2014
Сообщений: 506
Бабло: $202295
ТС -->
автор темы ТС По умолчанию

ещё вопрос раз про линукс пошло..
он может скаченные картинки фильтрануть по размеру (разрешению)?
или только скриптом/прогой?
Soba на форуме  
Старый 03.12.2015, 20:52   #7
веломан
Senior Member
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 5,935
Бабло: $700255
По умолчанию

по размеру проще всего find фильтранёт
или awk через ls, что сложнее для понимания намного
по разрешению пхп-скрипт надо писать (в него и размер можно пихнуть)
веломан вне форума  
Старый 04.12.2015, 05:00   #8
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
Отправить сообщение для lorien с помощью Skype™
По умолчанию

Цитата:
он может скаченные картинки фильтрануть по размеру (разрешению)?
Да, ставь imagemagick пакет. Потом заходи в директории и сделай по аналогии.

Тут просто выводим список картинок с их разрешением.
Код:
[email protected]:~/down$ find z*.jpg | xargs -n1 identify -format "%H %f"
500 z13.jpg
640 z1.jpg
700 z2.jpg
700 z3.jpg
595 z4.jpg
1024 z6.jpg
700 z7.jpg
604 z8.jpg
450 z.jpg
960 zz.jpg
А тут уже фильтруем по размеру (не больше 500 ширина)
Код:
[email protected]:~/down$ find z*.jpg | xargs -n1 identify -format "%H %f" | awk '$1 < 600 {print}'
500 z13.jpg
595 z4.jpg
450 z.jpg
Если надо, только имен файлов вывести, то:
Код:
[email protected]:~/down$ find z*.jpg | xargs -n1 identify -format "%H %f" | awk '$1 < 600 {print $2}'
z13.jpg
z4.jpg
z.jpg
lorien вне форума  
Старый 04.12.2015, 12:11   #9
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 603
Бабло: $85868
По умолчанию

на винде я качал 200к картинок
http://gnuwin32.sourceforge.net/packages/wget.htm

перед этим юзал доунлоадмастер но он такой объем не хавает
sim0n вне форума  
Старый 04.12.2015, 18:19   #10
DimaX
Senior Member
 
Регистрация: 19.04.2007
Сообщений: 2,272
Бабло: $294990
По умолчанию

Цитата:
Сообщение от Soba Посмотреть сообщение
ещё вопрос раз про линукс пошло..
он может скаченные картинки фильтрануть по размеру (разрешению)?
или только скриптом/прогой?
Залей куда-нить в инет файл со ссылками на картинки (links.txt, ссылки построчно или просто через пробел) и скорми путь к этому файлу моему парсеру картинок http://backlinks-checker.dimax.biz/t...r_kartinok.php, указав там в настройках минимальные размеры картинок (в пикселях), которые тебе нужны.
DimaX вне форума  
Закрытая тема



Опции темы
Опции просмотра