Как сделать скриншоты для нескольких миллионов сайтов? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.7196
BTC/USD63862.0662
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 20.01.2014, 19:42   #1
blacks
Senior Member
 
Аватар для blacks
 
Регистрация: 23.06.2008
Сообщений: 1,468
Бабло: $282970
Question Как сделать скриншоты для нескольких миллионов сайтов?

на сервере, серверными методами, конечно можно и на винде дома если есть софт такой, например для 5 лямов сайтов, но думаю такого софта нет. Так вот задача есть список сайтов, надо сделать скрин + изменить под нужный размер и положить в папочки, каким образом, из пока предложенных мне, это только cutycapt может и наиболее подходит, но всё как-то медленно, какие есть варианты?

зы. платные сервисы не предлагать там запросы от 3к до 200к в мес, не канает
__________________
продам место для рекламы, контакты в ЛС
blacks вне форума  
Старый 20.01.2014, 19:44   #2
spamless
Senior Member
 
Регистрация: 16.07.2009
Сообщений: 938
Бабло: $152632
По умолчанию

http://stackoverflow.com/questions/1...e-using-python
spamless вне форума  
Старый 20.01.2014, 20:06   #3
Grut
Senior Member
 
Аватар для Grut
 
Регистрация: 23.04.2007
Сообщений: 2,118
Бабло: $337995
По умолчанию

http://maxivak.com/take-screenshots-...line-in-linux/
Grut вне форума  
Старый 20.01.2014, 20:07   #4
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,760
Бабло: $953628
По умолчанию

Цитата:
Сообщение от blacks Посмотреть сообщение
это только cutycapt может и наиболее подходит, но всё как-то медленно, какие есть варианты?
есть варианты запустить многопоточно. любые другие софтины будут не быстрее, т.к. там полный рендеринг страницы идет.

поэтому закажи у кодера скрипт на 30 строк, который тебе зашмаляет всё это дело в 100500 потоков.
__________________
sspy вне форума  
Старый 20.01.2014, 20:24   #5
blacks
Senior Member
 
Аватар для blacks
 
Регистрация: 23.06.2008
Сообщений: 1,468
Бабло: $282970
ТС -->
автор темы ТС По умолчанию

кодер говорит что всё упирается в процессор на сервере, скорости что-то около 50к сутки, надо быстрее)
__________________
продам место для рекламы, контакты в ЛС
blacks вне форума  
Старый 20.01.2014, 20:41   #6
try
Senior Member
 
Аватар для try
 
Регистрация: 01.09.2012
Сообщений: 238
Бабло: $42055
По умолчанию

Значит, нужно больше серверов
__________________
Meet BidsLogic - openRTB operator.
try вне форума  
Старый 20.01.2014, 21:11   #7
Karnizov
YA RLY
 
Аватар для Karnizov
 
Регистрация: 18.04.2012
Сообщений: 84
Бабло: $24215
Отправить сообщение для Karnizov с помощью ICQ
По умолчанию

Цитата:
Сообщение от try Посмотреть сообщение
Значит, нужно больше серверов
Нужно больше процессоров.
__________________
Панда, пингвин... Ёбаный зоопарк.
Karnizov вне форума  
Старый 20.01.2014, 21:56   #8
netsparet
Ебланнед
 
Регистрация: 15.11.2011
Сообщений: 529
Бабло: $133365
По умолчанию

Нужно больше золота!!!
netsparet вне форума  
Старый 20.01.2014, 22:10   #9
satih
Ебланнед
 
Регистрация: 31.12.2009
Сообщений: 994
Бабло: $218740
Отправить сообщение для satih с помощью ICQ
По умолчанию

Offtopic
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
satih вне форума  
Старый 20.01.2014, 22:52   #10
arachno
Senior Member
 
Аватар для arachno
 
Регистрация: 03.04.2007
Адрес: @SPB - @MSK - @nowhere
Сообщений: 1,032
Бабло: $36050
Отправить сообщение для arachno с помощью Skype™
По умолчанию

соглашусь что просто больше серверов
собирай скрины в облаке своем или возьми амазон (правда на ec2 на таких процессах ты разоришься, проще своих дедиков много поставить)
__________________
----
arachno вне форума