Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 04.06.2010, 03:03   #1
badguy
Страдаю приступами политических высеров.
 
Аватар для badguy
 
Регистрация: 13.09.2008
Сообщений: 335
Бабло: $81860
По умолчанию теоретическое обоснование влияния нагрузки в зависимости от колличества файлов

Собственно хотелось спросить на мастере или крутопе, так как речь не о дорах.
Но поскольку и там количество банов превисило все мыслемые пределы спрошщу сдесь.

Исходя из практических опытов было достигнуто понимание того что большое количество файлов в одной директории негативно влияет на производительность сервера в целом.
Остается нетронутым вопрос.
Имеется ли количественная тенденция негативного влияния допустимого количества файлов в различных дирикториях доменных имен на одном сервере ?


Грубо говоря сделал несколько сот ФХГ, все тумбы в одной дириктории пустил траф, получил тормоза.

Что будет если разбросать тумбы по разным папкам ?
То есть их же не стало меньше в целом на сервере. Админ говорит что будет лучше.
Есть ли критический порог количества папок с файлами ?
Или можно хоть весь винт забить ? Места до фига еще.
badguy вне форума  
Старый 04.06.2010, 03:08   #2
imgreen
Lion King
 
Аватар для imgreen
 
Регистрация: 15.11.2008
Сообщений: 12,074
Бабло: $247698106
По умолчанию

разбросать по папкам должно помочь
__________________
ДетскиеДомики.ру - забота о детях с особыми нуждами.
imgreen на форуме  
Старый 04.06.2010, 03:13   #3
pesdexx
sysadm
 
Аватар для pesdexx
 
Регистрация: 28.12.2007
Сообщений: 589
Бабло: $101521
По умолчанию

всё может зависить от файловой системы. спроси лучше на каких-то админских форумах...

зы. с похожей проблемой решал вопрос так - одна папка не более 1к файлов. количество взято на глаз но тормозов не наблюдал
pesdexx вне форума  
Старый 04.06.2010, 03:24   #4
badguy
Страдаю приступами политических высеров.
 
Аватар для badguy
 
Регистрация: 13.09.2008
Сообщений: 335
Бабло: $81860
ТС -->
автор темы ТС По умолчанию

тут как бы наклевывается такой вопрос.
Что будет больше грузить сервак в такой задаче:

Количество траффика одинаоково в обоих случях скажем 50К сутки

В первом случае льем на 10 фхг
Во втором на 300 фхг

Будет ли одинакова нагрузка в обоих случаях ?
По условию задачи фхг расположены на одном сервере.
badguy вне форума  
Старый 04.06.2010, 07:56   #5
seeker
Ебланнед
 
Регистрация: 07.04.2010
Сообщений: 1,577
Бабло: $0
По умолчанию

ты бы озвучил кол-во файлов то
seeker вне форума  
Старый 04.06.2010, 08:27   #6
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

очень зависит от типа ФС, не зная ФС - разговор ни о чем
Я не админ, но могу предположить, что reiserfs получше будет на большом кол-ве мелких файлов.
Offtopic
либо если у тебя ext2/3/4, то там параметр есть, не помню точно его название, вроде dir_index - его включить можно

Не зная операций над папками и файлами - тоже сложно говорить о производительности. Одно дело файл в папке создать, другое дело листинг получить. Все зависит от алгоритмов работы с фс в скриптах.

Самый идеальный вариант разбивать файлы на каталоги(с подкаталогами если надо). Раскидываю их например по первым символам имени файла
Цитата:
a/a1221412.jpg
a/a8947854.jpg
a/a9353953.jpg
b/a1221412.jpg
b/a8947854.jpg
b/a9353953.jpg
c/c4385894.jpg
....
если так тоже много файлов будет получаться в каждой из папок, то брать две первые буквы. Я так делал кеширование где-то, нормально работает.

Еще можно самому написать тест и попробывать выяснить опытным путем какая зависимость производительности от кол-ва файлов. Думаю логарифмическая будет
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 04.06.2010, 08:50   #7
pesdexx
sysadm
 
Аватар для pesdexx
 
Регистрация: 28.12.2007
Сообщений: 589
Бабло: $101521
По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
очень зависит от типа ФС, не зная ФС - разговор ни о чем
Я не админ, но могу предположить, что reiserfs получше будет на большом кол-ве мелких файлов.
не разбираешься -- не советуй. пусть у админов спрашивает, которые шарят какие фс+ос на этом уровне.

а на счёт тестов -- это да, но снова же сидеть сортировать кучу файла по папкам это не всегда весело и быстро + возможно есть варианты решения проблемы неизвестные тебе и мне и даже Денису Попову!!
pesdexx вне форума  
Старый 04.06.2010, 09:08   #8
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от pesdexx Посмотреть сообщение
не разбираешься -- не советуй. пусть у админов спрашивает, которые шарят какие фс+ос на этом уровне.
почему не разбираюсь? я разбираюсь но не работаю админом
когда выбирал ФС для своих серверов, тестировал лично на рейзерфс много мелких файлов. Работало быстрее ext'ов и xfs...еще какая-то бесплатная фс была - не помню.
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 04.06.2010, 17:51   #9
badguy
Страдаю приступами политических высеров.
 
Аватар для badguy
 
Регистрация: 13.09.2008
Сообщений: 335
Бабло: $81860
ТС -->
автор темы ТС По умолчанию

у нас ufs на сервере
badguy вне форума  
Старый 04.06.2010, 18:03   #10
seeker
Ебланнед
 
Регистрация: 07.04.2010
Сообщений: 1,577
Бабло: $0
По умолчанию

райзер на то и заточен, но там надо пиздец сколько мелких файлов
от 100к
чё-то ТС не колится по инфе, значит не надо ему помощи
seeker вне форума  
Закрытая тема



Опции темы
Опции просмотра