Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 02.12.2012, 16:03   #1
El Tiburon
Senior Member
 
Регистрация: 22.05.2010
Сообщений: 486
Бабло: $146460
По умолчанию Запись миллиона файлов на Винду

Ребята, посоветуйте как лучше сделать.

Система: Windows 7 Professional.

Мне нужно записать несколько миллионов текстовых файлов размером в несколько десятков килобайт на жесткий диск. В дальнейшем файлы будут анализироваться и парсятся.

Будет ли система виснуть если я попытаюсь открыть такой файл? Критична ли разбивка файлов по нескольким директориям?

Хотелось бы услышать мнение опытных админов.
El Tiburon вне форума  
Старый 02.12.2012, 16:14   #2
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,742
Бабло: $280230
По умолчанию

как-то я на винXP решил провести эксперименты.
В итоге если все файлы кидать в одну папку, то что-то около 10М файлов у меня подвисла система и комп больше не включился).
А когда я разбивал по каталогам, где-то по 100-500 файлов в каталог и также по 100-500 каталогов в каталоге, в итоге получилось лфмов 26 вроде файлов. система конечно притормаживала, но работала.
А в третьем эксперементе когда я разбивал по первым 2 вроде буквам, т.е. :
файл с именем 1234567.txt
у меня кидался в
12/34/1234567.txt

файл с именем asdfghjk.txt
у меня кидался в
as/df/asdfghjk.txt


экспериментировал на своем старом десктопе, там оперативы было наверно полгига (точно не больше). После экспериментов форматнул диск(когда винда слетела).
И я не отношусь к опытным админам)
При такой схеме система очень сильно стала тормозить на 14М (вроде) файлов и эксперимент я остановил.

В общем по этим экспериментам вышло что больше инфы влезет и быстрее будет работать если файлы равномерно распределять по папкам и папки также в папки.
Файлы у меня были толи по 1 Кб, толи по 4 Кб.
huanpedro вне форума  
Старый 02.12.2012, 16:14   #3
Painkiller
Senior Member
 
Регистрация: 09.01.2010
Адрес: ☭
Сообщений: 201
Бабло: $38120
По умолчанию

Цитата:
Сообщение от El Tiburon Посмотреть сообщение
Ребята, посоветуйте как лучше сделать.

Система: Windows 7 Professional.

Мне нужно записать несколько миллионов текстовых файлов размером в несколько десятков килобайт на жесткий диск. В дальнейшем файлы будут анализироваться и парсятся.

Будет ли система виснуть если я попытаюсь открыть такой файл? Критична ли разбивка файлов по нескольким директориям?

Хотелось бы услышать мнение опытных админов.
делаю так всё ок. копирование этих файлов будет долгим. но можно и в 1к потоков копироват)


huanpedro
это GUI тормозил от такого кол-ва файлов, fat32, не?

Последний раз редактировалось Painkiller; 02.12.2012 в 16:21.
Painkiller вне форума  
Старый 02.12.2012, 16:23   #4
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,742
Бабло: $280230
По умолчанию

Я точно цифры не помню, года 2-3 назад эксперементировал.
FAT32 вроде была, тормозило все
huanpedro вне форума  
Старый 02.12.2012, 16:33   #5
Painkiller
Senior Member
 
Регистрация: 09.01.2010
Адрес: ☭
Сообщений: 201
Бабло: $38120
По умолчанию

Цитата:
Сообщение от huanpedro Посмотреть сообщение
Я точно цифры не помню, года 2-3 назад эксперементировал.
FAT32 вроде была, тормозило все
не ну GUI и на NTFS у меня на xp тормозит, а софт без тормозов работает .
С ДР тебя, здоровья, счастья
Painkiller вне форума  
Старый 02.12.2012, 16:51   #6
DoctorFake
Не ленись - ебанись!
 
Аватар для DoctorFake
 
Регистрация: 03.04.2009
Адрес: Эльфовая башня
Сообщений: 1,231
Бабло: $358586
По умолчанию

Возможно, стоит уменьшить и размер кластера. В винде, вроде, по умолчанию 4мб
DoctorFake вне форума  
Старый 02.12.2012, 16:59   #7
El Tiburon
Senior Member
 
Регистрация: 22.05.2010
Сообщений: 486
Бабло: $146460
ТС -->
автор темы ТС По умолчанию

Huandpedro, спасибо за инфу, думаю моя система потянет.
El Tiburon вне форума  
Старый 02.12.2012, 17:04   #8
Avi
Senior Member
 
Аватар для Avi
 
Регистрация: 01.07.2012
Сообщений: 248
Бабло: $93280
По умолчанию

Цитата:
Сообщение от El Tiburon Посмотреть сообщение
Мне нужно записать несколько миллионов текстовых файлов размером в несколько десятков килобайт на жесткий диск. В дальнейшем файлы будут анализироваться и парсятся.
зачем это все,если не секрет?
Avi вне форума  
Старый 02.12.2012, 17:19   #9
Алёша
Ебланнед
 
Регистрация: 30.03.2012
Сообщений: 180
Бабло: $177310
По умолчанию

Цитата:
Сообщение от El Tiburon Посмотреть сообщение
Будет ли система виснуть если я попытаюсь открыть такой файл?
это однозначно.
и диск NTFS с 512 байт на кластер
Алёша вне форума  
Старый 02.12.2012, 18:20   #10
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,742
Бабло: $280230
По умолчанию

Цитата:
Сообщение от huanpedro Посмотреть сообщение
как-то я на винXP решил провести эксперименты.
В итоге если все файлы кидать в одну папку, то что-то около 10М файлов у меня подвисла система и комп больше не включился).
А когда я разбивал по каталогам, где-то по 100-500 файлов в каталог и также по 100-500 каталогов в каталоге, в итоге получилось лфмов 26 вроде файлов. система конечно притормаживала, но работала.
А в третьем эксперементе когда я разбивал по первым 2 вроде буквам, т.е. :
файл с именем 1234567.txt
у меня кидался в
12/34/1234567.txt

файл с именем asdfghjk.txt
у меня кидался в
as/df/asdfghjk.txt

При такой схеме система очень сильно стала тормозить на 14М (вроде) файлов и эксперимент я остановил.

экспериментировал на своем старом десктопе, там оперативы было наверно полгига (точно не больше). После экспериментов форматнул диск(когда винда слетела).
И я не отношусь к опытным админам)

В общем по этим экспериментам вышло что больше инфы влезет и быстрее будет работать если файлы равномерно распределять по папкам и папки также в папки.
Файлы у меня были толи по 1 Кб, толи по 4 Кб.
Ой, чет кажеться строчки местами попутал).
Вот так это должно было выглядеть.
huanpedro вне форума  
Закрытая тема



Опции темы
Опции просмотра