Запись миллиона файлов на Винду

[El Tiburon]

Ребята, посоветуйте как лучше сделать.

Система: Windows 7 Professional.

Мне нужно записать несколько миллионов текстовых файлов размером в несколько десятков килобайт на жесткий диск. В дальнейшем файлы будут анализироваться и парсятся.

Будет ли система виснуть если я попытаюсь открыть такой файл? Критична ли разбивка файлов по нескольким директориям?

Хотелось бы услышать мнение опытных админов.

[huanpedro]

как-то я на винXP решил провести эксперименты.
В итоге если все файлы кидать в одну папку, то что-то около 10М файлов у меня подвисла система и комп больше не включился).
А когда я разбивал по каталогам, где-то по 100-500 файлов в каталог и также по 100-500 каталогов в каталоге, в итоге получилось лфмов 26 вроде файлов. система конечно притормаживала, но работала.
А в третьем эксперементе когда я разбивал по первым 2 вроде буквам, т.е. :
файл с именем 1234567.txt
у меня кидался в
12/34/1234567.txt

файл с именем asdfghjk.txt
у меня кидался в
as/df/asdfghjk.txt


экспериментировал на своем старом десктопе, там оперативы было наверно полгига (точно не больше). После экспериментов форматнул диск(когда винда слетела).
И я не отношусь к опытным админам)
При такой схеме система очень сильно стала тормозить на 14М (вроде) файлов и эксперимент я остановил.

В общем по этим экспериментам вышло что больше инфы влезет и быстрее будет работать если файлы равномерно распределять по папкам и папки также в папки.
Файлы у меня были толи по 1 Кб, толи по 4 Кб.

[Painkiller]

Сообщение от El Tiburon

Ребята, посоветуйте как лучше сделать.

Система: Windows 7 Professional.

Мне нужно записать несколько миллионов текстовых файлов размером в несколько десятков килобайт на жесткий диск. В дальнейшем файлы будут анализироваться и парсятся.

Будет ли система виснуть если я попытаюсь открыть такой файл? Критична ли разбивка файлов по нескольким директориям?

Хотелось бы услышать мнение опытных админов.

делаю так всё ок. копирование этих файлов будет долгим. но можно и в 1к потоков копироват)


huanpedro
это GUI тормозил от такого кол-ва файлов, fat32, не?

[huanpedro]

Я точно цифры не помню, года 2-3 назад эксперементировал.
FAT32 вроде была, тормозило все

[Painkiller]

Сообщение от huanpedro

Я точно цифры не помню, года 2-3 назад эксперементировал.
FAT32 вроде была, тормозило все

не ну GUI и на NTFS у меня на xp тормозит, а софт без тормозов работает .
С ДР тебя, здоровья, счастья

[DoctorFake]

Возможно, стоит уменьшить и размер кластера. В винде, вроде, по умолчанию 4мб

[El Tiburon]

Huandpedro, спасибо за инфу, думаю моя система потянет.

[Avi]

Сообщение от El Tiburon

Мне нужно записать несколько миллионов текстовых файлов размером в несколько десятков килобайт на жесткий диск. В дальнейшем файлы будут анализироваться и парсятся.

зачем это все,если не секрет?

[Алёша]

Сообщение от El Tiburon

Будет ли система виснуть если я попытаюсь открыть такой файл?

это однозначно.
и диск NTFS с 512 байт на кластер

[huanpedro]

Сообщение от huanpedro

как-то я на винXP решил провести эксперименты.
В итоге если все файлы кидать в одну папку, то что-то около 10М файлов у меня подвисла система и комп больше не включился).
А когда я разбивал по каталогам, где-то по 100-500 файлов в каталог и также по 100-500 каталогов в каталоге, в итоге получилось лфмов 26 вроде файлов. система конечно притормаживала, но работала.
А в третьем эксперементе когда я разбивал по первым 2 вроде буквам, т.е. :
файл с именем 1234567.txt
у меня кидался в
12/34/1234567.txt

файл с именем asdfghjk.txt
у меня кидался в
as/df/asdfghjk.txt

При такой схеме система очень сильно стала тормозить на 14М (вроде) файлов и эксперимент я остановил.

экспериментировал на своем старом десктопе, там оперативы было наверно полгига (точно не больше). После экспериментов форматнул диск(когда винда слетела).
И я не отношусь к опытным админам)

В общем по этим экспериментам вышло что больше инфы влезет и быстрее будет работать если файлы равномерно распределять по папкам и папки также в папки.
Файлы у меня были толи по 1 Кб, толи по 4 Кб.

Ой, чет кажеться строчки местами попутал).
Вот так это должно было выглядеть.