ситывание большого числа файлов

[qazxcvbnm]

какой способ для считывание 100k+ текстовых файлов, самый быстрый ?

del

тормозилось походу потому что считывал в переменную

при записи в файл и последуюющем считывании из него, работает быстрее

[qazxcvbnm]

Сообщение от chesser

Самое главная причина - это ОС, у меня linux fedora.

чё из-за оси такая разница может быть ?

Сообщение от chesser

все равно в пхп какое-то ограничение стоит типа 512 что-ли.

у меня выжрало 2 гига и ещё захотело (ещё та, моя версия скрипта)

[chesser]

Сообщение от qazxcvbnm

чё из-за оси такая разница может быть ?

ну винда же гавно, что ты от нее хочешь

Сообщение от qazxcvbnm

у меня выжрало 2 гига и ещё захотело (ещё та, моя версия скрипта)

так у тебя же кривой алгоритм, если ты сам захотел занять столько памяти - он столько и занял, и тут винда-невинда - защиты нет.
Когда придумываешь алго, иногда есть смысл подумать об использовании системных ресурсов.

[qazxcvbnm]

Сообщение от chesser

так у тебя же кривой алгоритм, если ты сам захотел занять столько памяти - он столько и занял, и тут винда-невинда - защиты нет.

я к тому что вроде какого-то внутреннего ограничения на использование оперативки у php нет

[imgreen]

я к тому что вроде какого-то внутреннего ограничения на использование оперативки у php нет

есть то что в конфиге укажешь

то что такая разница из-за оси как-то не верю

[RedHead]

ну так массив с 60кк словами создается, куда он денется?

каждое слово добавленное в этот ассоц. массив увеличивает его размер в оперативке. никуда не деться.

тут надо или сохранять промежуточные результаты в файлы\базы или работать "порциями".

[chesser]

RedHead, глянь мой скрипт выше, все работает без проблем.
максимальный размер ассоциативного массива получился около 200к элементов. Порции никуда сохранять не надо.

кстати, у меня в php.ini стояло memory_limit = 128M

[RedHead]

chesser, да, скрипт работает, и работает быстро. На запрос автора: "какой способ для считывание 100k+ текстовых файлов, самый быстрый ?" отвечает.

Но видимо ТС объединил все статьи в 1 файл. а от этого file_get_contents разростаеться и дохнет. например у меня от одного тестового файла на 40мб, php-cgi.exe - 800мб в оперативке занял. 120мбайтный заставил кешироваться винду.

[chesser]

Сообщение от RedHead

Но видимо ТС объединил все статьи в 1 файл.

вроде нет, если смотреть на его первый for - он читает пофайлово.
Там проблема у него была в том, что он считывал абсолютно все слова в память и пытался все их держать в переменной в памяти. А слов то там как раз много - как я понял 60кк. 60кк слов в памяти удержать сложно
Но если хранить только уникальные слова, то их будет всего 200к - они нормально уместились у меня в 128М

[qazxcvbnm]

да ... спасибо парни за помощь и советы