Чем удалить дубли в очень больших файлах?

[SEng]

Есть несколько текстовых файлов размером по 40-50 гб.
Чем их слить в один файл без дублей строк?
Желательно под виндой (хотя не принципиально).

[SEng]

короче не дождался я, вырубил sort
Mongo потянет 4 млрд записей?

[chesser]

Сообщение от SEng

Mongo потянет 4 млрд записей?

даже mysql потянет

[sliderxxx]

Сначала уникализируй, потом объединяй. Скорость sort по ощущениям обратно пропорциональна объему файла. И по моему vim быстрее уникализирует, вот только откроет ли он такие файлы - хз.

[Joe Perry]

http://stackoverflow.com/questions/3...se-performance

[Matt Cutts]

Решение на коленке - если строки на английском, предложу вот эту тулзу, предварительно подробив на 10гб файлы. Скорость удивит.

[relonger]

Алгоритмически правильно это делается так:
все файлы разбиваются на несколько файлов каждый допустим по 1Гб, которые можно спокойно отсортировать внутри. А потом выполняется сортирующее слияние несколько файлов с удалением повторов - это легко пишется за 5 минут на любом скриптовом языке. Если надо могу написать

[SEng]

Уточню: в исходных файлах дублей нет, но одни и те же записи дублируются в нескольких файлах.

Хотелось бы убрать пересечения, слить уникальные в один файл либо базу.

Нормального решения пока не нашел.

[spasibo]

ну можно так попробоавть. сначала объединить

cat *.txt > big.txt

а потом

awk '!x[$0]++' big.txt > uniq.txt

awk в отличие от sort -u не будет сортировать строки

[SEng]

Сообщение от Matt Cutts

Решение на коленке - если строки на английском, предложу вот эту тулзу, предварительно подробив на 10гб файлы. Скорость удивит.

там вперемешку, ru eng

[relonger]

Ну что, еще актуально, помочь?