Чем удалить дубли в очень больших файлах?

[SEng]

Есть несколько текстовых файлов размером по 40-50 гб.
Чем их слить в один файл без дублей строк?
Желательно под виндой (хотя не принципиально).

[SEng]

Попробовал. На вход подал 3 файла по ~40Гб.
Скрипт порезал их на 2,5к файлов по 1млн строк и вылетел.
Файл chunk-result пустой.

[capturis]

ТС, как часто тебе это надо делать? Уже давно сорт отработал бы. Пока ты тут суету наводишь.

[SEng]

один раз сделать, больше не надо.

[HunterMD]

А kwk не справится, если предварительно разбить файл на 100500 отдельных им же?

[alllvin]

Я бы сделал так - порезал KWK на 100 файлов, потом textpipe пакетом почистил на повторы, слили в один KWK и опять textpipe почистил на повторы.
textpipe очень быстро работает.