Чем удалить дубли в очень больших файлах? - Форум успешных вебмастеров

SEng · 11.03.2015, 05:41

Есть несколько текстовых файлов размером по 40-50 гб.
Чем их слить в один файл без дублей строк?
Желательно под виндой (хотя не принципиально).

capturis · 11.03.2015, 07:35

Цитата:

Сообщение от SEng

Есть несколько текстовых файлов размером по 40-50 гб.
Чем их слить в один файл без дублей строк?
Желательно под виндой (хотя не принципиально).

если не принципиально, в консоль unix:

Код:

cat file1.txt file2.txt | sort -u > file3.txt

SEng · 11.03.2015, 16:39

Не очень шустрый способ, девятый час уже пошел.

Wonder · 11.03.2015, 16:44

Ну это нормально при таких объемах, скорость от проца зависит

sellad · 11.03.2015, 17:39

kwk (не уверен, что осилит такие объемы) или textpipe

proc3nt · 11.03.2015, 17:39

переделать как вставки в базу данных(например в монго), дублирующие ключи чтобы перезатирали друг друга, потом экспорт из бд в тхт

Hector · 11.03.2015, 17:43

Цитата:

Сообщение от proc3nt

переделать как вставки в базу данных(например в монго), дублирующие ключи чтобы перезатирали друг друга, потом экспорт из бд в тхт

+1 вообще не понял зачем такие объемы хранить в текстовом файле

SEng · 11.03.2015, 19:17

11 часов, конца не видно.
Прерывать или подождать?

proc3nt · 11.03.2015, 19:21

мне кажется что в базу ты бы намного быстрее все данные загнал, а потом там их обработать намного проще

SEng · 11.03.2015, 19:25

еще часок и кильну

Цитата:

Сообщение от Hector

+1 вообще не понял зачем такие объемы хранить в текстовом файле

Да, просто имеющийся софт работает только с текстовыми базами.