Чем проверить на уникальность 20кк строк?

[Ower]

20кк кейвордов в одном файле, нужно проверить на уникальность.
Была идея порезать на мелкие файлы и в каждом сделать проверку, а потом объединить. но дубли все равно появятся после группировки.
Еще есть идея отсортировать по алфавиту , потом порезать на куски и так же почистить, но вопрос в том, что сортировка тоже трудоемкий процесс.
Может есть другие способы?

[ubl2]

да какой баш, sort -u in.txt > out.txt

[Ower]

а где эту команду выполнить? сначала нужно переместить на линуксовый сервер, а затем подключиться к SSH и выполнить эту команду?

[Maximus325]

Сообщение от Ower

а где эту команду выполнить? сначала нужно переместить на линуксовый сервер, а затем подключиться к SSH и выполнить эту команду?

да 1

[shoo]

uniq sss.txt > aaa.txt

Не обязательно на сервак заливать, можно аналоги unix'овых программ под win скачать и пользоваться так же как и на серваке
http://gnuwin32.sourceforge.net/packages/coreutils.htm

[Painkiller]

Сообщение от truecolor

ни разу не придётся
и это ахуенно медленный алгоритм

а ты попробуй

[truecolor]

Сообщение от Painkiller

а ты попробуй

ты сам то попробуй
хотя тебе сравнить не с чем, если ты других вариантов не знаешь

[Painkiller]

Сообщение от truecolor

ты сам то попробуй
хотя тебе сравнить не с чем, если ты других вариантов не знаешь

убейся клоун

[truecolor]

Сообщение от Painkiller

убейся клоун

да не плачь, сынку
в школу не опоздай, авось поумнеешь