Чем проверить на уникальность 20кк строк?

[Ower]

20кк кейвордов в одном файле, нужно проверить на уникальность.
Была идея порезать на мелкие файлы и в каждом сделать проверку, а потом объединить. но дубли все равно появятся после группировки.
Еще есть идея отсортировать по алфавиту , потом порезать на куски и так же почистить, но вопрос в том, что сортировка тоже трудоемкий процесс.
Может есть другие способы?

[Hector]

залить в базу вставляя с уникальным значением поля, индекс сделать по полю
в принципе думаю есть более норм решения но это пришло сразу в голову

[Ower]

это тоже кстати рассматривал как вариант, но я не соображаю в базах

[inkubus]

http://www.mediafire.com/download.php?lncxk4ojm871e7u

полтора миллиарда как-то раз чекал

20кк чекнет на дубли и отсортирует минут за 20 думаю

[truecolor]

если файл в никсах лежит, там скрипт в 1 строку чекнет быстро

[mrzaggi]

в линухе sort 20kkKeyvordov.txt | uniq -u > output.txt
сделает быстро

[spamless]

Сообщение от Ower

Была идея порезать на мелкие файлы и в каждом сделать проверку, а потом объединить. но дубли все равно появятся после группировки.

Мелкие файлы делать исходя из остатка деления хешкода строки на нужное тебе число мелких файлов. Решение лучше уже подсказали выше)

[Painkiller]

сколько файл весит? сортировать все равно придется. это самый быстрый алгоритм.

[Maximus325]

Самое простое башем заебашить

[truecolor]

Сообщение от Painkiller

сколько файл весит? сортировать все равно придется. это самый быстрый алгоритм.

ни разу не придётся
и это ахуенно медленный алгоритм