сравнить 2 текстовых файла

[sic]

может встречал кто-нибудь скрипты или софт для фильтрации

есть 2 базы большого размера в одной 10 млн строк, во второй 11 млн. как отфильтровать второй файл по первому, оставив только те строки, которые не встречаются в первом?

raptor просто виснет
с командами юникс - sort и uniq знаком

[Retset]

объединяешь в один, любой прогой по работе с ключевиками - чистишь, а дальше разбиваешь...вот, самое простое имхо, и не забудь запомнить порядковый номер )

[pct]

comm -2 -3 base1 base2 > base3
в результате из файла base1 будет вычтен файл base2
а результат записан в файл base3
входные файлы для
этой команды должны быть предварительно отсортированы (sort -u)
иначе команда корректно работать не будет

[TerVer]

я бы в мускуль загнал.
хз как консольные с таким объемом справятся, но мускуль нормально так пропотеется

[sic]

помогло, muchos gracias!

Сообщение от pct

comm -2 -3 base1 base2 > base3
в результате из файла base1 будет вычтен файл base2
а результат записан в файл base3
входные файлы для
этой команды должны быть предварительно отсортированы (sort -u)
иначе команда корректно работать не будет

[zlaya ssuka]

Сообщение от terver

я бы в мускуль загнал.
хз как консольные с таким объемом справятся, но мускуль нормально так пропотеется

консольные чуть ли не более эффективны.