Чем сравнить два текстовых файла?

[911neo]

Имеем два больших текстовых файла - файл1 и файл2. Необходимо сравнить два файла и автоматически удалить из файла1 все строки, которые присутствуют в файле2. Подскажите пожалуйста чем это можно быстрее всего сделать.

[Matt Cutts]

Сообщение от Cannabis Cup

а кроме грепа? софтверные есть решения?

Под win - Textpipe Pro. Регулярка та же.

[sliderxxx]

Бля, человек сделавший утилиту по удалению дублей в ГУИ обертке и больше ничего не делающей, озолотится. Пару раз в месяц такие вопросы возникают.

[ivy]

Вы их не на сервере что ли чистите?

[Matt Cutts]

Сообщение от sliderxxx

Бля, человек сделавший утилиту по удалению дублей в ГУИ обертке и больше ничего не делающей, озолотится. Пару раз в месяц такие вопросы возникают.

Да тысячи их подо что угодно. Вот еще одна, очень быстрая..

Textpipe хорош как комбайн - так собираешь фильтры под винду и тестишь сразу. У меня это быстрее, чем писать .sh, у кого-то нет. Вопрос в удобстве просто.

[ZLOY_BOT]

А я по старой привычке, если пирожки подзагрустили - отэтой штукой ровняю, winmerge, не супер массивная - но иногда не плохо помогает...

[rashalist]

http://winmerge.org/?lang=ru

WinMerge является Open Source инструментом сравнения и слияния для Windows. WinMerge может сравнивать как файлы, так и папки, отображая различия в визуальной текстовой форме, которые легко понять и обработать.

[Black West]

Небольшой ап теме.
Имеется значительно больше 2 файлов, имеющих пересечения между собой.
Надо удалить дубли в них.
Объединять файлы нельзя.
Про KWK в курсе, в нем такого функционала не нашел, в TextPipe тоже.

[Wonder]

Готовое решение под такую кастомную задачу вряд ли есть. К проге Hash Manager от Insidepro в нагрузку идут куча мелких консольных прог, в частности RemoveDuplicates.exe, которая удаляет из одного файла те строки, которые есть в другом. Можно ей попробовать сравнить все файлы со всеми (тогда и файлы не объединятся, и дублей не будет). Если файлов не сильно много и задача разовая, можно батник написать. Если много, то можно тот же батник под задачу скриптом генерить) ну или поизящней что поискать

[lorien]

BlackWest, могу на питоне скрипт написать, если ты осилишь запуск python-скрипта и если у тебя RAM хватит, чтобы хранить все уникальные строки в памяти.