Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8610
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 03.04.2012, 20:02   #1
Sanchez
Ебланнед
 
Регистрация: 09.10.2011
Адрес: Villa 31
Сообщений: 495
Бабло: $141290
По умолчанию Удаление одинаковых строк - чем?

вобщем столкнулся с такой проблемой - есть много .txt файлов размером около 1Гб.
в каждом файле предложения, одно на строчку.
нужно чем то сравнить все файлы и выкинуть повторы оставив только уникальные варианты для всех файлов.

посоветуйте каким софтом это можно сделать?
__________________
http://www.gofuckbiz.com/rules.html - Запрещено оскорбление участников форума: не нужно переходить на личности в негативном контексте во время обсуждения той или иной темы.
Sanchez вне форума  
Старый 03.04.2012, 20:12   #2
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
Отправить сообщение для lorien с помощью Skype™
По умолчанию

cat file1 file2 file 3 | sort | uniq > result.txt
lorien вне форума  
Старый 03.04.2012, 20:29   #3
sic
Senior Member
 
Аватар для sic
 
Регистрация: 06.06.2007
Сообщений: 577
Бабло: $46600
По умолчанию

если под винду - KeyWordKeeper
sic вне форума  
Старый 03.04.2012, 20:39   #4
Sanchez
Ебланнед
 
Регистрация: 09.10.2011
Адрес: Villa 31
Сообщений: 495
Бабло: $141290
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от sic Посмотреть сообщение
если под винду - KeyWordKeeper
спасибо, это и нужно было
__________________
http://www.gofuckbiz.com/rules.html - Запрещено оскорбление участников форума: не нужно переходить на личности в негативном контексте во время обсуждения той или иной темы.
Sanchez вне форума