Как удалить дубли строк в большом файле? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB77.2535
BTC/USD62604.2233
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 13.05.2017, 16:46   #1
dbrnjah
Member
 
Регистрация: 09.12.2016
Сообщений: 47
Бабло: $13950
Question Как удалить дубли строк в большом файле?

Есть файл на 200кк строк, подскажите чем можно удалить в нем дублирующиеся строки?
dbrnjah вне форума  
Старый 13.05.2017, 17:04   #2
Creolabs
Tomorrow
 
Аватар для Creolabs
 
Регистрация: 22.01.2013
Адрес: Баден-Баден
Сообщений: 1,441
Бабло: $234425
По умолчанию

Цитата:
Сообщение от dbrnjah Посмотреть сообщение
Есть файл на 200кк строк, подскажите чем можно удалить в нем дублирующиеся строки?
keywordkeeper'om или Notepad + textFX плагин
__________________

Creolabs вне форума  
Старый 13.05.2017, 17:25   #3
Compressor
Member
 
Аватар для Compressor
 
Регистрация: 03.11.2009
Сообщений: 75
Бабло: $13745
По умолчанию

sort -u file.txt -o result.txt
Compressor вне форума  
Старый 13.05.2017, 17:44   #5
веломан
сыроед
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 12,938
Бабло: $1515320
По умолчанию

какая уже по счёту тема про удаление дублей
веломан на форуме  
Старый 13.05.2017, 20:49   #6
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 899
Бабло: $188935
По умолчанию

Здравствуйте. Есть форум и там 200 топиков с вопросом о том, как удалить дубли из файлов. Подскажите, чем можно удалить с форума дублирующиеся топики?
lorien вне форума  
Старый 16.05.2017, 15:21   #7
vipuncle
Member
 
Регистрация: 27.08.2013
Сообщений: 44
Бабло: $7300
По умолчанию

Scrapebox Helper Tools
http://scrapeboxmarketplace.com/free...x-helper-tools
vipuncle вне форума