Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB64.4156
BTC/USD7968.9167
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.03.2015, 05:41   #1
SEng
Senior Member
 
Аватар для SEng
 
Регистрация: 28.07.2007
Адрес: Russia
Сообщений: 181
Бабло: $27710
Отправить сообщение для SEng с помощью ICQ
Question Чем удалить дубли в очень больших файлах?

Есть несколько текстовых файлов размером по 40-50 гб.
Чем их слить в один файл без дублей строк?
Желательно под виндой (хотя не принципиально).
SEng вне форума  
Старый 11.03.2015, 07:35   #2
capturis
Senior Member
 
Аватар для capturis
 
Регистрация: 25.11.2013
Сообщений: 254
Бабло: $44405
Отправить сообщение для capturis с помощью Yahoo
По умолчанию

Цитата:
Сообщение от SEng Посмотреть сообщение
Есть несколько текстовых файлов размером по 40-50 гб.
Чем их слить в один файл без дублей строк?
Желательно под виндой (хотя не принципиально).
если не принципиально, в консоль unix:
Код:
cat file1.txt file2.txt | sort -u > file3.txt
capturis вне форума  
Старый 11.03.2015, 16:39   #3
SEng
Senior Member
 
Аватар для SEng
 
Регистрация: 28.07.2007
Адрес: Russia
Сообщений: 181
Бабло: $27710
ТС -->
Отправить сообщение для SEng с помощью ICQ
автор темы ТС По умолчанию

Не очень шустрый способ, девятый час уже пошел.
SEng вне форума  
Старый 11.03.2015, 16:44   #4
Wonder
интересующийся
 
Аватар для Wonder
 
Регистрация: 16.06.2009
Сообщений: 650
Бабло: $125726
По умолчанию

Ну это нормально при таких объемах, скорость от проца зависит
__________________
Аппрув США >91% и Европа >90% Сливай фарму на Pharmcash - получай хрустящий кэш! / Спонсор! Докажи, что твоя партнерка №1 / 2019
Wonder вне форума  
Старый 11.03.2015, 17:39   #5
sellad
Senior Member
 
Регистрация: 20.02.2015
Сообщений: 296
Бабло: $40755
По умолчанию

kwk (не уверен, что осилит такие объемы) или textpipe
__________________
куплю ваш трафик - связь лс
sellad вне форума  
Старый 11.03.2015, 17:39   #6
proc3nt
el patron
 
Аватар для proc3nt
 
Регистрация: 17.04.2007
Сообщений: 474
Бабло: $2147483647
Отправить сообщение для proc3nt с помощью ICQ
По умолчанию

переделать как вставки в базу данных(например в монго), дублирующие ключи чтобы перезатирали друг друга, потом экспорт из бд в тхт
__________________
10+ лет на гофаке, хранитель традиций, летописец, легенда
proc3nt вне форума  
Старый 11.03.2015, 17:43   #7
Hector
hustle
 
Аватар для Hector
 
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,012
Бабло: $1572155
Отправить сообщение для Hector с помощью ICQ
По умолчанию

Цитата:
Сообщение от proc3nt Посмотреть сообщение
переделать как вставки в базу данных(например в монго), дублирующие ключи чтобы перезатирали друг друга, потом экспорт из бд в тхт
+1 вообще не понял зачем такие объемы хранить в текстовом файле
Hector на форуме  
Старый 11.03.2015, 19:17   #8
SEng
Senior Member
 
Аватар для SEng
 
Регистрация: 28.07.2007
Адрес: Russia
Сообщений: 181
Бабло: $27710
ТС -->
Отправить сообщение для SEng с помощью ICQ
автор темы ТС По умолчанию

11 часов, конца не видно.
Прерывать или подождать?
SEng вне форума  
Старый 11.03.2015, 19:21   #9
proc3nt
el patron
 
Аватар для proc3nt
 
Регистрация: 17.04.2007
Сообщений: 474
Бабло: $2147483647
Отправить сообщение для proc3nt с помощью ICQ
По умолчанию

мне кажется что в базу ты бы намного быстрее все данные загнал, а потом там их обработать намного проще
__________________
10+ лет на гофаке, хранитель традиций, летописец, легенда
proc3nt вне форума  
Старый 11.03.2015, 19:25   #10
SEng
Senior Member
 
Аватар для SEng
 
Регистрация: 28.07.2007
Адрес: Russia
Сообщений: 181
Бабло: $27710
ТС -->
Отправить сообщение для SEng с помощью ICQ
автор темы ТС По умолчанию

еще часок и кильну

Цитата:
Сообщение от Hector Посмотреть сообщение
+1 вообще не понял зачем такие объемы хранить в текстовом файле
Да, просто имеющийся софт работает только с текстовыми базами.
SEng вне форума