Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.9870
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 21.02.2015, 00:10   #1
the4gamblers
__٩(̾●̮̮̃̾•̃̾)۶__
 
Регистрация: 30.05.2010
Сообщений: 257
Бабло: $95151
Question Как почистить txt размером 7Gb в Debian ?

Сила гофака помоги.
есть файл txt размером 7Gb в нем 200 лямов строк
записи такого формата

Код:
AUTOGUARD.XXX	 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET
AUTOINSURANCE.XXX	 NS73.WEBMASTERS.COM	NS74.WEBMASTERS.COM
AUTOJET.XXX	                 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET
тоесть: домен + NS этого домена
подскажите как в консоле Debian убрать с этого файла NS и оставить только домены, после чего разбить его на мелкие файлы по пол гига.
Заранее спасибо
the4gamblers вне форума  
Старый 21.02.2015, 00:20   #2
mountainmaster
Senior Member
 
Регистрация: 02.04.2013
Сообщений: 124
Бабло: $15365
По умолчанию

Цитата:
Сообщение от the4gamblers Посмотреть сообщение
Сила гофака помоги.
есть файл txt размером 7Gb в нем 200 лямов строк
записи такого формата

Код:
AUTOGUARD.XXX	 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET
AUTOINSURANCE.XXX	 NS73.WEBMASTERS.COM	NS74.WEBMASTERS.COM
AUTOJET.XXX	                 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET
тоесть: домен + NS этого домена
подскажите как в консоле Debian убрать с этого файла NS и оставить только домены, после чего разбить его на мелкие файлы по пол гига.
Заранее спасибо
cut -d " " -f1 твой.txt >>домены
порезать файл почитай split там по строкам по размерам как хочешь если у тебя тот файл что я думаю то тебе еще надо потом будет sort твой файл | uniq
mountainmaster вне форума  
Старый 21.02.2015, 00:36   #3
the4gamblers
__٩(̾●̮̮̃̾•̃̾)۶__
 
Регистрация: 30.05.2010
Сообщений: 257
Бабло: $95151
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от mountainmaster Посмотреть сообщение
cut -d " " -f1 твой.txt >>домены
не получилось в новом файле все тоже самое *(
the4gamblers вне форума  
Старый 21.02.2015, 00:43   #4
mr.Charlie
je suis Charlie
 
Аватар для mr.Charlie
 
Регистрация: 19.08.2009
Сообщений: 1,627
Бабло: $249527
По умолчанию

cat big7gbfile.txt | cut -d " " -f1 | sort -u > domains.txt && split -b 512M domains.txt
Получится кучка файлов xaa, xab, xac по 512 мегабайт с доменами.
Если уверен, что дублей в файле нет или не надо их убирать, то "| sort -u" убери, потому что эта команда долго будет выполняться.
__________________
Ферма

Последний раз редактировалось mr.Charlie; 21.02.2015 в 00:50.
mr.Charlie вне форума  
Старый 21.02.2015, 00:57   #5
capturis
Senior Member
 
Аватар для capturis
 
Регистрация: 25.11.2013
Сообщений: 219
Бабло: $36445
Отправить сообщение для capturis с помощью ICQ Отправить сообщение для capturis с помощью Yahoo
По умолчанию

Цитата:
не получилось в новом файле все тоже самое *(
читай cut --help
Если у тебя в файле разделитель - табулция, пиши просто cut -f1.
capturis вне форума  
Старый 21.02.2015, 01:06   #6
the4gamblers
__٩(̾●̮̮̃̾•̃̾)۶__
 
Регистрация: 30.05.2010
Сообщений: 257
Бабло: $95151
ТС -->
автор темы ТС По умолчанию

Всем спасибо отлично заработало )
the4gamblers вне форума  
Старый 23.02.2015, 13:41   #7
pembroni
Юниор
 
Регистрация: 04.02.2015
Сообщений: 21
Бабло: $6920
По умолчанию

Цитата:
Сообщение от the4gamblers Посмотреть сообщение
есть файл txt размером 7Gb в нем 200 лямов строк
Бро, поделись файликом?
pembroni вне форума