Как почистить txt размером 7Gb в Debian ?

[the4gamblers]

Сила гофака помоги.
есть файл txt размером 7Gb в нем 200 лямов строк
записи такого формата

AUTOGUARD.XXX	 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET
AUTOINSURANCE.XXX	 NS73.WEBMASTERS.COM	NS74.WEBMASTERS.COM
AUTOJET.XXX	                 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET

тоесть: домен + NS этого домена
подскажите как в консоле Debian убрать с этого файла NS и оставить только домены, после чего разбить его на мелкие файлы по пол гига.
Заранее спасибо

[mountainmaster]

Сообщение от the4gamblers

Сила гофака помоги.
есть файл txt размером 7Gb в нем 200 лямов строк
записи такого формата

AUTOGUARD.XXX	 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET
AUTOINSURANCE.XXX	 NS73.WEBMASTERS.COM	NS74.WEBMASTERS.COM
AUTOJET.XXX	                 NSB1.ICMREGISTRY.NET	NSB2.ICMREGISTRY.NET

тоесть: домен + NS этого домена
подскажите как в консоле Debian убрать с этого файла NS и оставить только домены, после чего разбить его на мелкие файлы по пол гига.
Заранее спасибо

cut -d " " -f1 твой.txt >>домены
порезать файл почитай split там по строкам по размерам как хочешь если у тебя тот файл что я думаю то тебе еще надо потом будет sort твой файл | uniq

[the4gamblers]

Сообщение от mountainmaster

cut -d " " -f1 твой.txt >>домены

не получилось в новом файле все тоже самое *(

[mr.Charlie]

cat big7gbfile.txt | cut -d " " -f1 | sort -u > domains.txt && split -b 512M domains.txt
Получится кучка файлов xaa, xab, xac по 512 мегабайт с доменами.
Если уверен, что дублей в файле нет или не надо их убирать, то "| sort -u" убери, потому что эта команда долго будет выполняться.

[capturis]

не получилось в новом файле все тоже самое *(

читай cut --help
Если у тебя в файле разделитель - табулция, пиши просто cut -f1.

[the4gamblers]

Всем спасибо отлично заработало )

[pembroni]

Сообщение от the4gamblers

есть файл txt размером 7Gb в нем 200 лямов строк

Бро, поделись файликом?