FreeBSD объединить файлы

[Dumpty]

Добрый день
Как на фрибзд командой одной объединить несколько файлов (5 штук) в один и при этом удалить дубли?
Спасибо

[chesser]

cat file1.txt file2.txt file3.txt | sort -u > result.txt

[sergeospb]

Сообщение от chesser

cat file1.txt file2.txt file3.txt | sort -u > result.txt

sort -u *.txt> result.txt

[Dumpty]

Спасибо
А ещё вопрос по командной строке...
Есть файл вида
data1 data2 data3 data4
надо в начале каждой строки подставить http://, и удалить всё, что после data1. дата1 дата2 дата3 дата4 разделены между собой табуляцией, и от строки к строке отличаются

[Dumpty]

ну где же вы, крутые линксойды и сисадмины?)))
гуглил, нашёл какой то sed, но не разобрался как с ним работать...

повторюсь: нужно очистить каждую строку (всё, включая первый \t) и добавить в начало каждой строки http://

[chesser]

Сообщение от Dumpty

нашёл какой то sed

sed - он не какой-то, он великий SED
еще можно поискать могучий awk
и их младшего брата grep
а также родственника vim

а по сабжу - наверно всем лень, да и задачка не интересная для бесплатной

[vakh]

Если я правильно уловил суть задачи, то как-то так:
awk '{print "http://"$1}' file1.txt > file2.txt
file1.txt - исходный файл
file2.txt - результирующий файл

[Dumpty]

спасибо, кое как разобрался=)