Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.2760
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 18.12.2008, 16:47   #1
sic
Senior Member
 
Аватар для sic
 
Регистрация: 06.06.2007
Сообщений: 577
Бабло: $46600
По умолчанию сравнить 2 текстовых файла

может встречал кто-нибудь скрипты или софт для фильтрации

есть 2 базы большого размера в одной 10 млн строк, во второй 11 млн. как отфильтровать второй файл по первому, оставив только те строки, которые не встречаются в первом?

raptor просто виснет
с командами юникс - sort и uniq знаком
sic вне форума  
Старый 18.12.2008, 17:13   #2
Retset
biz bro
 
Регистрация: 28.10.2008
Сообщений: 395
Бабло: $37755
По умолчанию

объединяешь в один, любой прогой по работе с ключевиками - чистишь, а дальше разбиваешь...вот, самое простое имхо, и не забудь запомнить порядковый номер )
Retset вне форума  
Старый 18.12.2008, 17:54   #3
pct
Senior Member
 
Аватар для pct
 
Регистрация: 18.05.2008
Сообщений: 560
Бабло: $47213
По умолчанию

comm -2 -3 base1 base2 > base3
в результате из файла base1 будет вычтен файл base2
а результат записан в файл base3
входные файлы для
этой команды должны быть предварительно отсортированы (sort -u)
иначе команда корректно работать не будет
__________________
pct вне форума  
Старый 18.12.2008, 18:13   #4
TerVer
Senior Member
 
Аватар для TerVer
 
Регистрация: 14.09.2007
Сообщений: 743
Бабло: $73711
По умолчанию

я бы в мускуль загнал.
хз как консольные с таким объемом справятся, но мускуль нормально так пропотеется
TerVer вне форума  
Старый 18.12.2008, 18:52   #5
sic
Senior Member
 
Аватар для sic
 
Регистрация: 06.06.2007
Сообщений: 577
Бабло: $46600
ТС -->
автор темы ТС По умолчанию

помогло, muchos gracias!

Цитата:
Сообщение от pct Посмотреть сообщение
comm -2 -3 base1 base2 > base3
в результате из файла base1 будет вычтен файл base2
а результат записан в файл base3
входные файлы для
этой команды должны быть предварительно отсортированы (sort -u)
иначе команда корректно работать не будет
sic вне форума  
Старый 18.12.2008, 19:00   #6
zlaya ssuka
ChefJavaProgrammierer
 
Аватар для zlaya ssuka
 
Регистрация: 05.04.2007
Сообщений: 1,166
Бабло: $15090
Отправить сообщение для zlaya ssuka с помощью ICQ
По умолчанию

Цитата:
Сообщение от terver Посмотреть сообщение
я бы в мускуль загнал.
хз как консольные с таким объемом справятся, но мускуль нормально так пропотеется
консольные чуть ли не более эффективны.
zlaya ssuka вне форума