Поиск одинаковых строк - хелп - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.4409
BTC/USD66629.3596
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 13.09.2010, 17:03   #1
Syncmaster
$ $ $
 
Аватар для Syncmaster
 
Регистрация: 29.12.2007
Сообщений: 323
Бабло: $118140
По умолчанию Поиск одинаковых строк - хелп

Есть 5 файлов в каждом приличное кол-во строк.
Там попадаются такие строки, которые есть во всех 5ти файлах. Как можно вытащить их?
__________________
Syncmaster вне форума  
Старый 13.09.2010, 17:08   #2
pingo
Senior Member
 
Аватар для pingo
 
Регистрация: 09.04.2007
Сообщений: 4,411
Бабло: $603509
По умолчанию

объеденить в один и прочекать на дубли
__________________
VPN сервис для вебмастеров - UK, US, NL, RU, PL, SE, CA, EE, DE, BH[online] BH2, + пробный TRIAL GFB + удобный GUI топик на GFB
pingo вне форума  
Старый 13.09.2010, 17:09   #3
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 6,409
Бабло: $904273
По умолчанию

1. находим файл с максимальным кол-вом строк
2. берём каждую строку из этого файла и ищем в других 4х.
3. если нашли, то сохраняем в отдельный файл и переходим к следующией.
4. если не нашли то переходим к след строке
majordon вне форума  
Старый 13.09.2010, 17:13   #4
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,096
Бабло: $611825
По умолчанию

Цитата:
Сообщение от majordon Посмотреть сообщение
1. находим файл с максимальным кол-вом строк
2. берём каждую строку из этого файла и ищем в других 4х.
3. если нашли, то сохраняем в отдельный файл и переходим к следующией.
4. если не нашли то переходим к след строке
Первый пункт не нужен) Я бы даже сказал, что нужно брать файл с минимальным количеством строк!) Ведь строчка должна быть в каждом из пяти файлов)
Ну а если файлы не большие и комп мощный) то я бы взял любой файл и чекал по нему.
Drg вне форума  
Старый 13.09.2010, 17:16   #5
brus
Senior Member
 
Аватар для brus
 
Регистрация: 28.04.2009
Адрес: Kiev
Сообщений: 1,091
Бабло: $202110
Отправить сообщение для brus с помощью ICQ
По умолчанию

Прога ClearLinks в помощь. Ставишь убрать дубли, они появятся в файле лог.тхт.
brus вне форума  
Старый 13.09.2010, 17:19   #6
Chekist
Senior Member
 
Аватар для Chekist
 
Регистрация: 13.04.2007
Сообщений: 480
Бабло: $84373
По умолчанию

Цитата:
Сообщение от pingo Посмотреть сообщение
объединить в один и прочекать на дубли
+ 1
Chekist вне форума  
Старый 13.09.2010, 17:23   #7
Syncmaster
$ $ $
 
Аватар для Syncmaster
 
Регистрация: 29.12.2007
Сообщений: 323
Бабло: $118140
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от pingo Посмотреть сообщение
объеденить в один и прочекать на дубли
если бы все было так просто, я бы не создавал топик
__________________
Syncmaster вне форума  
Старый 13.09.2010, 17:26   #8
Syncmaster
$ $ $
 
Аватар для Syncmaster
 
Регистрация: 29.12.2007
Сообщений: 323
Бабло: $118140
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Drg Посмотреть сообщение
Первый пункт не нужен) Я бы даже сказал, что нужно брать файл с минимальным количеством строк!) Ведь строчка должна быть в каждом из пяти файлов)
Ну а если файлы не большие и комп мощный) то я бы взял любой файл и чекал по нему.
Взял я прогу KeyWordKeeper, кинул туда 100к строк из фала 1 и написал сделать выборку из еще одного такого же файла, затупило, кое-как задачу завершить удалось
__________________
Syncmaster вне форума  
Старый 13.09.2010, 17:26   #9
KYO
blackseo
 
Аватар для KYO
 
Регистрация: 04.04.2007
Адрес: StandAlone
Сообщений: 1,053
Бабло: $196065
Отправить сообщение для KYO с помощью ICQ
По умолчанию

заплатить 15$ и получить perl скрипт из 50 строк который это делает как вариант.

потому как PHP косле 30К строк загибается, а перл кушает и в 1ГБ файлы. помню базу пасухова парсил.
__________________
Возьми домой раненую осу и ты узнаешь, чем платит доброта
KYO вне форума  
Старый 13.09.2010, 17:54   #10
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,096
Бабло: $611825
По умолчанию

Цитата:
Сообщение от KYO Посмотреть сообщение
потому как PHP косле 30К строк загибается, а перл кушает и в 1ГБ файлы. помню базу пасухова парсил.
Лично я не люблю перл. а Базу Пастухова без проблем парсил на php)
ТС не сказал сколько у него оперативки и какой объем файлов этих.
Drg вне форума