Помогите с фильтрацией текстовиков плз - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.4409
BTC/USD64306.1603
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 22.03.2011, 07:25   #1
balamutik
Подпись за 16к$
 
Регистрация: 12.12.2007
Сообщений: 2,099
Бабло: $373465
По умолчанию Помогите с фильтрацией текстовиков плз

Вот есть файл с кейм 1.тхт и напарсил новые кеи 2.тхт
Чем мне теперь из нового файла 2.тхт удалить всё что было в 1.тхт?
balamutik вне форума  
Старый 22.03.2011, 08:21   #2
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

слить их вместе и удалить дубли. пятон только нужен

http://ninjaside.info/2011/03/udalit-dubli-iz-fajla/
__________________
www.imscraping.ninja
grablab.org | blog

Последний раз редактировалось WebNinja; 22.03.2011 в 08:31.
WebNinja вне форума  
Старый 22.03.2011, 08:29   #3
deschain
Senior Member
 
Аватар для deschain
 
Регистрация: 01.11.2007
Сообщений: 2,269
Бабло: $288535
По умолчанию

Просто удалить дубли из одного файла можно с помощью:
http://4seo.biz/tools/27/doubles.php

Многие текстовые редакторы это умеют делать. Не из двух файлов, а именно, если слить оба файла в один и удалить дубли.
deschain вне форума  
Старый 22.03.2011, 08:31   #4
xanxy
Senior Member
 
Регистрация: 18.08.2010
Сообщений: 360
Бабло: $66120
По умолчанию

cat 1.txt 2.txt | sort --unique
xanxy вне форума  
Старый 22.03.2011, 11:01   #5
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

100500 способов удалить дубли в файле с кея - там и на php, и на linux bash - кому как нравится
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 22.03.2011, 12:22   #6
jarosek
jaros
 
Аватар для jarosek
 
Регистрация: 10.05.2009
Адрес: Киев
Сообщений: 1,498
Бабло: $221835
Отправить сообщение для jarosek с помощью Telegram Отправить сообщение для jarosek с помощью Skype™
По умолчанию

array_unique
jarosek вне форума  
Старый 22.03.2011, 12:48   #7
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

Цитата:
Сообщение от jarosek Посмотреть сообщение
array_unique
он у меня предпоследним идет в списке, только памяти жрет много
PHP код:
<?php
ini_set
("memory_limit""64M");
$f file("keys.txt");
$f array_unique($f);
foreach(
$f as $k)
 echo 
$k;
?>
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 22.03.2011, 17:51   #8
sydoow
Senior Member
 
Аватар для sydoow
 
Регистрация: 26.09.2008
Сообщений: 3,967
Бабло: $504639
По умолчанию

Есть аналог KWK называется KeyWasher - мне он больше нравится и по скорости и по удобству.
Открываешь файл 2.тхт в проге, 1.тхт заносишь в чёрный список слов программы, и чистишь.
__________________
❗ ESSAY партнерка #1 - EduCashion.net - Топ конверт, высокие выплаты.
👉Мобильные и резидентские прокси $3 за 1Gb
sydoow вне форума  
Старый 23.03.2011, 00:06   #9
iloveadult
Senior
 
Аватар для iloveadult
 
Регистрация: 24.09.2008
Сообщений: 2,717
Бабло: $519695
По умолчанию

в хруме есть фильтр баз
__________________
Top Links - качественные ссылки для Ваших сайтов
[UA] Моментальный вывод WM и других валют с лучшим курсом 24/7!
iloveadult вне форума  
Старый 23.03.2011, 00:19   #10
spomoni
spomoni.com
 
Аватар для spomoni
 
Регистрация: 06.04.2008
Сообщений: 18,499
Бабло: $2075195
По умолчанию

Юзаю Хрумер. KeyWordKeeper еще есть, но он кажись не шарит, если в урле домены одинаковые, а папки, файлы нет, то такое не удаляет.
spomoni вне форума