Есть ли программа для отбора кейвордов?

[disqus]

Столкнулся с проблемой, что из всех мною найденных программистов в интернете, никто не знает, как отобрать кейворды из 1 файла, которые не повторялись бы с кейвордами во втором файле и сохранились бы в третьем файле.

Звучит вроде так елементарно.. но никто не может сделать... это реально неподсильная задача?

[Vardy]

disqus, если не ошибаюсь то такое можно сделать даже с помощью макросов или формулы в обычном Excel. Дрочил по екселю я думаю ты знаешь где искать)

[digg]

если файл сильно большой, то эксель задрочится
файлы большие то?

[Novgorodcev]

в линуксе 8 строк получилось

while IFS= read -r line
do
RESULT=$(grep "$line" key2.txt)
if [ "$RESULT" == "" ]
then
echo "$line" >>key3.txt
fi
done < key1.txt

первый файл key1.txt
то в котором ищем дубли key2.txt
результат получаем в key3.txt

[excl]

В кейколлекторе, используя папки, можно такое осуществить. Сначала загружается второй файл в отдельную папку, потом первый файл в отдельную папку. Все дубли чистятся автоматически. В итоге во второй папке имеем то, что тебе надо в третьем файле.

[Krok]

в textpipe сделать фильтр

[disqus]

Сообщение от Novgorodcev

в линуксе 8 строк получилось

первый файл key1.txt
то в котором ищем дубли key2.txt
результат получаем в key3.txt

я так и не дождался окончания работы скрипта.. 2 часа висел в обработке 500 тысяч строчек...

неужели дорвейщики задрачивают одни и теже кейворды каждый раз?...

[веломан]

Сообщение от disqus

я так и не дождался окончания работы скрипта.. 2 часа висел в обработке 500 тысяч строчек...

выпили из файлов строчек 10 и проверь
через tail можно откусить
а вообще 500000 запустить grep на файл из 500000 строк это всё равно долго...
надо другой алгоритм

[Novgorodcev]

по 500К думаю да, grep будет долго )))

хотя посмотри сколько в третьем файле вышло - может чутка не дождался.

а точные размеры файлов 1 и 2 построчно можешь сказать?

[disqus]

Сообщение от Novgorodcev

по 500К думаю да, grep будет долго )))

хотя посмотри сколько в третьем файле вышло - может чутка не дождался.

а точные размеры файлов 1 и 2 построчно можешь сказать?

я не знаю сколько не дождался ))

там 6тысяч строчек в результате.

где ссылки - 800 тысяч строчек

а кейворды - 230 тысяч строчек.