Выборка кеев с большых файлов. Как ускорить?

[RedHead]

юзал примерно вот такой код:

PHP код:

$key = 'blabla';
$fout = fopen("result.txt","w+");
$fin = fopen("keys.txt",'r+');
while(!feof($fin)){
    $fline = fgets($fin, 63);
    $templine = "  ".trim($fline)."  ";
    $tempkey = " ".trim($key)." ";
    if (strpos($templine,$tempkey) <> FALSE) {fputs ($fout,$fline);}
    }
fclose($fin);
fclose($fout); 


если база пару гигов - совсем не радует. Как можно ускорить или есть другие решения (на других языках или софт)?

[chesser]

ну так то баш побыстрее будет, седом например
глянь решения, я там вроде какие-то кеи чистил от стоп слов, задача похожая вроде

а в бд грузить смысла нет, системные команды надо юзать полюбому

if (strpos($templine,$tempkey) <> FALSE) {fputs ($fout,$fline);}

по-моему тут серьезный баг, вместо <> надо использовать !==, иначе скрипт будет отсекать все строки, начинающиеся с кея

[imgreen]

ну так то баш побыстрее будет, седом например

на много?

[chesser]

Сообщение от imgreen

на много?

намного

хотя если прям скорость нужна и РАМы много, можно в память все загрузить в php
а если рамы столько нет, то в баше быстрее будет

[imgreen]

Сообщение от chesser

намного

а поточнее?

[Юнга]

поиск по ключу - это индекс, индекс - это база.
либо свой индекс строить.

[RedHead]

нету линукса под рукой, поставил виндузятный grep
примерно в 50 раз быстрее.
спасибо. но думаю и это не предел

[imgreen]

Сообщение от Юнга

поиск по ключу - это индекс, индекс - это база.
либо свой индекс строить.

там наверное не точное вхождение ключа
но если точное, то +1 за базу =)

[Юнга]

Сообщение от imgreen

там наверное не точное вхождение ключа
но если точное, то +1 за базу =)

судя по коду там лайк запрос типа LIKE '% keyword %'.
тут еще вопрос соотношения ресурсов - быстрый винт и/или много памяти.

RedHead, сколько кеев в базе и сколько ищет в среднем на текущем железе?

[simba]

$tempkey = " ".trim($key)." ";
зачем же каждый раз операцию выполнять. можно в самом начале один раз)