Чем сделать выборку из базы?

[Weil]

Есть файл baza.txt ~10млн строк. Есть файл keys.txt с несколькими сотнями ключевиков построчно, по которым нужно последовательно по одному сделать выборку из baza.txt и записать в соответствующие файлы на выходе: key1.txt, key2.txt ... и тд.

[spasibo]

Сообщение от Weil

Не работает Делает выборку только по первому кею из keys.txt, называет файл key1txt вместо key1.txt и пишет done.

вроде поправил

PHP код:

<?php 
set_time_limit(0); 

$f1 = fopen("baza.txt", "r"); 
$f2 = fopen("keys.txt", "r"); 
while (!feof($f2)) { 
  $key = trim(fgets($f2)); 
  fseek($f1,0);
  while (!feof($f1)) { 
    $w = trim(fgets($f1)); 
    if(stripos($w,$key) !== false){ 
      file_put_contents ($key.'.txt', $w.PHP_EOL, FILE_APPEND | LOCK_EX); 
    } 
  } 
} 
fclose($f1); 
fclose($f2); 

echo 'done';
?>

[Weil]

Работает вроде Большое спасибо!
Можешь добавить 2 фичи?
1. Имя файла из нескольких слов выводится через дефис, например: buy-honda-car.txt
2. Если ничего не нашлось по определенному ключевику, создается просто пустой файл с его именем.

[spasibo]

PHP код:

<?php 
set_time_limit(0); 

$f1 = fopen("baza.txt", "r"); 
$f2 = fopen("keys.txt", "r"); 
while (!feof($f2)) { 
  $key = trim(fgets($f2)); 
  file_put_contents (str_replace(' ','-',$key).'.txt', '', FILE_APPEND | LOCK_EX);
  fseek($f1,0);
  while (!feof($f1)) { 
    $w = trim(fgets($f1)); 
    if(stripos($w,$key) !== false){ 
      file_put_contents (str_replace(' ','-',$key).'.txt', $w.PHP_EOL, FILE_APPEND | LOCK_EX);
    } 
  } 
} 
fclose($f1); 
fclose($f2); 

echo 'done';

[Weil]

Все ОК! За 8 часов работы скрипт сделал выборки по 650 ключевикам.

[mrzaggi]

Сообщение от Weil

Все ОК! За 8 часов работы скрипт сделал выборки по 650 ключевикам.

LOL. за это время можно было воткнуть линь на виртуалку и сделать как написал чессер, и всеравно времени бы ушло гораздо меньше. делать выборки из больших баз скриптовыми языками - онанизм

[djmax]

Сообщение от mrzaggi

делать выборки из больших баз скриптовыми языками - онанизм

зачем писать хуйню?
в прямых руках на скриптовом языке это делается очень быстро и занимает очень мало
и его большой плюс в том, что он 1 раз загрузится и всё отработает
а в примере чессера нужно загружать отдельно grep каждый раз
т.е. 10 млн раз или сколько там строк

[spasibo]

Сообщение от Weil

Все ОК! За 8 часов работы скрипт сделал выборки по 650 ключевикам.

действительно медленно как-то.

а вот гуру php, подскажите, как можно сделать быстрее? читать из baza.txt блоками, по 1000 строк, и в них производить поиск?

я еще только начинаю учить, так что

[spamless]

Проблема не в языке, а в говнокоде:

    if(stripos($w,$key) !== false){ 
      file_put_contents (str_replace(' ','-',$key).'.txt', $w.PHP_EOL, FILE_APPEND | LOCK_EX);
    }

Не говоря о том, что проход по файлу-базе делается 650 раз (как и в случае с грепом, кстати).

[spasibo]

Сообщение от spamless

Проблема не в языке, а в говнокоде:

ну если не сложно, то как правильно делать то?

я понимаю, что можно keys.txt считать один раз в массив, и делать проход только 1 раз. будет намного быстрей. но тогда надо учитывать сколько там ключей, чтобы памяти хватило.

[djmax]

Сообщение от spasibo

ну если не сложно, то как правильно делать то?

я понимаю, что можно keys.txt считать один раз в массив, и делать проход только 1 раз. будет намного быстрей. но тогда надо учитывать сколько там ключей, чтобы памяти хватило.

в идеале тут надо хеши использовать
но это если в baza.txt можно как-то выделить именно ключ из текста
а иначе просто keys.txt читается в массив
потом построчно прогоняется baza.txt и в каждой строке ловится каждый элемент массива через регулярки