Чем сделать выборку из базы?

[Weil]

Есть файл baza.txt ~10млн строк. Есть файл keys.txt с несколькими сотнями ключевиков построчно, по которым нужно последовательно по одному сделать выборку из baza.txt и записать в соответствующие файлы на выходе: key1.txt, key2.txt ... и тд.

[spasibo]

попробуй так.

PHP код:

<?php
set_time_limit(0);

$f1 = fopen("baza.txt", "r");
$f2 = fopen("keys.txt", "r");
while (!feof($f2)) {
  $key = trim(fgets($f2));
  while (!feof($f1)) {
    $w = trim(fgets($f1));
    if(stripos($w,$key)){
      file_put_contents ($key.'txt', $w.PHP_EOL, FILE_APPEND | LOCK_EX);
    }
  }
}
fclose($f1);
fclose($f2);

echo 'done';

[dveredel]

PHP код:

... if(stripos($w,$key)){ ... 


PHP код:

if(stripos($w,$key) !== false){ 


[Weil]

Благодарю! Правда, денвер у меня не установлен... Скрипт справится с 300МБ файлом?
Из десктопных прог побовал TextPipe, но так и не нашел как там делать вывод во множество файлов.

[spasibo]

Сообщение от Weil

Благодарю! Правда, денвер у меня не установлен... Скрипт справится с 300МБ файлом?
Из десктопных прог побовал TextPipe, но так и не нашел как там делать вывод во множество файлов.

справится. тут построчное чтение.
вместо денвера попробуй http://open-server.ru/download.html

[inkubus]

python

PHP код:

if __name__ == '__main__':
    with open('baza.txt', encoding='utf-8') as fbl:
        bls = set(fbl)
    with open('keys.txt', encoding='utf-8') as fw:
        ws = set(w.strip() for w in fw)
    for word in ws:
        tup = tuple(s for s in bls if word in s)
        if tup:
            with open(word + '.txt', "w", encoding='utf-8') as fres:
                print(*tup, sep='', end='', file=fres)
    print("ok") 


[chesser]

for i in `cat keys.txt`; do grep $i baza.txt > $i.txt; done

[creator123]

chesser, самый умный, да?

[masolit]

Сообщение от inkubus

python

PHP код:

if __name__ == '__main__':
    with open('baza.txt', encoding='utf-8') as fbl:
        bls = set(fbl)
    with open('keys.txt', encoding='utf-8') as fw:
        ws = set(w.strip() for w in fw)
    for word in ws:
        tup = tuple(s for s in bls if word in s)
        if tup:
            with open(word + '.txt', "w", encoding='utf-8') as fres:
                print(*tup, sep='', end='', file=fres)
    print("ok") 


феерический пиздос, сильный быдлокод

[Weil]

PHP код:

<?php 
set_time_limit(0); 

$f1 = fopen("baza.txt", "r"); 
$f2 = fopen("keys.txt", "r"); 
while (!feof($f2)) { 
  $key = trim(fgets($f2)); 
  while (!feof($f1)) { 
    $w = trim(fgets($f1)); 
    if(stripos($w,$key) !== false){ 
      file_put_contents ($key.'txt', $w.PHP_EOL, FILE_APPEND | LOCK_EX); 
    } 
  } 
} 
fclose($f1); 
fclose($f2); 

echo 'done';
?>

Не работает Делает выборку только по первому кею из keys.txt, называет файл key1txt вместо key1.txt и пишет done.