Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8610
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 17.04.2013, 13:45   #1
Weil
Member
 
Регистрация: 30.06.2007
Сообщений: 83
Бабло: $31550
Отправить сообщение для Weil с помощью ICQ
По умолчанию Чем сделать выборку из базы?

Есть файл baza.txt ~10млн строк. Есть файл keys.txt с несколькими сотнями ключевиков построчно, по которым нужно последовательно по одному сделать выборку из baza.txt и записать в соответствующие файлы на выходе: key1.txt, key2.txt ... и тд.
Weil вне форума  
Старый 17.04.2013, 14:43   #2
spasibo
banned
 
Регистрация: 14.04.2013
Сообщений: 127
Бабло: $26265
По умолчанию

попробуй так.

PHP код:
<?php
set_time_limit
(0);

$f1 fopen("baza.txt""r");
$f2 fopen("keys.txt""r");
while (!
feof($f2)) {
  
$key trim(fgets($f2));
  while (!
feof($f1)) {
    
$w trim(fgets($f1));
    if(
stripos($w,$key)){
      
file_put_contents ($key.'txt'$w.PHP_EOLFILE_APPEND LOCK_EX);
    }
  }
}
fclose($f1);
fclose($f2);

echo 
'done';
__________________
не за что
spasibo вне форума  
Старый 17.04.2013, 15:11   #3
dveredel
Читатель
 
Аватар для dveredel
 
Регистрация: 23.11.2007
Сообщений: 423
Бабло: $48745
По умолчанию

Цитата:
PHP код:
... if(stripos($w,$key)){ ... 
PHP код:
if(stripos($w,$key) !== false){ 
dveredel вне форума  
Старый 17.04.2013, 15:23   #4
Weil
Member
 
Регистрация: 30.06.2007
Сообщений: 83
Бабло: $31550
ТС -->
Отправить сообщение для Weil с помощью ICQ
автор темы ТС По умолчанию

Благодарю! Правда, денвер у меня не установлен... Скрипт справится с 300МБ файлом?
Из десктопных прог побовал TextPipe, но так и не нашел как там делать вывод во множество файлов.
Weil вне форума  
Старый 17.04.2013, 15:33   #5
spasibo
banned
 
Регистрация: 14.04.2013
Сообщений: 127
Бабло: $26265
По умолчанию

Цитата:
Сообщение от Weil Посмотреть сообщение
Благодарю! Правда, денвер у меня не установлен... Скрипт справится с 300МБ файлом?
Из десктопных прог побовал TextPipe, но так и не нашел как там делать вывод во множество файлов.
справится. тут построчное чтение.
вместо денвера попробуй http://open-server.ru/download.html
__________________
не за что
spasibo вне форума  
Старый 17.04.2013, 20:11   #6
inkubus
Senior Member
 
Аватар для inkubus
 
Регистрация: 11.02.2010
Сообщений: 935
Бабло: $176795
По умолчанию

python
PHP код:
if __name__ == '__main__':
    
with open('baza.txt'encoding='utf-8') as fbl:
        
bls set(fbl)
    
with open('keys.txt'encoding='utf-8') as fw:
        
ws set(w.strip() for w in fw)
    for 
word in ws:
        
tup tuple(for s in bls if word in s)
        if 
tup:
            
with open(word '.txt'"w"encoding='utf-8') as fres:
                print(*
tupsep=''end=''file=fres)
    print(
"ok"
inkubus вне форума  
Старый 17.04.2013, 23:39   #7
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

for i in `cat keys.txt`; do grep $i baza.txt > $i.txt; done

__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser

Последний раз редактировалось chesser; 17.04.2013 в 23:45.
chesser вне форума  
Старый 17.04.2013, 23:47   #8
creator123
Senior Member
 
Аватар для creator123
 
Регистрация: 05.01.2008
Сообщений: 1,576
Бабло: $184010
По умолчанию

Offtopic
creator123 вне форума  
Старый 18.04.2013, 00:46   #9
masolit
Senior Member
 
Аватар для masolit
 
Регистрация: 18.08.2007
Сообщений: 1,105
Бабло: $195505
По умолчанию

Цитата:
Сообщение от inkubus Посмотреть сообщение
python
PHP код:
if __name__ == '__main__':
    
with open('baza.txt'encoding='utf-8') as fbl:
        
bls set(fbl)
    
with open('keys.txt'encoding='utf-8') as fw:
        
ws set(w.strip() for w in fw)
    for 
word in ws:
        
tup tuple(for s in bls if word in s)
        if 
tup:
            
with open(word '.txt'"w"encoding='utf-8') as fres:
                print(*
tupsep=''end=''file=fres)
    print(
"ok"
феерический пиздос, сильный быдлокод
masolit вне форума  
Старый 18.04.2013, 21:04   #10
Weil
Member
 
Регистрация: 30.06.2007
Сообщений: 83
Бабло: $31550
ТС -->
Отправить сообщение для Weil с помощью ICQ
автор темы ТС По умолчанию

PHP код:
<?php 
set_time_limit
(0); 

$f1 fopen("baza.txt""r"); 
$f2 fopen("keys.txt""r"); 
while (!
feof($f2)) { 
  
$key trim(fgets($f2)); 
  while (!
feof($f1)) { 
    
$w trim(fgets($f1)); 
    if(
stripos($w,$key) !== false){ 
      
file_put_contents ($key.'txt'$w.PHP_EOLFILE_APPEND LOCK_EX); 
    } 
  } 

fclose($f1); 
fclose($f2); 

echo 
'done';
?>
Не работает Делает выборку только по первому кею из keys.txt, называет файл key1txt вместо key1.txt и пишет done.
Weil вне форума  
Закрытая тема



Опции темы
Опции просмотра