PHP - случайная строка из большого файла (500мб)

[Ower]

Использовать для файла в 500мб и 15кк строками функции file() и file_get_contents() - верх извращения.

Нужно какое то другое решение. Уже естественно нагуглил несколько, но у меня во всех случаях выдается пустая строка. В общем вот сорц

PHP код:

$h = fopen("text.txt",'r');
$counter = 0;

while (!feof($h)) {
    fgets($h);
    $counter++;
}
rewind($h);

$line = rand(0, $counter);

$counter = 0;
while (!feof($h)) {
    if ($counter == $line) {echo fgets($h);}
    $counter++;
}
fclose($h); 


Сперва формируется кол-во строк, далее делаем случайные выборки. Суть в том, что у меня переменная $counter не считается, ну т.е. не увеличивается. Почему - я так и не понял. Попробовал заменить в файле \n на \r\n, не помогло. Попробовал еще несколько аналогичных вариантов, все равно не работает. Хелп

[Ower]

Сообщение от t0os

А эту задачу точно нельзя решить ни на чем, кроме PHP?

я не кодер, кроме php ничего не знаю

[chesser]

Сообщение от t0os

А эту задачу точно нельзя решить ни на чем, кроме PHP?

а на чем ее решать лучше?
тут вроде и так все элементарно, где php будет лажать?

на баше возможно быстрее выйдет, он как-то поближе к системным ресурсам:

[user@server ~]$ cat file.txt | sort -R

[sergeospb]

Сообщение от Ower

Оптимизация штука конечно полезная, но я не привык таким заниматься - работает и ладно))
Правда сейчас вот немного оптимизировал процесс выборок - Во первых разбил исходный файл на 1000 более мелких файлов, а во вторых сделаю из каждого файла по 10 выборок (Т.е. циклов перебора файлов теперь в 10 раз меньше, потому что в них еще есть 10 под-циклов).
Короче сделал то, что и хотел - быстрые выборки
Выдает - int(22)

гм. а в файле говоришь сколько строк на самом деле?

[Ower]

Сообщение от sergeospb

гм. а в файле говоришь сколько строк на самом деле?

15кк примерно

[BOOLEAN]

//Что то типо такого)

PHP код:

//Функция чтения нужного количества строк из файла
//Тип резалта аррай или строка 0 строка, 1 аррай
function get_file_lines($filename, $count_line, $rezdel="", $type=0)
{
    if($count_line == 0) return false;
    $h = fopen($filename, "rb");

//Количество строк
    while (!feof($h)) { 
         fgets($h); 
         $counter++; 
    } 
    
    rewind($h);
//рандомная строка
    $line = mt_rand(0, $counter-$count_line); 

    
        while(!feof($h) && $line--) {
        fgets($h);
       }
//нужное количество
        while(!feof($h)){
             $fbuffer[] = fgets($h);
             $count_line--;
             if($count_line == 0) break;
             }
        fclose($h);

//тип    
        if($type)
        {
            return $fbuffer;
        }
$out_str = implode($rezdel, $fbuffer);
return $out_str;
} 


[digg]

в коде
while (!feof($h)) {
if ($counter == $line) {echo fgets($h);}
$counter++;
}
эта хрень не переходит без fgets по строкам
fgets нужно каждый раз делать

[vilnus]

На самом деле все просто:

PHP код:

$file = 'file.txt';
$fp = fopen($file,'r');
fseek($fp,rand(0,filesize($file)));
fgets($fp);
if(feof($fp)) fseek($fp,0);
$str = fgets($fp) 


Комментарии:

Открываем файл, переходим на произвольное место в нем.
Скорее всего это место окажется где-нибудь в середине строки.
Вряд ли нам так повезет, что мы сразу попадем куда надо.
Поэтому дальше мы через fgets() читаем оставшийся кусок до \n, а потом уже читаем строку.
Это и будет случайная строка файла.

[GoodLife]

vilnus
совершенный код

кроме точки с запятой в конце

[digg]

бля, точно fseek
но, помню у меня были в свое время какие-то заморочки давным давно с ним
не помню какие точно, но помню ебался прилично

[Drg]

Сообщение от vilnus

На самом деле все просто:

PHP код:

$file = 'file.txt';
$fp = fopen($file,'r');
fseek($fp,rand(0,filesize($file)));
fgets($fp);
if(feof($fp)) fseek($fp,0);
$str = fgets($fp) 


Комментарии:

Открываем файл, переходим на произвольное место в нем.
Скорее всего это место окажется где-нибудь в середине строки.
Вряд ли нам так повезет, что мы сразу попадем куда надо.
Поэтому дальше мы через fgets() читаем оставшийся кусок до \n, а потом уже читаем строку.
Это и будет случайная строка файла.

Эх) как раз что-то подобное и использовал одно время) fseek реально помогает, но все равно тормоза, да и винт жалко, постоянно насилуется.
Потом я придумал решение сделать из 500 мг, например 10 гиг, способом описанным выше, а уже эти 10 гиг разбить на кучу маленьких файлов и обращаться за раз только к одному, как раз тогда степень случайности повышается)