Выдрать все кеи из liveinternet

[mamba]

Здрасте. Есть ли какой софт\скрипты выдрать все кеи из liveinternet? Буду благодарен

[vertmoner]

Сообщение от Popobawa

А за весь период можно как-нибудь?

за весь период там не будет нормально в любом случае. У ли.ру только последний месяц статистики подробно хорошо отражается, а чем дальше от текущего месяца смотришь, тем меньше ключевых слов, причем на порядок

[mamba]

спасибо, но хероного, что тока за последний месяц=((

[Exelenz]

Стесняюсь спросить - если ресы свои, то почему не использовать свой же httpd_log ? Зачем эти сложности? С паблик счетчиков принято парсить чужие кеи.

[krob]

PHP код:

<?php
    set_time_limit(0);
    ini_set('max_execution_time',0);
    ini_set('set_time_limit',0);
    function curlget($url, $ref, $cookie) {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_REFERER, $ref);
        curl_setopt($ch, CURLOPT_POST, 0);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
        curl_setopt($ch, CURLOPT_MAXREDIRS, 5);
        curl_setopt($ch, CURLOPT_TIMEOUT, 60);
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.10) Gecko/20100504 Firefox/3.5.10 (.NET CLR 3.5.30729)");
        curl_setopt($ch, CURLOPT_HEADER, 1);
        curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
        curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
        $result = curl_exec($ch);
        curl_close($ch);
    return $result;
    }
      function curlpost($url, $ref, $postinfo, $cookie) {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_REFERER, $ref);
        curl_setopt($ch, CURLOPT_POST, 1);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ch, CURLOPT_MAXREDIRS, 5);
        curl_setopt($ch, CURLOPT_TIMEOUT, 60);
        curl_setopt($ch, CURLOPT_POSTFIELDS, $postinfo);
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.10) Gecko/20100504 Firefox/3.5.10 (.NET CLR 3.5.30729)");
        curl_setopt($ch, CURLOPT_HEADER, 1);
        curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
        curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
        $result = curl_exec($ch);
        curl_close($ch);
    return $result;
    } 

#Config
$li_name = 'li_name';
$li_pass = 'li_pass';
$cf = getcwd().'/li_cook.txt';
$result_file = getcwd().'/li.ru.'.$li_name.'.txt';
#
$page_tmp = curlget('http://www.liveinternet.ru/stat/', 'http://www.liveinternet.ru/stat/', $cf);
preg_match('#<input[^>]*name=rnd\svalue="([^"]+)"#is', $page_tmp, $rnd);
$login_data = 'rnd='.$rnd[0].'&url='.$li_name.'&password='.$li_pass.'&keep_password=on&ok=+OK+';
curlpost('http://www.liveinternet.ru/stat/', 'http://www.liveinternet.ru/stat/', $login_data, $cf);
$page_count = curlget('http://www.liveinternet.ru/stat/'.$li_name.'/queries.html?period=month&per_page=100&ok=+OK+', 'http://www.liveinternet.ru/stat/', $cf);
preg_match_all('#(?<=queries.html\?period=month;page=)[\d]*#ms', $page_count, $result);
$last = $result[0][count($result[0])-2];

for($i=1; $i<=$last; $i++) {
$dump = '';
$keyz = '';
$dump = curlget('http://www.liveinternet.ru/stat/'.$li_name.'/queries.html?period=month;page='.$i, 'http://www.liveinternet.ru/stat/'.$li_name.'/queries.html', $cf);
preg_match_all('#(?<=>).*(?=</a></label>)#', $dump, $keyz);
foreach($keyz[0] as $k){
       file_put_contents($result_file, $k."\n", FILE_APPEND);
                           }
}
unlink($cf);
?>

[mamba]

Сообщение от Exelenz

Стесняюсь спросить - если ресы свои, то почему не использовать свой же httpd_log ? Зачем эти сложности? С паблик счетчиков принято парсить чужие кеи.

хм, а где в httpd_log реферер? у меня на серврере каждый день он обновляется.

[mamba]

krob, он тоже тока первый месяц парсит?

[sergeospb]

Сообщение от mamba

krob, он тоже тока первый месяц парсит?

Логи тоже долго не хранятся, обычно максимум месяц. Если стоит isp manager - вроде 10 дней по дефолту

[turbo]

Сообщение от mamba

krob, он тоже тока первый месяц парсит?

Юзаю этот, парсит все месяцы
http://develstore.ru/liparser-parser...nternetru.html