Парсер подсказок Гугла

[buratin0]

Пробывал Словодёр, но он некорректно работает с немецкими умлаутами ü,ö,ä,ß, выдаёт ошибку получения данных.

Вот это тоже не катит, т.к. заточен под hl=en, а мне нужно под hl=de

Может, подскажет кто что-нибудь путёвое?

[incognito]

PHP код:

<?php 
########################################
## собираем подсказки гугла
##
########################################
set_time_limit(300);
$lang = 'de';            //язык запросов.
$file = file("keywords.txt");

$context = stream_context_create(
array('http'=>array('header' => "User-Agent: Mozilla/4.0 (Windows 98; US) Opera 10.00\r\n"
                    ."Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n"
                    ."Connection: Close\r\n\r\n")));

foreach ($file as $keyword) {
    $keyword = trim($keyword);
    $keyword = urlencode($keyword);
    $url2google = 'http://www.google.com/complete/search?hl='.$lang.'&js=true&qu='.$keyword;
    $key_adds = array('+1','+2','+3','+4','+5','+6','+7','+8','+9','+0',
                '+a','+b','+c','+d','+e','+f','+g','+h','+i','+j','+k',
                '+l','+m','+n','+o','+p','+q','+r','+s','+t','+u','+v',
                '+w','+x','+y','+z');
    $sugg_data = file_get_contents($url2google, false, $context);
    foreach ($key_adds as $value){
        $sugg_data .= file_get_contents($url2google.$value, false, $context);
    }
    preg_match_all('/\[\[.*?\]\]/',$sugg_data,$sugg_tmp);
    $sugg_tmp2 = implode(' ',$sugg_tmp[0]);
    preg_match_all('/\["(.*?)",/',$sugg_tmp2,$sugg_fin);
    
    $output = implode("\r\n",$sugg_fin[1])."\r\n";
    //$output = iconv("ISO-8859-1","UTF-8",$output);
    file_put_contents("result.txt", $output, FILE_APPEND);
}
?>

вот так вроде будет не зависить от языка и все будет в утф-8.
пс каждому языку свои буковки!

[digg]

еще бы сразу по иснайту проверял каждый кей, есть ли по нему траф?

[0xJah]

Интересует откуда взяли урл http://www.google.com/complete/searc.....&js=true&qu=...
Смотрю код страницы гугла и не вижу даже намёка на эту страницу
Просто хотел бы под яндекс написать такой парсер, но там не могу найти место откуда парсить подсказки или же там нужно писать парсер с интерпритацией JS кода?

[matroskin]

Сообщение от 0xJah

Интересует откуда взяли урл http://www.google.com/complete/searc.....&js=true&qu=...
Смотрю код страницы гугла и не вижу даже намёка на эту страницу
Просто хотел бы под яндекс написать такой парсер, но там не могу найти место откуда парсить подсказки или же там нужно писать парсер с интерпритацией JS кода?

Ты не на код смотри, а на то, какие запросы делаются и ответы получаются. Например, через Fiddler.

[0xJah]

Сообщение от matroskin

Ты не на код смотри, а на то, какие запросы делаются и ответы получаются. Например, через Fiddler.

От души!

[incognito]

FF + "Tamper Data" = URL

PHP код:

http://suggest.yandex.ru/suggest-ya.cgi?v=3&callback=jsonp1302964618777&part=%D0%BA%D0%B5%D0%BA%D1%81&lr=213&yu=626880081302964777 


[0xJah]

Сообщение от incognito

FF + "Tamper Data" = URL

PHP код:

http://suggest.yandex.ru/suggest-ya.cgi?v=3&callback=jsonp1302964618777&part=%D0%BA%D0%B5%D0%BA%D1%81&lr=213&yu=626880081302964777 


Мда, я уже нашел...

[buratin0]

Скрипт замечательный, но.. банится по ip, устаёшь перезагружать рутер

Можно как-нибудь замедлить скорость перебора?

[imgreen]

Сообщение от buratin0

Скрипт замечательный, но.. банится по ip, устаёшь перезагружать рутер

Можно как-нибудь замедлить скорость перебора?

PHP код:

<?php 
########################################
## собираем подсказки гугла
##
########################################
set_time_limit(300);
$lang = 'de';            //язык запросов.
$sleep_time = 5; // время ожидания между запросами, сек
$file = file("keywords.txt");

$context = stream_context_create(
array('http'=>array('header' => "User-Agent: Mozilla/4.0 (Windows 98; US) Opera 10.00\r\n"
                    ."Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n"
                    ."Connection: Close\r\n\r\n")));

foreach ($file as $keyword) {
    $keyword = trim($keyword);
    $keyword = urlencode($keyword);
    $url2google = 'http://www.google.com/complete/search?hl='.$lang.'&js=true&qu='.$keyword;
    $key_adds = array('+1','+2','+3','+4','+5','+6','+7','+8','+9','+0',
                '+a','+b','+c','+d','+e','+f','+g','+h','+i','+j','+k',
                '+l','+m','+n','+o','+p','+q','+r','+s','+t','+u','+v',
                '+w','+x','+y','+z');
    $sugg_data = file_get_contents($url2google, false, $context);
    foreach ($key_adds as $value){
        $sugg_data .= file_get_contents($url2google.$value, false, $context);
    }
    preg_match_all('/\[\[.*?\]\]/',$sugg_data,$sugg_tmp);
    $sugg_tmp2 = implode(' ',$sugg_tmp[0]);
    preg_match_all('/\["(.*?)",/',$sugg_tmp2,$sugg_fin);
    
    $output = implode("\r\n",$sugg_fin[1])."\r\n";
    //$output = iconv("ISO-8859-1","UTF-8",$output);
    file_put_contents("result.txt", $output, FILE_APPEND);
    sleep($sleep_time);
}
?>

[buratin0]

imgreen, респект! Полчаса уже парсит, пока бана нет