Список урлов. Чем забрать тайтлы - Форум успешных вебмастеров

iloveadult · 31.10.2011, 21:19

Сабж, нужно пройтись по списку урлов и собрать тайтлы каждого урл

~~Sanchez~~ · 31.10.2011, 21:41

много урлов?
стучи если чего

NTллигент · 31.10.2011, 21:57

PHP код:


			
<?
    set_time_limit(0);
    ini_set('memory_limit', '512M');
    ini_set('default_socket_timeout', 15);

    function page_title($url) {
        $fp = file_get_contents($url);
        if (!$fp) 
            return null;
        $res = preg_match("/<title>(.*)<\/title>/siU", $fp, $title_matches);
        if (!$res) 
            return null; 
        $title = preg_replace('/\s+/', ' ', $title_matches[1]);
        $title = trim($title);
        return $title;
    }

    function fac($name,$data)
    {
        $fp=fopen($name,'a');
        fputs($fp,$data);
        fclose($fp);
    }
    
    $data = file('allSUTRArefs.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
    shuffle($data);
    foreach($data as $d)
    {    
        $title = page_title($d);
        echo $title."<br>";
        flush();
        fac('urlTitles.txt', "$d;$title\r\n");
    }
    
?>

на коленке накатал, самому как раз понадобилось собрать тайтлы с доров
или чекпарамсом можно собрать, элементарный конфиг сделав

holms · 31.10.2011, 22:43

_http://www.sendspace.com/file/o8k676 прога под вин.

Ower · 31.10.2011, 22:59

content downloader не сможет по списку проходиться?

Subudayj · 01.11.2011, 00:43

CheckParams, конфиг легко можно сделать для этой задачи.

mlu · 01.11.2011, 01:02

Для CheckParams

В отличие от вышеобозначенного скриптика на пхп умеет кодировки разные.

Код:

			<html_title module_name="HTML Title" enabled="1" check_interval="0" retries="1" use_proxies="0" results_mode="2" download_size="9999999">
				<script_engine enabled="1" name="_internal" language="JScript"><![CDATA[
function OnAfterRequestTitle(req)
{
	req.DecodeToUnicode = "auto";
	req.Results = "0;;";
	var re = /<title>(.*?)<\/title>/im;
	var match;
	if (match = re.exec(req.AnswerData))
	{
		var title = match[1];
		while (title.indexOf("\r") != -1) title = title.replace("\r", "\\r");
		while (title.indexOf("\n") != -1) title = title.replace("\n", "\\n");
		req.Results = "0;" + title + ";";
	}
	return 1;
}
]]></script_engine>
				<request onAfterRequest="_internal:OnAfterRequestTitle">
					<server address="%HOST%" port="%PORT%"/>
					<headers><![CDATA[GET #$r$UrlObject$r$# HTTP/1.1
Host: #$r$UrlServer$r$#
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept: */*
Accept-Encoding: deflate, gzip
Connection: close

]]></headers>
				</request>
			</html_title>

Strikelol · 01.11.2011, 01:15

Content downloader

xealey · 01.11.2011, 01:19

mirikas · 01.11.2011, 01:30

Цитата:

Сообщение от xealey

он по дефолту