Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8530
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 31.10.2011, 21:19   #1
iloveadult
Senior
 
Аватар для iloveadult
 
Регистрация: 24.09.2008
Сообщений: 2,727
Бабло: $519695
По умолчанию Список урлов. Чем забрать тайтлы

Сабж, нужно пройтись по списку урлов и собрать тайтлы каждого урл
__________________
Top Links - качественные ссылки для Ваших сайтов
[UA] Моментальный вывод WM и других валют с лучшим курсом 24/7!
iloveadult вне форума  
Старый 31.10.2011, 21:41   #2
Sanchez
Ебланнед
 
Регистрация: 09.10.2011
Адрес: Villa 31
Сообщений: 495
Бабло: $141290
По умолчанию

много урлов?
стучи если чего
__________________
http://www.gofuckbiz.com/rules.html - Запрещено оскорбление участников форума: не нужно переходить на личности в негативном контексте во время обсуждения той или иной темы.
Sanchez вне форума  
Старый 31.10.2011, 21:57   #3
NTллигент
Senior Member
 
Аватар для NTллигент
 
Регистрация: 23.04.2007
Адрес: Leopolis
Сообщений: 363
Бабло: $71360
По умолчанию

PHP код:
<?
    set_time_limit
(0);
    
ini_set('memory_limit''512M');
    
ini_set('default_socket_timeout'15);

    function 
page_title($url) {
        
$fp file_get_contents($url);
        if (!
$fp
            return 
null;
        
$res preg_match("/<title>(.*)<\/title>/siU"$fp$title_matches);
        if (!
$res
            return 
null
        
$title preg_replace('/\s+/'' '$title_matches[1]);
        
$title trim($title);
        return 
$title;
    }

    function 
fac($name,$data)
    {
        
$fp=fopen($name,'a');
        
fputs($fp,$data);
        
fclose($fp);
    }
    
    
$data file('allSUTRArefs.txt'FILE_IGNORE_NEW_LINES FILE_SKIP_EMPTY_LINES);
    
shuffle($data);
    foreach(
$data as $d)
    {    
        
$title page_title($d);
        echo 
$title."<br>";
        
flush();
        
fac('urlTitles.txt'"$d;$title\r\n");
    }
    
?>
на коленке накатал, самому как раз понадобилось собрать тайтлы с доров
или чекпарамсом можно собрать, элементарный конфиг сделав
NTллигент вне форума  
Старый 31.10.2011, 22:43   #4
holms
Senior Member
 
Аватар для holms
 
Регистрация: 06.04.2007
Сообщений: 1,510
Бабло: $119955
По умолчанию

_http://www.sendspace.com/file/o8k676 прога под вин.
holms вне форума  
Старый 31.10.2011, 22:59   #5
Ower
ё
 
Аватар для Ower
 
Регистрация: 26.10.2011
Сообщений: 1,490
Бабло: $300250
По умолчанию

content downloader не сможет по списку проходиться?
Ower вне форума  
Старый 01.11.2011, 00:43   #6
Subudayj
Member
 
Регистрация: 25.05.2011
Сообщений: 58
Бабло: $10870
По умолчанию

CheckParams, конфиг легко можно сделать для этой задачи.
Subudayj вне форума  
Старый 01.11.2011, 01:02   #7
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
Отправить сообщение для mlu с помощью ICQ
По умолчанию

Для CheckParams В отличие от вышеобозначенного скриптика на пхп умеет кодировки разные.

Код:
			<html_title module_name="HTML Title" enabled="1" check_interval="0" retries="1" use_proxies="0" results_mode="2" download_size="9999999">
				<script_engine enabled="1" name="_internal" language="JScript"><![CDATA[
function OnAfterRequestTitle(req)
{
	req.DecodeToUnicode = "auto";
	req.Results = "0;;";
	var re = /<title>(.*?)<\/title>/im;
	var match;
	if (match = re.exec(req.AnswerData))
	{
		var title = match[1];
		while (title.indexOf("\r") != -1) title = title.replace("\r", "\\r");
		while (title.indexOf("\n") != -1) title = title.replace("\n", "\\n");
		req.Results = "0;" + title + ";";
	}
	return 1;
}
]]></script_engine>
				<request onAfterRequest="_internal:OnAfterRequestTitle">
					<server address="%HOST%" port="%PORT%"/>
					<headers><![CDATA[GET #$r$UrlObject$r$# HTTP/1.1
Host: #$r$UrlServer$r$#
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept: */*
Accept-Encoding: deflate, gzip
Connection: close

]]></headers>
				</request>
			</html_title>

Последний раз редактировалось mlu; 01.11.2011 в 01:13.
mlu вне форума  
Старый 01.11.2011, 01:15   #8
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

Content downloader
Strikelol вне форума  
Старый 01.11.2011, 01:19   #9
xealey
Senior Member
 
Аватар для xealey
 
Регистрация: 04.09.2007
Сообщений: 1,271
Бабло: $253980
По умолчанию

Offtopic
xealey вне форума  
Старый 01.11.2011, 01:30   #10
mirikas
Senior Member
 
Аватар для mirikas
 
Регистрация: 25.12.2008
Сообщений: 1,099
Бабло: $272735
По умолчанию

Цитата:
Сообщение от xealey Посмотреть сообщение
Offtopic
он по дефолту
mirikas вне форума  
Закрытая тема



Опции темы
Опции просмотра