Цитата:
Сообщение от warovik
а случаем не осталось примера ?
|
Думаю, на форуме программы по этим вопросам смогут помочь
А, вообще, это делается стандартным хттп-модулем, результаты сливаются в файл в формате base64, откуда скриптиком в 3 строчки он парсится в любой формат.
Сделал
Модуль:
Код:
<http_dl module_name="HTTP-DL" enabled="1" check_interval="0" retries="10" use_proxies="0" results_mode="2" download_size="999999" parse_url="1">
<request>
<server address="%HOST%" port="%PORT%"/>
<headers><![CDATA[GET %OBJECT% HTTP/1.1
Host: %HOST%
User-Agent: #$m$UA$m$#
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip, deflate
Connection: close
]]></headers>
<checks>
<check result="good" type="*"/>
</checks>
</request>
</http_dl>
Парсер:
Код:
<?php
$f = fopen("results.csv", "r");
$c = 0;
while (!feof($f))
{
list($domain, $error, $http) = explode(";", fgets($f), 3);
file_put_contents(sprintf("%09d.html", $c++), base64_decode($http));
}
fclose($f);
?>