асинхронные сокеты и форки

[qazxcvbnm]

подскажите плз пример скриптов для мультизапросов с использованием асинхронных сокетов и форков

можно самый простой вариант, дальше сам буду дорабатывать

[Dippa]

Обычно это взаимоисключающие подходы.. Оба достигают одного результата.
fork более требователен к процессору и памяти, асинхронные сокеты сложнее в программировании.

Для асинхронных сокетов кури хелп curl_multi
Вот пример: http://ru2.php.net/manual/en/functio...multi-exec.php

[mavook]

есть пиздатый класс multicurl.class.php
я попросил автора подделать его и он пиздато работает
800 запросов на 1 мбите со скачкой страниц при 25 потоков выполняет за 200 секунд.

// а тут мы обрабатываем полученные данные
class MyMultiCurl extends MultiCurl {
    protected function onLoad($url, $content, $info) {
echo $content; // контент
echo $url; // урл 
echo $info; // техническая информация хедеры и тд
}}


try {
    $mc = new MyMultiCurl();
    $mc->setMaxSessions(25); // limit 2 parallel sessions (by default 10)
foreach($allkeys as $val){
$val = trim($val);
$q = $val;
$postvars[CURL_REFERRER] = тут рефка к примеру массивом;
    $mc->addUrl("Запросим хуету тут с Http",$postvars);
$cc++;
if(($cc % 300) == 0) echo "<br>";
echo ".";
flush(); 
		}
//забиваем класс потоками всеми к примеру из файлика 800 запросов и ждем mc->wait
   $mc->wait();
}
catch (Exception $e) {
echo "Something wrong with $url, please check -> ".$e->getMessage();
}

[mavook]

у меня винда поетому не ахти - на линуксах думаю в разы быстрее на 10 мегабитах
секунд за 20-30 справиться 800 запросов

[qazxcvbnm]

Сообщение от Dippa

Обычно это взаимоисключающие подходы.. Оба достигают одного результата.


Для асинхронных сокетов кури хелп curl_multi
Вот пример: http://ru2.php.net/manual/en/functio...multi-exec.php

я имел ввиду два скрипта

мультикурл есть

причём тут кстати курл к сокетам ? курл это ж вроде как обвёртка для сокетов, я думал что асинхронные сокеты это как то отдельно от курла и более низкоуровнево, с точки зрения протоколов

[Dippa]

Сообщение от qazxcvbnm

причём тут кстати курл к сокетам ? курл это ж вроде как обвёртка для сокетов, я думал что асинхронные сокеты это как то отдельно от курла и более низкоуровнево, с точки зрения протоколов

К асинхронным сокетам асинхронная обвёртка curl_multi)

Низкоуровнево сейчас сам уже никто не пишет, кроме хацкеров канешна

[qazxcvbnm]

мда, крутой ты програмер

[zlaya ssuka]

Сообщение от Dippa

К асинхронным сокетам асинхронная обвёртка curl_multi)

Низкоуровнево сейчас сам уже никто не пишет, кроме хацкеров канешна

В свое время руками писал на асинхронных под пхп без курла, выгода одна - по памяти эффективнее. можешь сокеты читать, какие готовы, и на ходу распарсивать. а курла когда натыкается на чей-нибудь хани-пот, в котором 5 мб ссылок на порно и фентермин, начинает тупить и задрючивать память сильно.

намного проще параллельная работа со скачкой веба реализуется на яве, извините за постоянный пиар, есть готовые классы и паттерны, которые хоть в один поток, хоть в 1000 работают.

[Hector]

форки

PHP код:

<?php

// простой пример без заморочек

$sites = array("http://google.com", "http://google.ru", "http://google.es", "http://google.it", "http://google.com.ua", "http://google.de", "http://google.ch", "http://google.com.ua", "http://yahoo.com", "http://msn.com", "http://digg.com", "http://mixx.com", "http://twitter.com" );

$i = 0;

foreach ($sites as $domain) {
  $pid=pcntl_fork();
  if ($pid) {
    $ar = file_get_contents($domain);
    echo "Site $domain: ".$ar."\r\n\r\n";
    $handle = fopen("files/$i.tmp", "w");
    fwrite($handle, $ar);
    break;
  }
  $i = $i + 1;
}


?>

[mavook]

мультикурл класс довел руками сам не хуяя на ханипоты не рвется можно указать скачал 128 кбайт и рви связь