Проблема с парсером.

[Paker]

Парсер работает очень странно. То быстро забирает инфу, то медленно. Парсит avto.ru.

Вот так работает парсер:
1. Считываю из файла прокси. - покупные проксы
2. Далее через сокеты подключаюсь к сайту (avto.ru) и смотрю код ответа, если 200, то иду дальше
3. Через курлы получаю контент сайта
4. далее максимум 2мя регулярками выбираю данные
Все

Это описание скрипта, который выполняет один заход.
Чтобы ускорить работу я использую многопоточность, т.е. несколько потоков обращаются к этому файлу. Скрипт многопоточности взял отсюда _ttp://www.pyha.ru/articles/php/emul...ultithreading/

Связь - пишите в личку. Либо отпишитесь в теме.


Готов взять платную помощь.

Заранее, спасибо.

[azgard]

Попробуй без проксей, возможно причина именно в них.

[PCoder]

1) попробуй без проксей (только сразу ограничь скрипт, чтоб тебя не забанили разом)
2) многопоточность правильно организуется вот так:

$num_procs = 0;
$numTheards = 5;
$volnKoef = 1;

foreach ($list as $key => $entry){
	$pid = pcntl_fork();

	if ($pid == -1)
	{
		die('could not fork');
	}
	elseif ($pid)
	{
		$num_procs++;

		if ($num_procs > $numTheards) while ($num_procs >= $numTheards*$volnKoef)
		{
			//echo MASTER waiting for childs...
			pcntl_wait($status);
			$num_procs--;
		}
	}
	else
	{
		//child, do somthing (grab info)
		exit; //!!!!!! ИНАЧЕ ПОТОКИ УБЬЮТ СЕРВЕР
	}
}

[AlexWM]

Скинь аську в ПМ, у кого прокси берешь, надо очень..

[Paker]

Спс. Беда была в многопоточности... + проксы надо было чаще обновлять.

[Paker]

AlexWM, извини если нафлудил в ПМ. Тут не сохраняется по дефолту, сообщение в папке ( когда отправляешь, что сообщение переходит в папку отправленные).

[AlexWM]

Сообщение от Paker

AlexWM, извини если нафлудил в ПМ. Тут не сохраняется по дефолту, сообщение в папке ( когда отправляешь, что сообщение переходит в папку отправленные).

Все оки.. Спасибо еще раз..