MultiCurl - сука

[Hector]

MultiCurl - сука забивает всю память и не освобождает ее. Как решить? У меня 700 сайтов которые нужно сграбить потоками. Так вот после 40 он вешается.

[azaza]

во что нашел:

По моему опыту, у multiCURL появляются тормоза, если запрашивать одновременно более 100 урлов, но это можно учитывать и делить массив запросов на пакеты.


Но тут есть еще организационный ньюанс. При многих одновременных запросах можно дозапрашиваться до блокировки ИП.

[Hector]

я поделил, по 10 урлов ну и 10 потоков... просто что тут не тормоза а тупо СТОП, я не думаю что блокировка айпи вызовет остановку скрипта )