selenium

[lorien]

Парни, кто-нить юзает массово сей софт? Интересует насколько сильно он у вас сервер грузит. Cколько максимум удавалось на сервере запустить, какой конфиг сервера был?

[res1dent]

лучше напиши свой на основе вебкита
селениум не айс

[Nou]

Сообщение от lorien

Парни, кто-нить юзает массово сей софт? Интересует насколько сильно он у вас сервер грузит. Cколько максимум удавалось на сервере запустить, какой конфиг сервера был?

Селениум сложно полноценно заюзать, у него есть баги с использованием проксей и в 300 потоков его хрен запустишь.

[lorien]

А что за баги с проксями? У меня через соксы работет (webdriver + irefox). Почему в 300 потоков хрен запустишь? В чём узкое место?

[lorien]

А кому-нить удавалось как-то убыстрить selenium? Даже не знаю, как можно убыстрить его, если, например, он юзается именно для эмуляции настоящего браузера, включая javascript и плагины. Может быть даже на уровне настройки Xvfb или через что вы там пускаете селениум на сервере.

[res1dent]

Вебкит блять ) там мона все эмулить не запуская браузер (до конца не спалю - рой сам)
если ты уперся в открывание браузера - забудь про скорость и готовься к адовому потреблению ресов

[Nou]

Сообщение от lorien

А что за баги с проксями? У меня через соксы работет (webdriver + irefox). Почему в 300 потоков хрен запустишь? В чём узкое место?

Там были проблемы с ожиданием загрузки страниц через прокси. Но может пофиксили уже, я давно его юзал. Узкое место в потреблении ресурсов, как заметили выше.

И + у меня он периодически не корректно завершал инстансы, оставляя открытыми кучу фф окон.

[sergeospb]

Сообщение от res1dent

Вебкит блять ) там мона все эмулить не запуская браузер (до конца не спалю - рой сам)
если ты уперся в открывание браузера - забудь про скорость и готовься к адовому потреблению ресов

Да было бы чо палить

[lorien]

> И + у меня он периодически не корректно завершал инстансы, оставляя открытыми кучу фф окон.

Ну это да. Я в крон прописал отстрел старых процессов

*/30 * * * * find /proc -maxdepth 1 -type d -mmin +30 -user web | xargs -n1 basename | egrep '^[0-9]*$' | xargs -n1 ps -p | grep -v TTY | grep firefox | awk '{print $1}' | xargs -n1 kill > /web/log/kill_firefox.log 2>&1
*/30 * * * * find /proc -maxdepth 1 -type d -mmin +30 -user web | xargs -n1 basename | egrep '^[0-9]*$' | xargs -n1 ps -p | grep -v TTY | grep plugin-cont | awk '{print $1}' | xargs -n1 kill > /web/log/kill_plugin_container.log 2>&1

[Nou]

Сообщение от sergeospb

Да было бы чо палить

палите