Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB63.9114
BTC/USD755.6300
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии

Закрытая тема
Опции темы Опции просмотра
Старый 21.08.2012, 13:50   #1
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 796
Бабло: $157695
Отправить сообщение для lorien с помощью Skype™
По умолчанию selenium

Парни, кто-нить юзает массово сей софт? Интересует насколько сильно он у вас сервер грузит. Cколько максимум удавалось на сервере запустить, какой конфиг сервера был?
__________________
skype чатик | proxyprice.io - агрегатор прокси предложений
lorien вне форума  
Старый 21.08.2012, 14:11   #2
res1dent
Лютый Эникейщик
 
Аватар для res1dent
 
Регистрация: 21.08.2009
Сообщений: 1,462
Бабло: $233730
По умолчанию

лучше напиши свой на основе вебкита
селениум не айс
res1dent вне форума  
Старый 21.08.2012, 14:38   #3
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,074
Бабло: $134959
По умолчанию

Цитата:
Сообщение от lorien Посмотреть сообщение
Парни, кто-нить юзает массово сей софт? Интересует насколько сильно он у вас сервер грузит. Cколько максимум удавалось на сервере запустить, какой конфиг сервера был?
Селениум сложно полноценно заюзать, у него есть баги с использованием проксей и в 300 потоков его хрен запустишь.
Nou вне форума  
Старый 21.08.2012, 21:46   #4
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 796
Бабло: $157695
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

А что за баги с проксями? У меня через соксы работет (webdriver + irefox). Почему в 300 потоков хрен запустишь? В чём узкое место?
__________________
skype чатик | proxyprice.io - агрегатор прокси предложений
lorien вне форума  
Старый 21.08.2012, 22:26   #5
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 796
Бабло: $157695
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

А кому-нить удавалось как-то убыстрить selenium? Даже не знаю, как можно убыстрить его, если, например, он юзается именно для эмуляции настоящего браузера, включая javascript и плагины. Может быть даже на уровне настройки Xvfb или через что вы там пускаете селениум на сервере.
__________________
skype чатик | proxyprice.io - агрегатор прокси предложений
lorien вне форума  
Старый 21.08.2012, 22:30   #6
res1dent
Лютый Эникейщик
 
Аватар для res1dent
 
Регистрация: 21.08.2009
Сообщений: 1,462
Бабло: $233730
По умолчанию

Вебкит блять ) там мона все эмулить не запуская браузер (до конца не спалю - рой сам)
если ты уперся в открывание браузера - забудь про скорость и готовься к адовому потреблению ресов
res1dent вне форума  
Старый 21.08.2012, 22:54   #7
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,074
Бабло: $134959
По умолчанию

Цитата:
Сообщение от lorien Посмотреть сообщение
А что за баги с проксями? У меня через соксы работет (webdriver + irefox). Почему в 300 потоков хрен запустишь? В чём узкое место?
Там были проблемы с ожиданием загрузки страниц через прокси. Но может пофиксили уже, я давно его юзал. Узкое место в потреблении ресурсов, как заметили выше.

И + у меня он периодически не корректно завершал инстансы, оставляя открытыми кучу фф окон.
Nou вне форума  
Старый 21.08.2012, 23:07   #8
sergeospb
коплю на феррари
 
Регистрация: 03.07.2008
Сообщений: 1,260
Бабло: $147925
По умолчанию

Цитата:
Сообщение от res1dent Посмотреть сообщение
Вебкит блять ) там мона все эмулить не запуская браузер (до конца не спалю - рой сам)
если ты уперся в открывание браузера - забудь про скорость и готовься к адовому потреблению ресов
Да было бы чо палить
sergeospb на форуме  
Старый 21.08.2012, 23:29   #9
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 796
Бабло: $157695
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

> И + у меня он периодически не корректно завершал инстансы, оставляя открытыми кучу фф окон.

Ну это да. Я в крон прописал отстрел старых процессов

*/30 * * * * find /proc -maxdepth 1 -type d -mmin +30 -user web | xargs -n1 basename | egrep '^[0-9]*$' | xargs -n1 ps -p | grep -v TTY | grep firefox | awk '{print $1}' | xargs -n1 kill > /web/log/kill_firefox.log 2>&1
*/30 * * * * find /proc -maxdepth 1 -type d -mmin +30 -user web | xargs -n1 basename | egrep '^[0-9]*$' | xargs -n1 ps -p | grep -v TTY | grep plugin-cont | awk '{print $1}' | xargs -n1 kill > /web/log/kill_plugin_container.log 2>&1
__________________
skype чатик | proxyprice.io - агрегатор прокси предложений
lorien вне форума  
Старый 22.08.2012, 01:12   #10
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,074
Бабло: $134959
По умолчанию

Цитата:
Сообщение от sergeospb Посмотреть сообщение
Да было бы чо палить
палите
Nou вне форума