Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7570
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 12.02.2011, 01:29   #1
freeman
фетишист
 
Аватар для freeman
 
Регистрация: 28.12.2009
Сообщений: 148
Бабло: $25610
По умолчанию Python. Эмулятор браузера с выполнением Javascript/Ajax

Знаю, что боян, так как линк на эту либу уже где-то проскакивал на гоуфаке. Но уверен, что кто-то до сих пор ищет такой солюшн. Данное решение юзаю уже достаточно давно, либу брал тут.

В качестве движка используется WebKit. Собственно, что умеет:

- рендеринг html5 + css3
- выполнение Javascript/Ajax
- селекция с помощью jQuery
- поддержка куков
- смена юзерагента
- может работать через proxy/socks5
- умеет делать снэпшоты
- полный доступ к DOM

Может работать на линуксе без иксов, через фрейм-буфер. Либа не идеальна, есть пару мелких косяков.
Вложения
Тип файла: zip spynner.zip (52.7 Кб, 75 просмотров)
freeman вне форума  
Старый 12.02.2011, 04:52   #2
kaufman
да, я за мир
 
Аватар для kaufman
 
Регистрация: 30.11.2010
Сообщений: 948
Бабло: $156900
По умолчанию

Спасибо, интересно.

В чем заключаются косяки, если не секрет?
__________________
Криптор/обфускатор для JS скриптов
* привязка к домену * установка времени жизни скрипта * открытый код обфускатора
kaufman вне форума  
Старый 12.02.2011, 13:57   #3
medar
кодер-энтузиаст
 
Аватар для medar
 
Регистрация: 04.04.2007
Адрес: Джамайка
Сообщений: 3,403
Бабло: $447120
По умолчанию

Спасибо.

Аналогичная (не пробовал, но по описанию то же) либа для ruby: http://watir.com/
medar вне форума  
Старый 12.02.2011, 17:18   #4
KYO
blackseo
 
Аватар для KYO
 
Регистрация: 04.04.2007
Адрес: StandAlone
Сообщений: 1,060
Бабло: $196065
Отправить сообщение для KYO с помощью ICQ
По умолчанию

freeman, спасибо. ценная инфа.
__________________
Возьми домой раненую осу и ты узнаешь, чем платит доброта
KYO вне форума  
Старый 12.02.2011, 19:39   #5
freeman
фетишист
 
Аватар для freeman
 
Регистрация: 28.12.2009
Сообщений: 148
Бабло: $25610
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от kaufman Посмотреть сообщение
В чем заключаются косяки, если не секрет?
Нельзя скроллить окно инстанса в момент загрузки страницы. Но это баг самого qt, да и проявляется он только в том случае, если есть необходимость визуально мониторить процесс работы скрипта. Декоратор можно скрыть или вообще не создавать его.

Цитата:
Сообщение от medar Посмотреть сообщение
Аналогичная (не пробовал, но по описанию то же) либа для ruby: http://watir.com/
Нее, это совсем не то. Ватир - это тот же селениум, только на руби. Он служит только для автоматизации браузера, т.е. многопоточно не заюзаешь нормально, да и с проксями там костыли, вроде.

Offtopic
freeman вне форума  
Старый 12.02.2011, 21:41   #6
gameover
Юниор
 
Регистрация: 25.02.2010
Сообщений: 24
Бабло: $7280
По умолчанию

спасибо, интересная библиотека
только содержимое выложенного архива не совпадает с предлагаемым на официальном сайте
gameover вне форума  
Старый 12.02.2011, 22:49   #7
mrzaggi
Senior Member
 
Регистрация: 03.11.2010
Сообщений: 285
Бабло: $65950
По умолчанию

Спасибо )
mrzaggi вне форума  
Старый 13.02.2011, 00:06   #8
freeman
фетишист
 
Аватар для freeman
 
Регистрация: 28.12.2009
Сообщений: 148
Бабло: $25610
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от gameover Посмотреть сообщение
только содержимое выложенного архива не совпадает с предлагаемым на официальном сайте
В тех архивах содержатся старые исходники, новый код надо брать из svn http://code.google.com/p/spynner/source/checkout
Поэтому я выложил архив со свежим сорсом и jQuery.
freeman вне форума  
Старый 13.02.2011, 15:47   #9
gameover
Юниор
 
Регистрация: 25.02.2010
Сообщений: 24
Бабло: $7280
По умолчанию

Цитата:
Сообщение от freeman Посмотреть сообщение
В тех архивах содержатся старые исходники, новый код надо брать из svn http://code.google.com/p/spynner/source/checkout
Поэтому я выложил архив со свежим сорсом и jQuery.
в первом посте ссылка на svn с пояснением была бы лучше, апстрим это все таки апстрим
gameover вне форума  
Старый 13.02.2011, 15:55   #10
rushter
Senior Member
 
Регистрация: 28.11.2009
Сообщений: 1,804
Бабло: $299365
По умолчанию

Селекторы круто конечно, скоро может в блоге расскажу об этой библиотеке. А то там совсем с доками уныло.
rushter вне форума  
Закрытая тема



Опции темы
Опции просмотра