Python. Эмулятор браузера с выполнением Javascript/Ajax

[freeman]

Знаю, что боян, так как линк на эту либу уже где-то проскакивал на гоуфаке. Но уверен, что кто-то до сих пор ищет такой солюшн. Данное решение юзаю уже достаточно давно, либу брал тут.

В качестве движка используется WebKit. Собственно, что умеет:

- рендеринг html5 + css3
- выполнение Javascript/Ajax
- селекция с помощью jQuery
- поддержка куков
- смена юзерагента
- может работать через proxy/socks5
- умеет делать снэпшоты
- полный доступ к DOM

Может работать на линуксе без иксов, через фрейм-буфер. Либа не идеальна, есть пару мелких косяков.

[freeman]

Сообщение от gameover

в первом посте ссылка на svn с пояснением была бы лучше, апстрим это все таки апстрим

Отредактировать первый пост уже нет возможности, а гуглкодом вроде все пользоваться умеют.

rushter, Там код довольно хорошо прокомментирован.

[href]

Для jruby есть прикольная обертка над htmlunit - называется Celerity. Есть многопоточность, исполняет аяксы, гуи не требует.
Пример обработки страницы с ajax:

require "rubygems"
require "celerity"

browser = Celerity::Browser.new
browser.goto('example.htm')
browser.select_list(:id, "country").select("Norway")

sleep(0.1) until browser.select_list(:id, "county").option(:text, "Oslo").exists # Wait until it exists

browser.select_list(:id, "county").option(:text, "Oslo").select
browser.button(:id, "submit").click

Сорри если не совсем в тему)

[JackL]

спасибо - проблема htmlunit , то что он юзает старый интерпретатор js , а это вроде вебкит вообще headless браузеров не хватает

[y4b53]

Она только в 1 поток сможет работать ?

[rushter]

Как она не знаю, но сам Pyqt4.Webkit не проблема в нескольких потоках использовать.

[freeman]

Сообщение от y4b53

Она только в 1 поток сможет работать ?

Нет, можно запускать многопоточно.

[res1dent]

PHP код:

[1]SourceForge.net Logo

                                   mechanize

   Stateful programmatic web browsing in Python, after Andy Lester's Perl
   module [2]WWW::Mechanize .
     * mechanize.Browser is a subclass of mechanize.UserAgentBase, which
       is, in turn, a subclass of urllib2.OpenerDirector (in fact, of
       mechanize.OpenerDirector), so:
          + any URL can be opened, not just http:
          + mechanize.UserAgentBase offers easy dynamic configuration of
            user-agent features like protocol, cookie, redirection and
            robots.txt handling, without having to make a new
            OpenerDirector each time, e.g. by calling build_opener().
     * Easy HTML form filling, using [3]ClientForm interface.
     * Convenient link parsing and following.
     * Browser history (.back() and .reload() methods).
     * The Referer HTTP header is added properly (optional).
     * Automatic observance of [4]robots.txt.
     * Automatic handling of HTTP-Equiv and Refresh. 


есть еще такая штука - мачаниз

[rushter]

Механайз js не умеет.

[super]

чтобы не создавать новый тред, спрошу здесь

основы знаю питона, так как дальше не стал учить, посоветуйте самые мощные 1 - 2 фреймворка, самые лучшие и с большими возможностями, так как если решу выучить его нормально сразу читать буду фреймы

кстати странно, но python, если смотреть этот рейтинг обошёл php по популярности и это несмотря на то, что столько проектов создано на php, да и вообще скриптовой язык давно кроме php не наблюдался в TOP 5

http://www.tiobe.com/index.php/conte...pci/index.html

но дальше конечно с 4 места он не вырвиться, так как там java, c++

[medar]

Сообщение от super

основы знаю питона, так как дальше не стал учить, посоветуйте самые мощные 1 - 2 фреймворка

Django.
Но лучше новую тему открыть для холиваров.