Python. Эмулятор браузера с выполнением Javascript/Ajax

[freeman]

Знаю, что боян, так как линк на эту либу уже где-то проскакивал на гоуфаке. Но уверен, что кто-то до сих пор ищет такой солюшн. Данное решение юзаю уже достаточно давно, либу брал тут.

В качестве движка используется WebKit. Собственно, что умеет:

- рендеринг html5 + css3
- выполнение Javascript/Ajax
- селекция с помощью jQuery
- поддержка куков
- смена юзерагента
- может работать через proxy/socks5
- умеет делать снэпшоты
- полный доступ к DOM

Может работать на линуксе без иксов, через фрейм-буфер. Либа не идеальна, есть пару мелких косяков.

[yami]

заебался устанавливать на дедик. забил

[WebNinja]

всё правильно сделал! =)

[WebNinja]

щаз таких тем полно http://htmlunit.sourceforge.net/ вот например, или вот https://github.com/cobrateam/splinter/
всё это нужно для нужд тестирования веб-приложений, а где тестирование - там и регистрации с постингом.

но! любители быдлокодинга на похэпэ могут только жидко обгадить ляхи глядя на прелести доступные нормальным девелоперам :trollface:

[rushter]

Сообщение от WebNinja

щаз таких тем полно http://htmlunit.sourceforge.net/ вот например, или вот https://github.com/cobrateam/splinter/
всё это нужно для нужд тестирования веб-приложений, а где тестирование - там и регистрации с постингом.

но! любители быдлокодинга на похэпэ могут только жидко обгадить ляхи глядя на прелести доступные нормальным девелоперам :trollface:

Вижу ты граб тоже развиваешь, респект

[WebNinja]

там один коммит от меня хех, просто используем его сейчас активно.

как бы либа по сравнению с разными механизами более-менее удобная для использования + курл.
https://bitbucket.org/lorien/grab/
аутор еще статью запилил на хабре
http://habrahabr.ru/blogs/python/127584/

[freeman]

kalombo, используй multiprocessing. Кстати, кто-то форкнул либу, поправил некоторые баги и дописал отправку клавиатурных событий, мыши и встроенную поддержку проксей.

[kalombo]

Сообщение от freeman

kalombo, используй multiprocessing. Кстати, кто-то форкнул либу, поправил некоторые баги и дописал отправку клавиатурных событий, мыши и встроенную поддержку проксей.

Ага, разобрался с процессами. Только еще траблы появились, пока приручить не могу всё равно. С проксями когда юзаю не могу дождаться, когда страница загрузится. Если не выставлять время ожидания, то она вечность простоит на методе wait_load или wait_a_little, а если поставить timeout в них, она потом форму заполнить(br.fill метод) не может и вываливается с ошибкой. Хз че делать, то ли сайт такой перегруженный, то ли я че не так делаю.

[freeman]

Да, есть такая проблема, бесит, но проявляется не везде. Возможно, в твоем случае сайт ожидает отработку какого-либо события. У меня, к примеру, зеннопостер, при регистрации на wordpress.com, не грузит страницу если её не проскроллить или поелозить мышкой.

[rushter]

Кто-нибудь знает как в webkit можно document.referrer подменить ?

[vlad0708]

кто нибудь знает как с помощью spynner загрузить файл в поле
input type="file"