grab - библиотека для парсинга

[lorien]

Здравствуйте.

Я являюсь автором библиотеки grab - это python-библиотека, предоставляющая простой и понятный интерфейс к библиотекам pycurl и lxml. Библиотека разрабыватывается уже не первый год, основные задачи библиотеки - парсинг веб-ресурсов, автоматизация заполнения форм, работа с API веб-сервисов.

Вводную статью можно прочитать на хабрахабре: http://habrahabr.ru/blogs/python/127584/

Могу ответить на любые ваши вопросы по библиотеке здесь или в google группе: http://groups.google.com/

[lorien]

Пока никто не выразил желания работать над этим направлением.

А что именно ты ждёшь от этого транспорта? Чем именно не устраивает родной интерфейс селениума?

[sspy]

Сообщение от lorien

А что именно ты ждёшь от этого транспорта? Чем именно не устраивает родной интерфейс селениума?

жду привычного синтаксиса. родной не использовал, но походу придется осваивать.

[lorien]

Боюсь, не скоро у меня руки дойдут, а если и дойдут, то скорее до вебкита.
Я тут последние дни всякие ништяки встраиваю в граб, вчера вот чего написал: https://bitbucket.org/lorien/grab/sr....py?at=default
По-сути это аналог скрапи селекторов, только конечно не один в один.

Если, например, раньше после grab.xpath(xpath_exp) вы получали голый список ElementTree нод, то теперь после grab.doc.select(xpath_exp) - вы получаете список селектор, к акждому из которых можно опять применить метод select. Метод выборки теперь только один - select, а если надо получить из него первый элемент, то .select().one(), если текст из первого элемента, то .select().text()

[lorien]

Написал статью по новому интерфейсу селекторов: http://habrahabr.ru/post/173509/

[lorien]

Обложился исходниками Ghost.py, spynner и прочих обёрток для webkit. Пишу свою обёртку. Вернее в диком угаре набросал минимально рабочий код, по-сути половину Ghost.py реализовал. Думаю, в этом году уже доведу до ума webkit-транспорт в грабе. Пока отложил работу с webkit, вернусь к задаче через недельку-другую.

Любопытствующие могут поглядеть код webkit-обёртки, он кстати может использоваться в отрыве от Grab: https://github.com/lorien/grab/blob/...it/__init__.py

А вот собственно как щас выглядит транспорт, использующий этот kit модуль: https://github.com/lorien/grab/blob/...ansport/kit.py

В общем, когда я допилю эту хрень, все фичи, что щас можно использовать в Grab с помощью pycurl, можно будет делать с помощью webkit. Ну и потом в некотором будущем прикручу webkit к Grab::Spider, видимо, с помощью пула-процессов.

[sspy]

как с помощью grab spider ограничить 1 поток на домен при использовании многопоточности ?

[lorien]

На данный момент никак. Можно использовать не спайдер, а вручную запускать процессы через multiprocessing или через celery и внутри каждого процесса в один поток (можно и спайдером) работать с доменом.