grab - библиотека для парсинга

[lorien]

Здравствуйте.

Я являюсь автором библиотеки grab - это python-библиотека, предоставляющая простой и понятный интерфейс к библиотекам pycurl и lxml. Библиотека разрабыватывается уже не первый год, основные задачи библиотеки - парсинг веб-ресурсов, автоматизация заполнения форм, работа с API веб-сервисов.

Вводную статью можно прочитать на хабрахабре: http://habrahabr.ru/blogs/python/127584/

Могу ответить на любые ваши вопросы по библиотеке здесь или в google группе: http://groups.google.com/

[kalombo]

Кстати, ТС, твоя статья на хабре, почитал комменты. По-моему там одни идиоты=) Ну или как их назвать, пустозвоны. Такую хрень пишут лишь бы написать, ЧСВ овер 9000, а в вопросе по сути никто не разбирается. А я к хабру как-то уважительно относился до этого.

[aka791]

Сообщение от kalombo

Хорошая вещь? Лучше spynner? Зачем его куда-то прикручивать, почему сразу не пользоваться?

Да хорошая. Для красоты

[kalombo]

По grab, можно пример multipart_post с участием файла?

[WebNinja]

# avatar = path/to/file
from grab import Grab, UploadFile

...
self.grab.go('http://www.somesite/settings')
self.grab.assert_substring(u'Portrait Photo')

self.grab.choose_form(1)
self.grab.set_input('avatar', UploadFile(avatar))
self.grab.submit()

олсо http://groups.google.com/group/pytho...7d0b070e39eed3

Такую хрень пишут лишь бы написать, ЧСВ овер 9000, а в вопросе по сути никто не разбирается. А я к хабру как-то уважительно относился до этого.

ты чо ) там же все эксперты невъебенные, каждый день только и делают что парсят и веб-автоматизацией занимаются.

[lorien]

> По grab, можно пример multipart_post с участием файла?

Можно, пример выше показали. Самый шик, что это всё парсится само т.е. выбираем форму, говорим какой файл залить, все hidden-поля автоматически заполняются, мультипарт запрос тоже автоматически генерируется, если в форме прописан корректный enctype.

[WebNinja]

да, сильно облегчает жизнь, олсо если что-то хитрое можно в submit(extra_post={}) передать дополнительные параметры.

[WebNinja]

ну и кода не так много в грабе, что позволяет в принципе осилить как всё работает от и до по сурсам, за небольшое время.

[lorien]

Сегодня для развлечения пробовал прикрутить сплинтер. И надо сказать, что он частично прикрутился Например, вот этот код успешно отрабатывает через сплинтер:

# coding: utf-8
from grab import GrabSplinter
import logging

def main():
    logging.basicConfig(level=logging.DEBUG)
    g = GrabSplinter()
    g.go('http://google.com')
    print g.css_text('title')


if __name__ == '__main__':
    main()

Вообще, это ещё надо подумать, нужен ли этот сплинтер со своими багами или лучше напрямую использовать selenium webdriver. Например, я толком не понял как получить куки из splinter-оъекта и просто получил их из webdriver-объетка, который внутри splinter-объекта лежит.

[aka791]

Сообщение от lorien

Например, я толком не понял как получить куки из splinter-оъекта и просто получил их из webdriver-объетка, который внутри splinter-объекта лежит.

да, вот где куки

s = splinter.browser.Browser()
s.driver.get_cookies()

Сколько мы скидываемся за труды тебе?

[kalombo]

А в чем профит прикрутки сплинтера к Грабу? Что это даст? Чего не хватает в сплинтере?