grab - библиотека для парсинга - Форум успешных вебмастеров - GoFuckBiz.com

lorien · 24.10.2011, 11:49

Здравствуйте.

Я являюсь автором библиотеки grab - это python-библиотека, предоставляющая простой и понятный интерфейс к библиотекам pycurl и lxml. Библиотека разрабыватывается уже не первый год, основные задачи библиотеки - парсинг веб-ресурсов, автоматизация заполнения форм, работа с API веб-сервисов.

Вводную статью можно прочитать на хабрахабре: http://habrahabr.ru/blogs/python/127584/

Могу ответить на любые ваши вопросы по библиотеке здесь или в google группе: http://groups.google.com/

kalombo · 24.10.2011, 14:31

Цитата:

Сообщение от rushter

Библиотека хорошая, только вот бы работу с urllib допили

.
А то начали и утихло вроде как.

А зачем это может быть нужно вообще?

rushter · 24.10.2011, 14:55

Меньше нагрузка и не нет проблем с установкой на серверах.

lorien · 24.10.2011, 17:57

Цитата:

Меньше нагрузка

Почему меньше? Вы проводили реальные тесты потребления CPU/Memory pycurl и urllib парсерами?

WebNinja · 24.10.2011, 18:41

юзаю вдс с debian и не парюсь по этому поводу - советую сделать так же.

rushter · 24.10.2011, 19:32

Цитата:

Сообщение от lorien

Почему меньше? Вы проводили реальные тесты потребления CPU/Memory pycurl и urllib парсерами?

Ну потому-что меньше

. Плюс курл не даст в одном инстансе многопоточно дёргать странички , а urllib вроде как не плодит их при использовании.

lorien · 24.10.2011, 20:09

Цитата:

Ну потому-что меньше .

Вы тесты проводили или нет? Если нет, то я не пойму, о чём мы говорим

Цитата:

Плюс курл не даст в одном инстансе многопоточно дёргать странички , а urllib вроде как не плодит их при использовании.

Вроде как или точно? Плодит кого? Я привык предметно разговаривать. Я сам плохо представляю, как работает urllib в нескольких-тредах. И я не против того, что urllib меньше жрёт меньше CPU или памяти (если это действительно так), я просто не понимаю, на основе чего сделаны эти выводы.

rushter · 24.10.2011, 20:14

Цитата:

Вы

На какой форум я попал

.

Проводил я тесты и использую urllib, если не надо заморачиваться с прокси,куками и т.д.
НУ и ещё, например, курл иногда отказывается инициализировать свои копии при большом количестве потоков, хотя ресурсов вроде как предостаточно.
Хочется всётаки иметь одинаковый интерфейс, пусть и с отсутствием части функционала, а не выбирать между grab и urllib.