Вопрос по grab

[igelius]

Не могу разобраться с проксилистами.
Используется g.load_proxylist.
Иногда успешно. Иногда говорит:

ERROR:root:Call to deprecated function load_proxylist. Use grab.proxylist.set_source instead.

От чего зависит хз.

[lorien]

Сообщение от igelius

Да, с `g.change_proxy()` заработало.
А changelog для граба существует?

Да, https://github.com/lorien/grab/blob/master/CHANGELOG.md

Сообщение от igelius

В последнем грабе поломалась работа с проксилистами.

	g.proxylist.set_source('file', location='/patch/list')
	g.setup(proxy_auto_change=False)
	g.setup(proxy_type='socks5')
	g.change_proxy()

Отдает:

TypeError: set_source() got an unexpected keyword argument 'location'

Создавай тикет в github (https://github.com/lorien/grab/issues) - это единственный эффективный способ рассказать об ошибке в библиотеке.

[igelius]

Сообщение от lorien

это единственный эффективный способ рассказать об ошибке в библиотеке.

Продублировал.

[sspy]

злоебучий grab. автор походу из релиза в релиз упарывается лсд, в каждой версии что-то ломается, отваливается и переписывается на новое api. актуальной документации нихуя нет.

[igelius]

Автор отписался чуть выше.
А на гитхабе нет.
Смысл писать на гитхаб?

[lorien]

Автор отписался чуть выше.
А на гитхабе нет.

Я не понимаю, что вы написали.

злоебучий grab. автор походу из релиза в релиз упарывается лсд, в каждой версии что-то ломается, отваливается и переписывается на новое api. актуальной документации нихуя нет.

Простите. Мне жаль, что Grab нанёс вам психологические увечия.

[sspy]

Сообщение от lorien

Простите. Мне жаль, что Grab нанёс вам психологические увечия.

зачем постоянно переписывать то, что нормально работает? был же нормальный удобный фреймворк

[lorien]

Сообщение от sspy

зачем постоянно переписывать то, что нормально работает? был же нормальный удобный фреймворк

Вы можете использовать в своей работе любой из предыдущих релизов Grab.

Граб переписывается исходя из нескольких соображений:
* правка багов, на которые вы, видимо, не натыкались просто
* рефакторинг внутренней структуры для облегчения внесения изменений в граб и увеличения возможностей расширения фунций граба, конечным пользователем. К сожалению, я начал делать Grab давно и с тех пор поменял точку зрения на некоторые вещи, но в грабе осталось наследие прошлого, которое надо рефактирить и ещё к тому же обеспечивать обратную совместимость.
* добавление нового фунционала (например, фунционала, нужного конкретно мне)

Яя всегда стараюсь обеспечить обратную совместимость. Да, иногда что-то ломается. Но не все сетования пользователей о том, что что-то сломалось, имеют причиной обратную несовместимость нового релиза. Иногда люди что-то сами не понимают, иногда пытаются сделать какую-то дичь.

Документация не совсем актуальная, но она достаточно обширная: http://docs.grablib.org/en/latest/

[sspy]

Сообщение от lorien

* правка багов, на которые вы, видимо, не натыкались просто
* рефакторинг внутренней структуры для облегчения внесения изменений в граб и увеличения возможностей расширения фунций граба, конечным пользователем. К сожалению, я начал делать Grab давно и с тех пор поменял точку зрения на некоторые вещи, но в грабе осталось наследие прошлого, которое надо рефактирить и ещё к тому же обеспечивать обратную совместимость.

Я пользовался грабом с довольно ранних версий, поэтому могу описать свой опыт. Изначально были заметны недостатки в архитектуре, но при этом фреймворк выполнял большинство нужных функций из коробки. Были баги, но не критичные. Затем началось: то форма выбирается уже не select_form_by_id a select_form("id"), то xpath уже g.doc.select, то полезные классы уже в отдельных пакетах. И каждый раз нужно переделывать свои скрипты. Недавно решил запустить один из старых скриптов - выдает ошибку utf8, обновляю граб на последнюю версию, ошибка пропала, но внезапно оказывается что метода setup_grab в grab spider уже нет, и как передавать прежние параметры хз, т.к. документация еще двухлетней давности. Так что намерения может и благие, но реализация подкачивает.

[somtam]

Сообщение от sspy

злоебучий grab. автор походу из релиза в релиз упарывается лсд, в каждой версии что-то ломается, отваливается и переписывается на новое api. актуальной документации нихуя нет.

ну так используй версию где все работает. пипец ты тупой

Затем началось: то форма выбирается уже не select_form_by_id a select_form("id"), то xpath уже g.doc.select, то полезные классы уже в отдельных пакетах.

тебе заранее про это warnings сообщают за несколько минорных версий до того как апи окончательно поменяется.

[lorien]

Grab в текущем виде - это скорее проект для опытных пользователей. У нубов и середнячков будут возникать проблемы т.к. документация не полная и не совсем актуальная, ну и API меняется. Я всегда писал граб в первую очередь для решения своих задач, а потом уже для других людей.

Я пользовался грабом с довольно ранних версий, поэтому могу описать свой опыт. Изначально были заметны недостатки в архитектуре, но при этом фреймворк выполнял большинство нужных функций из коробки. Были баги, но не критичные. Затем началось: то форма выбирается уже не select_form_by_id a select_form("id"), то xpath уже g.doc.select, то полезные классы уже в отдельных пакетах. И каждый раз нужно переделывать свои скрипты.

Нуу, xpath_* фунции до сих пор работают, просто warnings выдают.
Выбор формы тоже выдавал warning раньше, наверное. Лень проверять историю.
Полезные классы в отдельных пакетах для облегчения рефакторинга, тестирования и поддержки. Документацию тоже легче писать (если бы она писалась).

И каждый раз нужно переделывать свои скрипты.

Это реалии жизни. Смирись или используй другую библиотеку. Или используй старую версию граба, но, уверяю тебя, там больше багов, чем сейчас.