Бесплатный парсер в 2 клика

[7make]

Палю.
Давно юзаю.
На выходе JSON, CSV, постинг в вп, виджеты, импорт в spreadsheets

https://www.kimonolabs.com
https://import.io

Для чего юзаю.
1. чек топа на новые фрихи и изменения
2. парсинг пабликов, авито, etc
3. автонаполняемые доры
4. разово и быстро спарсить любые данные
5. спарсить шоп за 5 мин..легко
etc

[sliderxxx]

Пятница на гфб! Палим!..

[Maximus325]

Охуенчик, нашел сразу на что натравить

[chesser]

Сообщение от веломан

прям любой шоп?
опять универсальный парсер

а в чем проблема?

давно использовал самописный универсальный кролер-парсер, но за последний месяц решил попробовать связку Drupal+Feeds+Feeds XPath+Feeds Tamper , что по сути схоже с моим самописом, только поддерживается огромным опенсорс сообществом. Поэтому пока остаюсь на этом решении.

под указанный ТС-ом import.io есть соответствующий drupal feeds коннектор: https://www.drupal.org/project/feeds_import_io

[Gimly]

Интересно почему ip парсера не банится.
ТС, спасибо!

[веломан]

Сообщение от chesser

а в чем проблема?

давно использовал самописный универсальный кролер-парсер, но за последний месяц решил попробовать связку Drupal+Feeds+Feeds XPath+Feeds Tamper , что по сути схоже с моим самописом, только поддерживается огромным опенсорс сообществом. Поэтому пока остаюсь на этом решении.

под указанный ТС-ом import.io есть соответствующий drupal feeds коннектор: https://www.drupal.org/project/feeds_import_io

Я это писал до того, как увидел видео там
Через выделение нужных блоков таки да, можно и автоматизировать
Другое дело, что парсинг магазина подразумевает привязку товара к группе, например...
А иногда товар может быть сразу в нескольких группах
А потом у товара, помимо цены, есть доп.характеристики: цвет/размер/длина/вес/итд, которые надо опять правильно положить в БД
Ну и прочие нюансы

[chesser]

Сообщение от веломан

А потом у товара, помимо цены, есть доп.характеристики: цвет/размер/длина/вес/итд, которые надо опять правильно положить в БД
Ну и прочие нюансы

да нет там особо никаких нюансов.
настраиваешь меппинг xpath-правил на поля в БД и все.

а все, что не доработано xpath-ом, дотачивается user-функциями в пост обработке. На друпале такое делается за 5-10 минут. И сразу получается живой и настоящий сайт, который мониторит чужие сайты на предмет появления новой или обновления старой информации.

[Nebrila]

Давайте тут собирать такие сервисы
вот аналог rich content api http://www.diffbot.com/

[lorien]

Вот у меня тут списочек есть: https://github.com/lorien/awesome-we...eb_services.md

Продублирую сюда:

https://import.io/
https://scraperwiki.com/about
https://www.mozenda.com/
https://www.kimonolabs.com/
https://phantomjscloud.com/
http://cloudscrape.com/
http://www.diffbot.com/

[nerealny]

Все сервисы рано или поздно становятся платными либо ограниченными, а то и вообще недоступными. Недавно попался мне классный фреймворк scrapy на python. Нашел описания на русском как запустить паука, как соскоблить данные со страниц сайта, и как все это благополучно уложить в csv для последующего употребления.


Офф сайт scrapy с документацией : http://scrapy.org

Обзор на Хабре: http://habrahabr.ru/post/115710/
Еще один обзор: http://gis-lab.info/qa/scrapy.html

Видео туториал: https://www.youtube.com/watch?v=1EFnX1UkXVU