Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8660
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 09.10.2015, 01:50   #1
7make
Senior Member
 
Аватар для 7make
 
Регистрация: 02.07.2011
Сообщений: 737
Бабло: $195160
По умолчанию Бесплатный парсер в 2 клика

Палю.
Давно юзаю.
На выходе JSON, CSV, постинг в вп, виджеты, импорт в spreadsheets

https://www.kimonolabs.com
https://import.io

Для чего юзаю.
1. чек топа на новые фрихи и изменения
2. парсинг пабликов, авито, etc
3. автонаполняемые доры
4. разово и быстро спарсить любые данные
5. спарсить шоп за 5 мин..легко
etc
7make вне форума  
Старый 09.10.2015, 02:29   #2
sliderxxx
Ебланнед
 
Регистрация: 20.08.2008
Сообщений: 1,069
Бабло: $153400
По умолчанию

Пятница на гфб! Палим!..
sliderxxx вне форума  
Старый 09.10.2015, 03:15   #3
Maximus325
Технодаун
 
Аватар для Maximus325
 
Регистрация: 11.05.2007
Сообщений: 10,038
Бабло: $1443440
По умолчанию

Охуенчик, нашел сразу на что натравить
__________________
ноу криминалити ин раша
Maximus325 вне форума  
Старый 09.10.2015, 04:03   #4
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от веломан
прям любой шоп?
опять универсальный парсер
а в чем проблема?

давно использовал самописный универсальный кролер-парсер, но за последний месяц решил попробовать связку Drupal+Feeds+Feeds XPath+Feeds Tamper , что по сути схоже с моим самописом, только поддерживается огромным опенсорс сообществом. Поэтому пока остаюсь на этом решении.

под указанный ТС-ом import.io есть соответствующий drupal feeds коннектор: https://www.drupal.org/project/feeds_import_io
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 09.10.2015, 10:59   #5
Gimly
Senior Member
 
Аватар для Gimly
 
Регистрация: 30.09.2008
Сообщений: 347
Бабло: $77295
Отправить сообщение для Gimly с помощью ICQ
По умолчанию

Интересно почему ip парсера не банится.
ТС, спасибо!
Gimly вне форума  
Старый 09.10.2015, 14:34   #6
веломан
Senior Member
 
Аватар для веломан
 
Регистрация: 01.10.2015
Сообщений: 5,916
Бабло: $698035
По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
а в чем проблема?

давно использовал самописный универсальный кролер-парсер, но за последний месяц решил попробовать связку Drupal+Feeds+Feeds XPath+Feeds Tamper , что по сути схоже с моим самописом, только поддерживается огромным опенсорс сообществом. Поэтому пока остаюсь на этом решении.

под указанный ТС-ом import.io есть соответствующий drupal feeds коннектор: https://www.drupal.org/project/feeds_import_io
Я это писал до того, как увидел видео там
Через выделение нужных блоков таки да, можно и автоматизировать
Другое дело, что парсинг магазина подразумевает привязку товара к группе, например...
А иногда товар может быть сразу в нескольких группах
А потом у товара, помимо цены, есть доп.характеристики: цвет/размер/длина/вес/итд, которые надо опять правильно положить в БД
Ну и прочие нюансы
веломан на форуме  
Старый 09.10.2015, 17:05   #7
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от веломан
А потом у товара, помимо цены, есть доп.характеристики: цвет/размер/длина/вес/итд, которые надо опять правильно положить в БД
Ну и прочие нюансы
да нет там особо никаких нюансов.
настраиваешь меппинг xpath-правил на поля в БД и все.

а все, что не доработано xpath-ом, дотачивается user-функциями в пост обработке. На друпале такое делается за 5-10 минут. И сразу получается живой и настоящий сайт, который мониторит чужие сайты на предмет появления новой или обновления старой информации.
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 04.01.2016, 03:31   #8
Nebrila
Ебланнед
 
Регистрация: 03.07.2015
Сообщений: 527
Бабло: $96655
По умолчанию

Давайте тут собирать такие сервисы
вот аналог rich content api http://www.diffbot.com/
Nebrila вне форума  
Старый 08.01.2016, 00:12   #10
nerealny
Member
 
Регистрация: 29.09.2008
Сообщений: 35
Бабло: $5110
По умолчанию

Все сервисы рано или поздно становятся платными либо ограниченными, а то и вообще недоступными. Недавно попался мне классный фреймворк scrapy на python. Нашел описания на русском как запустить паука, как соскоблить данные со страниц сайта, и как все это благополучно уложить в csv для последующего употребления.


Офф сайт scrapy с документацией : http://scrapy.org

Обзор на Хабре: http://habrahabr.ru/post/115710/
Еще один обзор: http://gis-lab.info/qa/scrapy.html

Видео туториал: https://www.youtube.com/watch?v=1EFnX1UkXVU
nerealny вне форума  
Закрытая тема



Опции темы
Опции просмотра