Datacol 5 - новая версия универсального парсера

[plamar]

Datacol – это универсальное средство для "добычи" любых данных, доступных в интернете. Datacol является десктопным решением, написанным на C#. Программа может экспортировать полученные данные в Excel, CSV и WordPress (а также фришные блоги на wordpress.com). С автором можно обсудить доработку экспорта в другие форматы и CMS.

Создавая новые профили настроек и комбинируя различные опции Datacol, вы можете легко реализовать:

• Парсер контента по списку URL;
• Парсер выдачи поисковиков;
• Парсер SEO параметров сайтов с различных сервисов для их проверки;
• Парсер Яндекс Маркета;
• Парсер email;
• Чекер индексации сайтов;
• Парсер объявлений;
• Парсер интернет магазинов;
• Парсер внешних и/или внутренних ссылок с сайта;
• Парсер прокси адресов;
• Парсер, позволяющий проверять позицию сайта по определенным запросам в поисковике;
• Парсер музыки, парсер картинок и других всевозможных файлов;
• Парсер форумов на любых движках;
• Парсер результатов работы Javascript.
• И МНОГОЕ ДРУГОЕ!!!



Функциональность Datacol также увеличивается тем, что программа может работать через список проксисерверов, авторизоваться на сайтах перед получением данных, а также подключать внешний браузер для обработки Javascript!!!.

Программа снабжена отличной иллюстрированной справкой. В ней также имеется удобный встроенный браузер, который можно использовать для:
- подбора регулярных выражений;
- подбора XPATH выражений;
- перехвата Cookie;
- перехвата POST данных, передаваемых при запросах к веб страницами;
- тестирования загрузки страниц с передачей различных Cookie, POST данных, useragent, рефереров и HTTP заголовков.

Обратите внимание, что встроенный браузер можно использовать без ограничений даже в бесплатной демо версии Datacol!

На сайте автора можно скачать демо версию программы (она отличается от полной только отсутствием возможности экспорта результатов). Там же можно найти ссылки на отзывы).

С условиями приобретения Datacol можно ознакомиться здесь. Я являюсь официальным дилером программы, поэтому если вы при запросе на активацию укажете имя дилера kolchakA, то сможете получить скидку в 10$.

АСЯ автора: 6ДВА41НОЛЬ419СЕМЬ
Моя ася: 43526882ШЕСТЬ
Официальный сайт Datacol

[plamar]

Список отзывов покупателей Datacol постоянно пополняется.

Программа дополняется новыми возможностями. Появилась функция вставки ключевиков, перевода результатов парсинга через Google Translate (с поддержкой прокси). Также добавлены новые возможности загрузки изображений и файлов.

В качестве дополнительных примеров решаемых задач, на базе Datacol собран массовый чекер возраста доменов и универсальный парсер контента по ключевикам.

[plamar]

На днях вышла вторая версия Datacol 2.0 AutoTune.
Главным отличием от первой версии является возможность визуальной настройки сбора данных. Теперь сбор данных можно настраивать буквально в несколько кликов мыши даже без знания регулярных выражений. Пользователю нужно просто кликнуть по нужному ему блоку информации на сайте и Datacol автоматически сгенерирует формулу для сбора.

Также добавилась возможность прямого экспорта результатов парсинга в базу данных Mysql и возможность многостороннего автоперевода спарсенных данных через сервис Google Translate.

[kulak]

Ваш продукт умеет парсить из Vkontakte?

[plamar]

В Datacol добавлен бесплатный прокси чекер. Его можно запускать даже из Демо версии программы. Чекер позволяет проверять прокси на работоспособность, ограничивать максимальный таймаут запроса через прокси, а также проверять прокси на цель (то есть насколько валидный результат в рамках запроса к определенному сайту выдает прокси).

Результаты работы чекера сохраняются в файл и могут в реальном времени использоваться Datacol для получения данных с сайтов через прокси. Кроме того, чекер постоянно перепроверяет список найденных работоспособных прокси и отсеивают прокси, который по той или иной причине отмирают. Подробнее с работой прокси чекера можно ознакомиться на видео.

[sydoow]

Соксы определяет?

[plamar]

Сообщение от sydoow

Соксы определяет?

такого функционала не делал, но в будущем возможно докрутим.

[plamar]

Сообщение от kulak

Ваш продукт умеет парсить из Vkontakte?

да умеет. Как раз недавно дописал плагин для этого.

[plamar]

Сообщение от plamar

да умеет. Как раз недавно дописал плагин для этого.

Вот например пример парсинга списка юзеров:

[Fubu_By]

кто-нибудь им контент с сайтов парсил?