A-Parser - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc - Форум успешных вебмастеров - GoFuckBiz.com

Forbidden · 28.05.2012, 13:32

Что такое A-Parser?

Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:

Поисковые системы

Google
Bing
Yahoo
Yandex
QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса
Парсер AOL, реализованный через парсер Net::HTTP с опциями Parse custom result, Use pages и др.

Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

Парсеры кейвордов

Сервисы поиска ключевых слов

Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня.

Подсказки поисковых систем

Подсказки и релейтед кеи Google
Подсказки и релейтед Bing
Подсказки, релейтед и трендовые кеи Yahoo
Подсказки и релейтед Yandex

Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

Параметры сайтов и доменов

Rank::Ahrefs - парсер количества беклинков с сервиса ahrefs.com, парсит общее число беклинков, количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
SE::Google::Position - проверка позиции домена по ключевому слову в гугле
Google PageRank - PR страниц и доменов
SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
DMOZ - наличие сайта в каталоге DMOZ
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
Whois - дата экспайра домена
Bing LangDetect - проверка языка домена\ссылки
Net::DNS - парсер резолвит домены в IP адреса
Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
Rank::CMS - определение более 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков

Парсеры различных сервисов

SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста

Парсинг контента

HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.

Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

Обработка и фильтрация результатов

Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
Парсинг любого результата с использованием регулярных выражений.

Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:

Полностью интерактивный мега-юзабильный веб интерфейс
- Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
- Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
- Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
- Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
- Поддержка русского и английского языка
Огромная скорость работы, подробнее тут: Производительность
Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki

Более подробное описание и скриншоты

Wiki - дополнительная информация, инструкции и т.д.

Скриншот интерфейса:

На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов

Ценовая политика

На данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API)

Цена лицензии - 200$
Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
Цена лицензии с API: +50$ к стоимости основной лицензии
Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
Комплект A-Parser + A-Poster всего за 300$!
Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!

Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно.

Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов:

ICQ 777889
Jabber/GoogleTalk [email protected]
Skype frb403

Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.

A-Parser Support · 23.07.2014, 08:59

Релиз A-Parser 1.1.0, автоматический прием PayPal, Wire, QIWI

Релиз A-Parser 1.1.0 - результат активной разработки в течении двух месяцев в рамках бета-версии

Улучшения

Новый парсер HTML::TextExtractor::LangDetect - улучшенное определение языка страницы, без использования сторонних сервисов
Для парсера SE::Google добавлена возможность указывать локацию поиска - город или регион
Новый инструмент - обновление A-Parser, теперь обновления можно устанавливать автоматически через интерфейс, поддерживается два канала обновлений - Stable и Beta
Для уникализации результатов теперь используется LevelDB - лучшая скорость и низкое потребление памяти
Улучшена работа с битыми кодировками и детектирование кодировки страницы
В инструменте тестирования шаблонов теперь доступны предустановленные результаты для всех парсеров
Шаблонизатор теперь можно использовать в самих запросах, в формате запроса, а также в Конструкторе результатов
Для парсера Net::HTTP при формировании POST запроса добавлена возможность использовать шаблонизатор в теле запроса
Добавлена возможность выводить результаты в формате JSON
Новая опция Not found is error для парсера Net:: DNS - позволяет перепроверять ложные ответы от DNS серверов
Добавлена возможность удалять неиспользуемые базы данных Keep unique
Новые подсказки в интерфейсе, соответствуют новому формату шаблонов
Добавлена возможность сбросить пароль доступа к интерфейсу A-Parser
Сервер парсера теперь можно выключить или перезапустить через веб-интерфейс

Исправления

Исправлен парсер SE::Yandex в связи с переходом на новую выдачу
Исправлен парсер SE::AOL в связи с изменением в выдачи
Исправлен ошибка, при которой проверка прокси начиналась заново при перезагрузке интерфейса
Исправлена медленная работа очереди заданий при большом количестве заданий(более 1000)
Исправлен вывод исходного запроса $query.first при многоуровневом парсинге в SE::Yandex::WordStat
Net:: DNS - исправлена работа на ОС Windows
SE::Yandex::Webmaster::Index удален в связи с прекращением работы сервиса
Исправлено некорректное определение некоторых полей в парсере Net::Whois
Исправлена работа переменной $pagenum в парсере Net::HTTP
Исправлена ошибка, при которой парсер мог вылететь при использовании уникализации по простым результам
Задания с пустым файлом запросов не завершались автоматически
Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
Исправлен парсер Rank::Alexa в связи с изменением в выдачи
Исправлен парсер Rank::MajesticSEO в связи с изменением в выдачи
Исправлена работа с кодировкой windows-1251
Исправлен подсчет числа простых результатов
Исправлена работа метода CONNECT при использовании прокси с авторизацией по логин\паролю
Исправлен парсер Rank::Category в связи с изменением в выдачи

Полный список всех изменений в соответствующем разделе

Также мы рады сообщить что добавили прием PayPal, QIWI и Wire Transfer в автоматическом режиме

Forbidden · 31.07.2014, 10:37

В связи с выходом новой версии создан новый топик