A-Parser - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[Forbidden]

Что такое A-Parser?

Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:

Поисковые системы

• Google
• Bing
• Yahoo
• Yandex
• QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса
• Парсер AOL, реализованный через парсер Net::HTTP с опциями Parse custom result, Use pages и др.

Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

Парсеры кейвордов

Сервисы поиска ключевых слов

• Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня.

Подсказки поисковых систем

• Подсказки и релейтед кеи Google
• Подсказки и релейтед Bing
• Подсказки, релейтед и трендовые кеи Yahoo
• Подсказки и релейтед Yandex

Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

Параметры сайтов и доменов

• Rank::Ahrefs - парсер количества беклинков с сервиса ahrefs.com, парсит общее число беклинков, количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
• SE::Google::Position - проверка позиции домена по ключевому слову в гугле
• Google PageRank - PR страниц и доменов
• SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
• SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
• DMOZ - наличие сайта в каталоге DMOZ
• Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
• Whois - дата экспайра домена
• Bing LangDetect - проверка языка домена\ссылки
• Net::DNS - парсер резолвит домены в IP адреса
• Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
• Rank::CMS - определение более 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков

Парсеры различных сервисов

• SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
  SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста

Парсинг контента

• HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
• Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.

Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

Обработка и фильтрация результатов

• Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
• Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
• Парсинг любого результата с использованием регулярных выражений.

Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:

• Полностью интерактивный мега-юзабильный веб интерфейс
  • Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
  • Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
  • Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
  • Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
  • Поддержка русского и английского языка
• Огромная скорость работы, подробнее тут: Производительность
• Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
• User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
• Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
• Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
• Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki

Более подробное описание и скриншоты

Wiki - дополнительная информация, инструкции и т.д.

Скриншот интерфейса:


На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов

Ценовая политика

На данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API)

• Цена лицензии - 200$
  
• Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
  
• Цена лицензии с API: +50$ к стоимости основной лицензии
  
• Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
  
• Комплект A-Parser + A-Poster всего за 300$!
  
• Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!

Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно.

Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов:

• ICQ 777889
  
• Jabber/GoogleTalk [email protected]
  
• Skype frb403

Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.

[Forbidden]

Сообщение от 1een

"Легкая установка" - это lol . Почему бы в преимущества не записать управление мышью?

Это не lol, у меня есть огромная армия пользователей A-Poster'а - наиболее частая проблема которых была установка на Linux, т.к. ставлю его я сам собственноручно

Сообщение от 1een

Hrefer, конечно ,не продается отдельно, но тут нагуглился другой парсер ПС по другой цене. Парсер подсказок и проверки доменов есть абсолютно for free.

фо фри или с меньшей ценой есть много чего, но кто может похвастаться скоростью сбора подсказок в 40-50к запросов в минуту? или кто может может парсить гугл в 100+ мбит\с? я могу долго продолжать спрашивайте

по поводу производительности скоро будет отдельный развернутый пост

P.S. комментируя стоимость - делайте пожалуйста это более развернуто, подтверждая фактами. Цена утверждена окончательно и может изменятся только в +

[Хуян Машонкин]

Сообщение от 1een

"Легкая установка" - это lol . Почему бы в преимущества не записать управление мышью?

Согласен ,что фраза "легкая установка" звучит както по нубски , но если мне ,к примеру , автор аналогичного софта 5 суток делал перепривязку на другой сервер, то возможность исключить данные задержки ,в моем случае, я усмотрел как плюс.

[JonnyB]

Пользуюсь парсером около месяца, доволен, все в нем устраивает, то как происходят обновления и добавляются новые фишки в нем, уверен что уже через месяц это будет мощнейший инструмент для парсинга всего что можно напарсить :-) Думаю он стоит своих денег.

[wiam]

Также приобрел парсер в период бета-теста. Все достоинства уже расписали хз что и добавить, разьве что готовность автора дописать любой модуль по заказу. Абонентка в 5 баксов в месяц это вообще ничто по деньгам, зато гарантия работоспособности парсера в любое время, учитывая, кто его автор

[karma]

Будет 3 версии - Light(Парсер гугл + что нибудь еще), Pro(Все парсеры), Enterprise - версия с документированным API (аля REST/JSON) для управления парсером, и использования в своих проектах

Ориентировочная цена на Enterprise?

[Forbidden]

Сообщение от karma

Ориентировочная цена на Enterprise?

пока не могу сказать, будет видно ближе к выходу энтерпрайза
если есть конкретные хотелки по возможностям - озвучивай =)

[Straxodrom]

Взял парсер тоже на стадии бета-тестирования,пошел на этот шаг исходя из того,что достоинставами а-постеров (много лицензий) пользуюсь давно и плодотворно.
Конечно,изначально не факт,что автор отличного постера может написать отличный парсер,но мои ожидания оправдались.

Достоинства софта по-моему бывают двух типов:

Первый тип - необходимые достоинства,которые все продукты должны иметь,именно должны - это удобный/понятный интерфейс,легкая установка софта,простота использования,и доступная тех. поддержка.
А-парсер все эти достоинства имеет:
1.устанавливается за пару минут
2.удобный/понятный интерфейс с отдельными вкладками и презетами
3.очень прост в использовании,сутками вникать в работу парсера не надо,все быстро становится ясным
4.ну а насчет доступной тех. поддержки,думаю,Forbidden-а все знают и давно,всегда доступен,если прям в эту секунду не на месте,то быстро отзовется,и что еще важнее всегда готов помочь разобраться в проблеме до конца

Второй тип - желательные достоинства,которые не обязательно,чтобы все продукты имели,но желательно
Подчеркну три достоинства,которые в конце тестирования и сравнения с результатами других парсеров(не хочу называть) стали очевидны
1. Скорость парса - очень высокая,ни с чем не сравнимо
2. Результат парса - или можно назвать глубиной парса,или еще как-то,просто говоря конечный результат парса получается больше,намного больше,даже по сравнению с некоторыми парсерами в разы больше
3. Возможность добавить свои фишки в софт,можно в итоге получить эксклюзивный парсер

Что касается цены софта,это вопрос несколько субъективный,тут невозможно на своем опыте использования что-то доказать,единственный вариант,сравнить с другими похожими продуктами.
По-моему,анализируя результаты а-парсера и других парсеров,цена очень даже разумная.
А абонентская плата нужна не автору,а нам,чтобы у автора требовать обновления и развитие софта

[adamant]

в абонку я так понимаю включены бесплатные прокси?

[Strikelol]

Сообщение от adamant

в абонку я так понимаю включены бесплатные прокси?

А че проксей тяжело для парсера собрать?

[sic]

ну хз, очередное "все в одном флаконе", учитывая что все вышеперечисленное может делать софт, который уже у многих давно куплен и работает годами. я вот лично не увидел ничего уникального, за что хотелось бы отдать 200$. сейчас слишком большой выбор, чтобы завышать цены на свои продукты...