A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.

[Forbidden]

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:

• Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
• Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
• Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
• Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
• Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера

Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

• SEO-оптимизация сайтов и Web-аналитика
  • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
  • Оценка сайтов и доменов по множеству параметров
  • Мониторинг позиции любых сайтов в поисковых системах
  • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
  • Отслеживание обратных ссылок
  • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
  • Сбор и оценка ключевых слов
  • Сбор списка обратных ссылок
  • И многое другое
• Web-безопасность
  • Сбор и фильтрация баз ссылок по признакам
  • Определение CMS сайтов
  • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
• Сетевое администрирование
  • Работа с DNS службой - резолвинг доменов в IP адреса
  • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:

• Колоссальная производительность
  • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
  • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
  • Множественные оптимизации сложных операций
  • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
• Промышленные масштабы
  • Парсер разрабатывался с учетом работы с неограниченным размером данных
  • Способен обрабатывать сотни миллионов и миллиардов запросов
  • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
• Автономность
  • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
  • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
  • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
• Поддержка более 70 парсеров
• Создание собственных пресетов
  • Использование регулярных выражений
  • Поддержка XPath
  • Поддержка многостраничного парсинга
  • Проверка контента и наличия следующей страницы
• Создание собственных парсеров
  • Быстрая разработка на JavaScript
  • Многопоточность и работу с прокси обеспечивает A-Parser
• Распознавание каптчи
  • Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
  • Поддержка CapMonster и XEvil
• Мощные инструменты для формирования запросов и результатов
  • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
  • Подстановки для запросов: из файла; перебор слов, символов и цифр
  • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
  • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
  • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
• Гибкость настроек
  • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
  • Настроить можно все - никаких рамок и ограничений
  • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
• Сетевые возможности
  • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
  • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
  • Полностью асинхронная работа с сетью, включая работу с DNS
• API
  • Возможность интегрировать и управлять парсером из своих программ и скриптов
  • Полная автоматизация бизнес-процессов
  • Клиенты для PHP, Perl, Python и NodeJS
• Постоянные улучшения и исправления
  • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
  • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
  • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
• Техническая поддержка
  • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
  • Создана подробная документация по A-Parser'у, открыт форум для пользователей
  • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
  • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной документации

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

[A-Parser Support]

1.2.2228 - 2 новых парсера, множество улучшений и исправлений



Улучшения

• Добавлен парсер геолокации IP/домена - IP::Geo
  
• Добавлен парсер для разгадывания RotateCaptcha - Util::RotateCaptcha
  
• В SE::Yandex добавлен параметр Serp time
  
• В парсерах OpenAI::Completions и OpenAI::ChatGPT обновлены модели
  
• В парсеры SE::Google::KeywordPlanner::* добавлен флаг, указывающий на точность данных
  
• В SecurityTrails::IP добавлена возможность парсинга с авторизацией
  
• В Shop::Aliexpress добавлена возможность парсить старую цену и валюту
• В SE::Youtube::Video добавлена возможность собирать данные о Shorts
• Добавлено информационное сообщение при ошибке импорта JS парсера

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google
  
• Исправлена ошибка при парсинге быстрых ответов в SE::Yandex
• Исправлен парсинг нескольких страниц в Shop::eBay при максимальном количестве результатов на страницу
• Исправлена работа Net::Whois с некоторыми доменными зонами
• Исправлен парсинг постов в Social::Instagram::Profile
• Исправлена подстановка переменных в Конструкторе результатов
  
• SE::Bing, Rank::MajesticSEO, SE::Ask, SE::Baidu, SE::AOL, SE:uckDuckGo, Shop::eBay, SE::Seznam, SE::Google::ByImage, Reddit::Posts

Исправления

• Исправлена логика работы SE:ogpile
  
• Исправлена работа Maps::Yandex с разгадыванием каптч
• Исправлена проблема с интерфейсом при сохранении региона в SE::Yandex
• SE::YouTube - устранено игнорирование рязрядов в $views при Device = Mobile
  
• Shop::Ebay - исправлены ошибки в парсинге цифровых значений
  
• Shop::Aliexpress - исправлены ошибки парсинга $shipping_price и $sold_count
  
• Исправлена работа tools.task.id в формате результата
• Исправлена ошибочная возможность перезаписать default пресет настроек
  
• Исправлена проблема зависания регулярных выражений в Parse custom result
• Исправлена ошибка вызова Social::TikTok::Profile в JS парсере

[A-Parser Support]

Обзор Premium Proxy от A-Parser (скорость, выбор локации, браузинг)

В данном видео продемонстрирована настройка и скорость работы новых Premium прокси. Данные прокси вы можете использовать как в A-Parser, так и в браузере или в любом другом SEO-софте.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[A-Parser Support]

Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser

62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.



Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.



Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсер корейского поисковика Daum.net
Парсер собирает данные (ссылки, анкоры, сниппеты и связанные ключевые слова) из поисковой выдачи корейской поисковой системы daum.net.

• Парсер переписан на TypeScript (JS APIv2)
• Обновлены регулярные выражения, исправлена работа в целом
• Убран totalcount, т.е. его больше нету в выдаче

Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сбор истории IP-адресов по домену и других веб-сайтов, которые имеют общие IP-адреса с искомым доменом.

• Убрана опция разгадывания капчи, т.к. теперь данные видны после авторизации и капчи там не видно
• Добавлена авторизация по логину и паролю

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com. Собираемые данные: частотность, стоимость клика, конкуренция, сложность, списки похожих ключевых слов, связанных ключевых слов, вопросов и ссылок органического трафика. В настройках доступен выбор источника (страна и поисковая система).

• Исправлена работа с каптчей
• Добавлена проверка выбора пресета Util::ReCaptcha2
• Небольшая оптимизация кода

Оценка страниц с использованием Lighthouse
Оценка производительности, доступности и оптимизации веб-страниц с использованием Lighthouse. В качестве источника используется сайт web.dev.

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

[A-Parser Support]

1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных



Улучшения

• В SE::Google:
  • добавлен параметр Empty totalcount is error, детальнее тут
  • добавлен сбор тегов (массив $tags.$i.tag)
• SE::Yandex - улучшен парсинг сниппета генеративного ответа
• В парсере OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
• В SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
• В SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
• В SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
• Следующие настройки перенесены из опций в параметры парсера:
  SE::Google: Parse people also ask
  SE::Yandex: Parse Quick answers и Parse generative answer

Исправления в связи с изменениями в выдаче

• В SE::Yandex исправлена работа с каптчами
• Исправлен парсинг дат в SE::Google
• Исправлен парсинг быстрых ответов в SE::Yandex
• В SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
• Исправлена работа Shop::Wildberries::ProductsList с некоторыми запросами
• Исправлен сбор $related в SE::Yahoo
• В SE::Yandex:irect исправлен парсинг доменов для некоторых случаев
• Исправлена ошибка Unexpected token в Social::TikTok::Profile
• Исправлен сбор $views в SE::Bing::Video
• В SE::You исправлен парсинг ссылок на превью
• В Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
• Исправлена ошибка при парсинге больше 5-ти страниц в SE::Ask
• Адаптация к изменениям на источниках: Shop::Amazon, Shop::AliExpress, Shop::Yandex::Market, SecurityTrails::IP

Исправления

• Исправлена проблема с отображением сохраненных заданий
• Исправлена работа опции Collect full region в Maps::Google

[A-Parser Support]

Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы
Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.


Парсер картинок с Шедеврум с дополнительными данными
Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, promptы по которым генерировались эти картинки, описание и т.д.


Парсер Pinterest Trends
Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.

• Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
• Изображение теперь доступно в переменной $data

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.

• Исправлен парсинг
• Парсер переписан на TS (API v2)
• Добавлена возможность указания количества страниц парсинга

Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.

• Исправлен сбор всех результатов
  
• Адаптация к изменениям на источнике

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.

• Парсер переписан на TypeScript API v2

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.

• Адаптация к изменениям на источнике
• $delivery теперь массив
• $formattedQuery был удален
  
• Вместо $html исходный код страницы сохраняется в $data

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

[A-Parser Support]

Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.


Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.


Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

[A-Parser Support]

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения

• Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
• Улучшена очистка ссылок в SE::Bing
• В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
• В SE::Yandex добавлен вывод "пропущенных слов"
• В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
• В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
• В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче

• Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
• Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
• Исправлен парсинг $thumb в Social::Instagram::Profile
• Исправлен парсинг $serp.$i.social в Maps::Yandex
• Исправлен парсинг комментариев в SE::YouTube::Video
• Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
• SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE:ogpile::Images, SE:uckDuckGo, Cloudflare::Radar

Исправления

• Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
• Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
• Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*

[A-Parser Support]

Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.





Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!