ProChecker: Массовый анализ и сбор баз! - Форум успешных вебмастеров - GoFuckBiz.com - Страница 7
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB88.4375
BTC/USD68024.8137
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 02.11.2011, 15:57
Start Post: ProChecker: Массовый анализ и сбор баз! 
  #61
getalifejerk
Ебланнед
 
Регистрация: 14.01.2011
Сообщений: 86
Бабло: $16370
Отправить сообщение для getalifejerk с помощью ICQ Отправить сообщение для getalifejerk с помощью Skype™
Thumbs up

ProChecker
Описание возможностей программы (bb-код отстой)


Немного истории

Все началось с того, что команде SEOшников потребовался инструмент для сбора больших баз для проставления ссылок. Так же важным требованием было фильтровать базы по заданным критериям. Например, мы хотели знать:
Количество исходящих ссылок в найденном URL. (Проверка на заспамленность).
PageRank, возраст домена, Alexa и другие показатели качества домена.
Работоспособен ли URL. (Проверить HTTP Status).
и многое другое.

На тот момент у нас было множество наработок, которые мы со временем объединили в одно целостное решение, назвав его ProChecker!

Логически ProChecker разделен на 3 шага:

1. Сбор и преобразование ссылок
Загрузка списка ссылок множеством способов. Возможность выпарсить ссылки из Google, а также производить различные преобразования и фильтрации списка.

2. Выбор задач для ссылок
Какую информацию мы хотим знать о ссылках, какой анализ мы хотим проделать.

3. Выполнение поставленных задач
Слежение за процессом выполнения задач в реальном времени. Представление результатов в удобном виде, фильтрация полученных данных и их последующий экспорт.

Рассмотрим каждый шаг подробнее.

1. Сбор и преобразование ссылок


Первый шаг, на нем нам доступны следующие возможности:


Open File
Открыть ссылки из файла.

Google Parser
Мощный парсер Google.

Parse Text
Выделение ссылок из смешанных данных, различные преобразования ссылок.
Также на этом шаге желательно указать базу прокси, если она ещё не указана.

Google Parser


Это инструмент для сбора ссылок из Google. Входные данные - ключевые слова, и максимальная глубина поиска.
На выходе вы получаете собранные ссылки по заданным ключевым словам.

Отличительные особенности:

1) Многопоточный
В разделе "Настройки" вы можете выбрать любое число потоков.

2) Стабильный
Автоматически пишется лог со всеми собранными
ссылками.

3) Максимальная глубина
До тысячи ссылок на один ключевик.

4) Неограниченное количество ключевых слов

5) Proxy
Сбор ссылок осуществляется через Proxy.
Для этого мы разработали специальный Proxy Manager, который прост и удобен в работе.
Для этого мы разработали специальный Proxy Manager, который прост и удобен в работе.

Proxy Manager


1) Удобство и простота
Для того, чтобы загрузить список прокси, можно просто открыть любой бесплатный сайт, занимающийся сбором свежих прокси (например: http://realbooster.com/seo-services/...oxy-list-tool/), выделить всю страницу (CTRL+A), затем в окне Proxy Manager нажать "Load New Proxy List". В открывшемся окне вставить выделенные данные, Proxy Manager сам выделит proxy из текста.

2) Умный Менеджер
Во время работы Proxy Manager сам будет вести статистику качества proxy. Медленные и некачественные proxy будут постепенно удаляться из списка.
Proxy Manager постоянно проверяет proxy в фоновом режиме, и удаляет "умершие".
Когда все proxy "умирают", Proxy Manager приостанавливает работу программы и просит ввести новый список.

Parse Text


Наверняка каждый из вас часто сталкивается с задачей когда есть большой файл в котором присутствуют ссылки и текст, а выделить нужно только ссылки или ip адресса.
Или нужно из большого списка выделить только уникальные домены, убрать повторения, перемешать случайным образом список ссылок и т.д.
Специально для всей этой рутинной работы и предназначен данный инструмент.

2. Выбор задач для ссылок


Теперь, когда у нас есть список ссылок, нам надо выбрать действия которые мы хотим проделать с этим списком.
Мы постарались подготовить для вас множество модулей, которые могут вам понадобиться на все случаи жизни. Если же вам не хватит встроенных модулей - мы предусмотрели возможность разработки собственных модулей.

Для удобства мы разделили модули на группы.

SEO модули


Это модули, которые получают различную SEO информацию о ссылке из выбранных сервисов.
Все SEO модули загружают информацию через Proxy.

Google Index - количество страниц домена в индексе гугла.

Page Rank - PageRank страницы.

Alexa - Alexa домена.

YahooDir - наличие домена в Yahoo директории.

Dmoz - наличие домена в Dmoz директории.

Yahoo Inlinks - количество ссылок на страницу из Yahoo Inlinks.

Inbound Links - количество ссылок на страницу из MajesticSeo.

Domain Age - возвращает возраст домена.

Модули, возвращающие результат на основании контента страницы


HTTP Status - возвращает Http Status страницы.
Очень удобно для проверки ссылок на работоспособность.

Outgoing Links - количество исходящих ссылок на другие домены со страницы.
Благодаря этому показателю удобно определять заспамленность страницы.

Is Form - ОЧЕНЬ ПОЛЕЗНЫЙ МОДУЛЬ!
Определяет есть ли на странице форма для постинга ссылки.
Умеет определять формы следующих движков:
CuteNews, SNews, Nucleus CMS, Geeklog, Poster, b2evolution, Media Factory, BlogCMS, Posterous, Dotclear, Habari, Movable Type Pro, WordPress, FlatPress, Joomla, Pligg, Phpdug, Scuttle, множество гостевых книг и большое количество других движков, у которых форма постинга похожа на вышеперечисленные.

Spam Filter - вспомогательный модуль для модуля Is Form.
Определяет если на странице с формой постинга уже добавленно настолько много ссылок, что появились страницы для их просмотраесть, тогда возвращает положительный результат (Т.е. страница попала в Spam Filter)

Regex Match

Проверяет на соответствие Regular Expression (Регулярного Выражения) шаблона.

Backlink Checker

Ищет исходящую ссылку на указанный ресурс. Если ссылка есть то возвращает её тип: DoFollow или NoFollow. Наприме вы заказали у когото проставление ссылок и хотите в полученном отчете проверить везде ли на вас стоят ссылки и сколько из них DoFollow.

Request - Подключение собственных модулей

Мы постарались сделать систему максимально гибкой.
И поэтому сделали модуль Request который позволяет подключать любые ваши программы/скрипты.

Принцип работы следующий, в настройках модуля вы указываете либо путь к вашей программе либо путь к вашему скрипту.
Например: "С:\myprogramm.exe" или "http://myhost/MyScript.php"

Затем во время обработки ссылок, ProChecker будет вызывать указанную вами программу/скрипт и передавать в качестве параметра Url обрабатываемой ссылки.

Затем ваша программа или скрипт производит необходимые действия (например - добавляет ссылку, выделяет контент и т.д.) и возвращает в ответ который вы можете разделить на успешный и не успешный по признаку вхождения в ответе строки.

Также модуль Request может запускать при условиях. Например вы можете задать условие чтобы ваш скрипт запускался только если PageRank страницы больше "2".

В итоге с Request вы можете реализовать очень сложные механизмы, которые будут быстро и качественно работать.

Например: У вас есть список сайтов с формой регистрации сделанных на одном движке. И у вас есть POST запрос который позволяет зарегистрировать там аккаунт. Так вот, для регистрации нам необходимо всего лишь загрузить этот список в ProChecker, выбрать в Request модуле например PHP скрипт который будет выполнять это POST запрос и запустить выполнение задачи!
Дальше ProChecker сам многопоточно запустит ваш PHP скрипт для каждой ссылки, и покажет удачно прошла регистрация или не удачно!

Также для запускаемых программ и скриптов можно устанавливать Timeout что приводит к надежной работе.

Примеры использования

Сбор баз и расставление ссылок
Одно из самых главных применений ProChecker это сбор баз для добавления ссылок. В отличии от других парсеров, ProChecker не требует никаких стожных настроек. Все просто и наглядно! Вы просто вводите список запросов для гугла и в итоге получаете готовый результат.

Поиск дропнутых доменов
Скрин 1 и Скрин 2
ProChecker удобно использовать для того чтобы найти дропнутые домены с хорошими SEO показателями. Для Найти домены можно например на сайте JustDropped.com просто введя интересующее нас ключевое слово (на картинке найден список сожержащий слово "SEO"), закинуть список в ProChecker, выбрать интересующие нас SEO показатели (в примере были выбранны YahooInlinks, PageRank, Google Index, Alexa, Http Status) и нажать Start.
В итоге потратив 2 минуту можно легко найти несколько хороших доменов!

Массовый анализ SEO показателей, Анализ конкуренции
Скрин
На картинке приведен пример 20 проанализированных страни на различные SEO показатели полученных из google по запросу "payday loans"!

Мониторинг беклинков
У каждого вебмастера есть базы откуда на его сайт проставленны ссылки.
Некоторые заказывали ссылки, некоторые хотыт проверить лог спамилки, КОНКУРЕНТОВ, трастовые...

И многое другое
Это лишь несколько простых примеров использования.
Каждый из вас легко найдет массу применений.


3. Выполнение поставленных задач


Итак когда у нас выбранны ссылки и поставленны задачи для работы с ними, мы готовы нажать на кнопку "Start".



Обращаем ваше внимание, что перед запуском стоит проверить "Настройки", такие как количество выбранных потоков и максимальный размер загружаемой страницы.

Во время работы программы в статусной стоке будет показанна техническая информация (количество ссылок, процент выполнения, количество "живых" прокси, затраченое время и прогнозируемое до завершения)

В процессе работы и после выполнения задач вы поможете применять к результатам фильтры и экспортировать полученные результаты в удобном для вас формате.

Применение фильтров

При помощи фильторв вы можете выбрать результаты с необходимыми для вас показателями.
Например вы можете выбрать только те ссылки у который PageRank от 1 до 7, возраст домена больше 3ех лет и колисечтво проиндексированных страниц в гугле больше 7 тысяч.

Экспорт результатов

Данные можно экспортировать в txt, csv и html форматы.
В html формате работает сортировка по столбцам.

Пример отчета в html формате


Как приобрести?
Цены:
1 месяц: $49
6 месяцев: $199
12 месяцев: $299

Приобрести можно по вебмани и по банковской карте (через плимус, через неделю будет активно на нашем сайте). Приобретается лицензионный ключ, который делает данную программу рабочей на тот или иной период.

Мои контакты:
Email: [email protected]
ICQ: 634873087
Skype: letmehelpplz

Дополнительная информация:
Мы можем дать программу на обзор, но за качественный отзыв, и естественно аккаунты-однодневки или те, кто в read-only сидят не получат такую возможность. Отдельно рассмотрим предложения популярных блоггеров, кто пишет на тему манимейкерства в буржунете.
Также в течение недели-полуторы будет активна партнерская программа, как для прочекера, так и для всех других наших сео сервисов. Очень живая тема для запада.

Пишите сюда все вопросы, или по аське/скайпу/мылу.
__________________
ProChecker v1 // Proxy Radar v1 // Submittr-β // Автоаппрув база // Бесплатные прокси!! // Skype: letmehelpplz // ICQ: 634873087
getalifejerk вне форума  
Старый 15.11.2011, 17:40   #62
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,354
Бабло: $470735
По умолчанию

Цитата:
Сообщение от stangher Посмотреть сообщение
Если тебя это так сильно задело, мог бы хотя бы спросить почему так получилось - потому что контраст сообщений ощущался, и это явно два человека было? Я бы тебе спокойно ответил, и ситуация была бы исчерпана - не понимаю вообще почему она появилась?
Мне надо было спросить? - не угадал.
Твой "бизнес" - ты и следи за своей репутацией и имиджем. А то раньше говорил одно, сейчас другое - так дела не делаются.
Был тут один...разговорчивый, только у него наоборот было: не один ник на несколько человек, а один человек на несколько ников, хм

Цитата:
Сообщение от stangher Посмотреть сообщение
Вот как раз этот факт и причинил возможно кому-то моральный вред, потому что как раз на забаненный ник есть взятые обязательства - два топика, один этот и один по услугам, и я там отписывался и брал на себя ответственность. После чего мне надо всем отписаться, и поставить ЛИЧНО в известность, что мне забанили юзера, по абсолютно глупой причине.
это не глупая причина, а следствие выбранной PR-политики, и никак тут не моя вина
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 13.01.2012, 17:29   #63
stangher
Юниор
 
Аватар для stangher
 
Регистрация: 15.11.2011
Сообщений: 29
Бабло: $6200
По умолчанию

Мы серьезно обновили ProChecker!
По мере сил и возможностей, учли все предложения, прозвучавшие тут.
А также по этой акции вы сможете получить его и нашу программу Proxy Radar - совершенно БЕСПЛАТНО!
__________________
Прогоны под бурж! // ProChecker // аренда серверов // Proxy Radar // Бесплатные прокси! // ICQ: 634-873-087 // Skype: letmehelpplz
stangher вне форума