CheckParams - софт для массовой проверки параметров ссылок/доменов

[mlu]

Здравствуйте.

Предлагаю софт под Windows для массовой проверки через прокси параметров ссылок и доменов на различные параметры, такие как Google PR, Яндекс.тИЦ, индексация в ПС, алекса, хуиз-запросы, DNS и т.д.

Софт подойдёт тем, кто в промышленных масштабах закупает ссылки, домейнерам, оптимизаторам, способным самостоятельно извлечь полезную информацию из результатов работы софта. Не подойдёт тем, кто хочет мониторить позиции своей домашней странички на народ.ру.

Софт рассчитан на полностью автоматическую проверку миллионов ссылок/доменов. Т.е. добавил ссылки, запустил, подождал, получил результат. Всё остальное он сделает сам.

Софт очень сложный, практически без GUI, конфиги в XML, но с замечательной документацией, где каждый параметр максимально детально описан на русском языке.
Сложность первоначальной настройки легко компенсируется дальнейшей безотказной работой, полной автоматизацией и скоростью проверки.

Внутри софт модульный, на данный момент реализованы следующие модули для проверок ссылок и доменов:

* проверка Google PageRank у доменов и конкретных страниц
* проверка на склейку домена в Google (с информацией о зеркалах) для доменов
* проверка на индексацию страницы в Google
* выдача информации по количеству проиндексированных страниц домена в Google
* выдача количества найденных страниц в поиске Google для ключевого слова
* проверка в Yandex на тИЦ, склейку (с информацией о зеркалах), наличие в Яндекс.Каталоге для доменов и конкретных страниц
* проверка на индексацию страницы в Yandex
* выдача информации по количеству проиндексированных страниц домена в Yandex
* Whois-запросы по домену с полной информацией (выдача в формате base64, простейшим скриптом выдёргивается владелец, дата регистрации и прочее)
* DNS-запросы на резолв A,MX,CNAME,NS-записей для доменов (позволяет получить информацию о нейм-серверах, хостинге, мыльниках и т.д.)
* любые HTTP-запросы по списку ссылок (с помощью простейших скриптов можно организовать массовую проверку наличия своих ссылок на страницах, поиск сайтов на определённых движках, поиск общего владельца у разных сайтов по скриптам Google Analytics, Google Adsense и так далее)
* проверка кол-ва бэклинков в Yahoo
* проверка наличия в web.archive.org
* проверка параметров сайта в alexa.com

Так же реализованы следующие модули:

* модуль поддержки скриптов (поддерживаются JavaScript, Perl, PHP и другие скрипты), позволяет управлять софтом скриптами, модифицировать/отсеивать результаты, парсить всё, что угодно и как угодно, вызывать функции HTTP-запросами.
* модуль проверки прокси, который сам автоматически скачивает прокси-листы из разных источников, автоматически определяет тип прокси (socks4,socks5,https), сам проверяет прокси, удаляет нерабочие и умеет работать в качестве прокси-чекера для других программ, выдаёт готовые проверенные списки прокси.
* модуль управления программой по HTTP, позволяющий полностью управлять программой через HTTP-запросы, запускать-останавливать, смотреть статистику, вызывать встроенные функции из скриптов, заливать и забирать прокси и так далее.

В софте практически каждый параметр, который только можно придумать, конфигурируется. Практически всё можно настроить/подправить/изменить/исправить.

Можно писать и добавлять в конфиг любые свои модули для проверки параметров ссылок и для простого парсинга любых данных. Например, легко можно написать модули для проверки ЖЖ/юкоз на занятость, проверки сайтов на наличие в "семейном" поиске Яндекса, сабмит RSS-лент пингом и так далее.

Поддерживаются макросы. Доступны логи и детальная статистика по работе. Все модули могут работать как напрямую, так и через прокси (за исключением DNS). Поддерживается автоматизация, запуск из командной строки с указанием конфига, автоматический вызов функций при окончании проверки, автоматическое закрытие.

Софт берёт ссылки для проверки из простого текстового файла, записывает результаты тоже в простой текстовый файл формата CSV, умеет дописывать свои же результаты справа в строчках, есть возможность через скрипты настроить свои форматы выдачи, в т.ч. и писать результаты сразу в базы данных.

В данный момент софт предоставляется бесплатно, но необходимо получение ключа для работы, он привязывается к компьютеру.

Отзывы можно глянуть на сёрче

Интересует? Обращайтесь, координаты на сайте:

http://checkparams.com/

[mamba]

т.е. можно забить

site:mydomain.com

и на выходе я получу список урлов - т.е. все страницы что в индексе гоогля? =))

крутяк, проверю

[Subudayj]

Сообщение от mamba

т.е. можно забить

site:mydomain.com

и на выходе я получу список урлов - т.е. все страницы что в индексе гоогля? =))

крутяк, проверю

Добрый день.
Да, парсится любой запрос.
Учтите, что гугл будет очень резво банить такие запросы - нужно много хороших проксей.

[mamba]

Всем благодарен)

[mlu]

Парсит ли кто-нибудь подсказки гугла программой? Если не ей, то парсят ли другим софтом, чем? Какие объёмы? Скорость? Есть некоторые идеи по поводу подсказок, хотелось бы выяснить, насколько это актуально вообще.

[table]

Сообщение от mlu

Парсит ли кто-нибудь подсказки гугла программой? Если не ей, то парсят ли другим софтом, чем? Какие объёмы? Скорость? Есть некоторые идеи по поводу подсказок, хотелось бы выяснить, насколько это актуально вообще.

Я иногда паршу твоим софтом. Объемы небольшие, под узкие ниши обычно. Хотелось бы спросить, можно ли парсить по алгоритму, пока подсказок не останется, то есть я ввел например для парсинга подсказок слово check params, мне в подсказках выдало: check params bash, check params rails, check params shell script и тд. Вот хотелось бы, чтобы программа не останавливалась на парсинге подсказок только для заданного кея, а сама распаршивала подсказки подсказанных подсказок. И так пока подсказки не закончатся у подсказанных подсказок

[alkoustas]

Тогда уже запилить как у кейколектора по этой части функционал.
Те. как сказал table + еще возможность подстановки:
check params a
check params b
check params c
там добавляя одну букву вроди как еще подсказок вылазит новых. ну и с циферками тоже.

[mlu]

Сообщение от table

Хотелось бы спросить, можно ли парсить по алгоритму, пока подсказок не останется

Если есть хотя бы минимальные знания JavaScript, то организовать такое легко. Достаточно в функции OnAfterRequestGoogleQuerySuggest() найденные подсказки добавлять назад в очередь через функции AddUrl().

Сообщение от alkoustas

Тогда уже запилить как у кейколектора по этой части функционал.

С помощью скриптов и это можно, были бы желающие с обоих сторон


Я, вообще, спрашивал про подсказки, т.к. есть некоторые наработки на основе CP2LitePR, позволяющие выполнять порядка 3-10 миллионов запросов за 1-2 минуты на гигабитном сервере без использования прокси, потом бан айпи на несколько часов. Но, пообщавшись с людьми в IM и вообще не получив отзывов на форумах пришёл к выводу, что у софта перспектив еще меньше, чем у чекпарамс 8)