domains.checkparams.com - история параметров доменов (PR, ТиЦ, DNS, Google Analytics, Adsense и др.)

[mlu]

Команда разработчиков CheckParams рада представить вашему вниманию радикально обновленную версию сервиса истории доменов и IP-адресов domains.checkparams.com.

С 2010 года сервис собирает историю изменения следующих параметров:
- Google PR
- Яндекс ТиЦ (+ зеркала, + наличие присвоенной тематики ЯК)
- Alexa (в т.ч. и наличие в DMOZ по данным Alexa)
- DNS (записи типов A, NS, MX, CNAME, коды ошибок DNS, например, "домен не существует")
- Данные HTTP-запросов + обратный поиск по ним (Google Analytics ID, Adsense Publisher ID, код ошибки ответа сервера, редирект)

Всего в базе содержится более 650 миллионов доменов и IP-адресов, по которым есть история параметров.

Изменения по сравнению с предыдущей версией сервиса:
- Выросла скорость обработки запросов (~ в 10-100 раз)
- Появилась информация по редиректам, в т.ч. и обратный поиск (можно увидеть ссылающиеся домены)
- Добавлена информация по ошибкам DNS (нет записей DNS, домен не существует и так далее)
- Добавлен полноценный поиск по ID для Google Analytics и Adsense
- Убраны ограчения на 100 записей в таблице с результатами поиска

В самом ближайшем времени планируется выход API для запросов из скриптов/программ.

Стоимость услуг составляет от $0,0025 за запрос со всеми доступными данными по адресу.

В честь перезапуска сервиса всем платным пользователям увеличены лимиты на количество запросов в два раза.

Новым пользователям с форума предлагаем воспользоваться одним из 10 промо-кодов на 1000 бесплатных проверок:

Username "1f1d886b1c2d92553b33819f8bba0d20", password "948d86011cebc9a89e03df0a1eb74963"
Username "0d3532d980578515eefd527b7019780c", password "8a25fa617298dcd9cf67d40bb4e71703"
Username "7b6241f484b3539f2653c550efe2a5f8", password "703f92e3ea2969dc5671c43d66f85197"
Username "eff40eea932d9560e7d9752631a74fb8", password "ad5f405dd29035b11746fdca642283b5"
Username "c47b2a208009fd74ace0022c9bb4fc2c", password "72b9933ee8c16620babd613dda79b5fa"
Username "e634df4d20ebe889161ee486d1d47003", password "9da909162ca97e648dd2452ef52b4bf8"
Username "d9efed92bfc70c1e125bb36d7e40ae3b", password "3f7c1d19a57e949538496e003ca23b8a"
Username "6d70237f69dd2163bf691a02633a63df", password "552a92c374367be12ee5fb74be3f3231"
Username "5d327dc0b395956bd9d094c15b6ee6c1", password "21739db58627171652d10abc732894f1"
Username "a9d34902efa8239f74921ed47f8da214", password "b90618b1248f7a3941aed35f9cf80739"

Добро пожаловать!

[inkubus]

не знаю многоразовые ли они, но забрал последний.

кстати добавил в seoquake кнопку для быстрого перехода на сервис с проверкой текущего домена.

[NAME]=CheckParams
[TITLE]=ChPa
[URL_R]=http://domains.checkparams.com/index.php?q={clean_domain}

быстро и удобно

[mlu]

Сообщение от inkubus

не знаю многоразовые ли они, но забрал последний

Многоразовые :)

Появился API для массовых программных проверок истории. Данные выдаются в форматах XML и JSON (на выбор), на один HTTP-запрос выдаётся сразу вся доступная информация по адресу.

Для бесплатного бета-теста просьба написать в ЛС, я отправлю информацию по API.

[arma]

Расскажите про архитектуру сервиса.

Используете какой-то менеджер задач, Gearman, RabbitMQ?
На чем воркеры написаны, как обеспечиваете отказоустойчивость, используете для распаралелливания задач ноды, какой конфигурации итд? С какими проблемами столкнулись?

Просто похожую задачу решаю (в тех. плане),
где-то 1млн+ задач в сутки делать надо, немного по сравнению с вами, выбираю решения.

[mlu]

Сообщение от arma

Расскажите про архитектуру сервиса.

Используете какой-то менеджер задач, Gearman, RabbitMQ?
На чем воркеры написаны, как обеспечиваете отказоустойчивость, используете для распаралелливания задач ноды, какой конфигурации итд? С какими проблемами столкнулись?

Просто похожую задачу решаю (в тех. плане),
где-то 1млн+ задач в сутки делать надо, немного по сравнению с вами, выбираю решения.

Источник данных - программа checkparams и её файлы результатов проверок в формате csv.

Раньше данные хранились в MySQL, заливались в базу простыми perl-скриптикамии выводились пхпшкой пользователям. Но по причине полного отсутствия у меня знаний по оптимизации и правильной настройке MySQL при достижении 9-11 миллиардов записей суммарно MySQL стал невыносимо тормозить. Выборки из почти полутерабайта данных нагружали как HDD, так и SSD, среднее время запроса данных для платных пользователей выросло до 10-15 секунд.

Пришлось писать свой велосипед. Сейчас данные хранятся в самописной базе данных под windows (С++, WinAPI) на обычном HDD на виндовом софтерном зеркальном рейде. Объём базы в результате использования собственного формата данных уменьшился до 175 гигабайт несмотря на бОльшее количество хранящейся информации по сравнению с предыдущей версией. Среднее время запроса данных для платного пользователя упало до 100-120 миллисекунд, 99% времени занимает обработка полученных от БД данных на стороне пхп и вывод (фронтенд остался на пхп).

Никаких специальных менеджеров, очередей и прочего не использую. Отказоустойчивость самой БД в рамках сервера обеспечивается обычным RAID1, отказоустойчивость уровне нескольких серверов предусмотрена, но пока не используется. БД легко распараллеливается как в рамках сервера (на несколько дисков), так и на несколько серверов, но она на одном сервере и одном диске работает так быстро, что пока даже и не думаю про распараллеливание.

Насчёт проблем, с которыми я столкнулся: лень - главная моя проблема :)

[arma]

Сообщение от mlu

Пришлось писать свой велосипед. Сейчас данные хранятся в самописной базе данных под windows (С++, WinAPI)

Круто

Спасибо