Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Реклама и анонсы партнерок и сервисов
Дата
USD/RUB58.8280
BTC/USD0.0000
Реклама и анонсы партнерок и сервисов Анонсы партнерских программ и реклама полезных сервисов.

Закрытая тема
Опции темы Опции просмотра
Старый 21.06.2013, 16:30   #1
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
Отправить сообщение для mlu с помощью ICQ
Arrow domains.checkparams.com - история параметров доменов (PR, ТиЦ, DNS, Google Analytics, Adsense и др.)

Команда разработчиков CheckParams рада представить вашему вниманию радикально обновленную версию сервиса истории доменов и IP-адресов domains.checkparams.com.

С 2010 года сервис собирает историю изменения следующих параметров:
- Google PR
- Яндекс ТиЦ (+ зеркала, + наличие присвоенной тематики ЯК)
- Alexa (в т.ч. и наличие в DMOZ по данным Alexa)
- DNS (записи типов A, NS, MX, CNAME, коды ошибок DNS, например, "домен не существует")
- Данные HTTP-запросов + обратный поиск по ним (Google Analytics ID, Adsense Publisher ID, код ошибки ответа сервера, редирект)

Всего в базе содержится более 650 миллионов доменов и IP-адресов, по которым есть история параметров.

Изменения по сравнению с предыдущей версией сервиса:
- Выросла скорость обработки запросов (~ в 10-100 раз)
- Появилась информация по редиректам, в т.ч. и обратный поиск (можно увидеть ссылающиеся домены)
- Добавлена информация по ошибкам DNS (нет записей DNS, домен не существует и так далее)
- Добавлен полноценный поиск по ID для Google Analytics и Adsense
- Убраны ограчения на 100 записей в таблице с результатами поиска

В самом ближайшем времени планируется выход API для запросов из скриптов/программ.

Стоимость услуг составляет от $0,0025 за запрос со всеми доступными данными по адресу.

В честь перезапуска сервиса всем платным пользователям увеличены лимиты на количество запросов в два раза.

Новым пользователям с форума предлагаем воспользоваться одним из 10 промо-кодов на 1000 бесплатных проверок:
More


Добро пожаловать!
mlu вне форума  
Старый 01.07.2013, 21:11   #2
inkubus
Senior Member
 
Аватар для inkubus
 
Регистрация: 11.02.2010
Сообщений: 935
Бабло: $176795
По умолчанию

не знаю многоразовые ли они, но забрал последний.

кстати добавил в seoquake кнопку для быстрого перехода на сервис с проверкой текущего домена.



Код:
[NAME]=CheckParams
[TITLE]=ChPa
[URL_R]=http://domains.checkparams.com/index.php?q={clean_domain}
быстро и удобно
inkubus вне форума  
Старый 02.07.2013, 17:57   #3
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
ТС -->
Отправить сообщение для mlu с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от inkubus Посмотреть сообщение
не знаю многоразовые ли они, но забрал последний
Многоразовые :)

Появился API для массовых программных проверок истории. Данные выдаются в форматах XML и JSON (на выбор), на один HTTP-запрос выдаётся сразу вся доступная информация по адресу.

Для бесплатного бета-теста просьба написать в ЛС, я отправлю информацию по API.
mlu вне форума  
Старый 02.07.2013, 19:36   #4
arma
Пионер
 
Аватар для arma
 
Регистрация: 21.12.2007
Сообщений: 197
Бабло: $37745
По умолчанию

Offtopic
__________________
arma вне форума  
Старый 02.07.2013, 20:06   #5
mlu
Senior Member
 
Аватар для mlu
 
Регистрация: 17.02.2011
Сообщений: 153
Бабло: $26940
ТС -->
Отправить сообщение для mlu с помощью ICQ
автор темы ТС По умолчанию

Цитата:
Сообщение от arma Посмотреть сообщение
Расскажите про архитектуру сервиса.

Используете какой-то менеджер задач, Gearman, RabbitMQ?
На чем воркеры написаны, как обеспечиваете отказоустойчивость, используете для распаралелливания задач ноды, какой конфигурации итд? С какими проблемами столкнулись?

Просто похожую задачу решаю (в тех. плане),
где-то 1млн+ задач в сутки делать надо, немного по сравнению с вами, выбираю решения.
Источник данных - программа checkparams и её файлы результатов проверок в формате csv.

Раньше данные хранились в MySQL, заливались в базу простыми perl-скриптикамии выводились пхпшкой пользователям. Но по причине полного отсутствия у меня знаний по оптимизации и правильной настройке MySQL при достижении 9-11 миллиардов записей суммарно MySQL стал невыносимо тормозить. Выборки из почти полутерабайта данных нагружали как HDD, так и SSD, среднее время запроса данных для платных пользователей выросло до 10-15 секунд.

Пришлось писать свой велосипед. Сейчас данные хранятся в самописной базе данных под windows (С++, WinAPI) на обычном HDD на виндовом софтерном зеркальном рейде. Объём базы в результате использования собственного формата данных уменьшился до 175 гигабайт несмотря на бОльшее количество хранящейся информации по сравнению с предыдущей версией. Среднее время запроса данных для платного пользователя упало до 100-120 миллисекунд, 99% времени занимает обработка полученных от БД данных на стороне пхп и вывод (фронтенд остался на пхп).

Никаких специальных менеджеров, очередей и прочего не использую. Отказоустойчивость самой БД в рамках сервера обеспечивается обычным RAID1, отказоустойчивость уровне нескольких серверов предусмотрена, но пока не используется. БД легко распараллеливается как в рамках сервера (на несколько дисков), так и на несколько серверов, но она на одном сервере и одном диске работает так быстро, что пока даже и не думаю про распараллеливание.

Насчёт проблем, с которыми я столкнулся: лень - главная моя проблема :)
mlu вне форума  
Старый 02.07.2013, 20:26   #6
arma
Пионер
 
Аватар для arma
 
Регистрация: 21.12.2007
Сообщений: 197
Бабло: $37745
По умолчанию

Цитата:
Сообщение от mlu Посмотреть сообщение
Пришлось писать свой велосипед. Сейчас данные хранятся в самописной базе данных под windows (С++, WinAPI)
Круто

Спасибо
__________________
arma вне форума