GhostBusters. Проверка доменов по блеках

[ghostbusters]

Привет Колеги по веб-бизу!
Вызывали "Охотников за привидениями"? Мы пришли ). А для нас привидения, это злосные блек-листы. Мы понимаем как вы расстраиваетесь, когда юзера не могут зайти на ваш сайт и видет огромное красное окно "Этот сайт опасен", а ведь там всего лишь маленькая связочка стоит ). Что сдесь такого плохого ).

Так вот мы запускаем сервис GhostBusters.cc, который поможет вовремя узнать о попадании в блек-лист, чтобы не терять драгоценный траффик.

Мы постарались сделать максимально удобный для вас сервис, поэтому у нас:
- главные проверки (в Internet Explorer и FireFox) проводяться на виртуальных машинах. Эмулируется заход юзера на сайт. Это дает нам увереность что результат проверки будет такой же как и у браузера пользователей.
- мы максимально оптимизировали скорость проверки и она составляет около 5сек. Это максимально возможная скорость, потому что за меньшее время некоторые злосные привидения не успевают вернуть результат проверки(например, Internet Explorer).
- у нас чекеров не много, но зато это именно те которые влияют на траффик. Мы не считаем что например такое маленькое привидения как СпамХаус влияет на траффик, поэтому и не включаем его в список. Мы проверяем на:
-- IE 7/8 black list (SmartScreen Filter)
-- FireFox and Chrome black list
-- PhishTank
-- McAfee Black list
-- Norton Safe Web
- у нас прекрасное API, что даст возможность легко внедрить проверку доменов в вашу админку.
- мы постоянно прислушиваемся к вашим советам, и если у вас будут замечания, просьбы, вопросы - пишите, всех их мы будем стараться решить.
- демократичные цены.

О самом сервисе можете глянуть минутное видео:
http://www.youtube.com/watch?v=mqWILzUnsmw
или


Сейчас мы работаем в тестовом режиме, поэтому всем дарим 30$ при регистрации. Вы сможете сразу начать пользоваться сервисом.

Ждем вас на GhostBusters.cc.

[ghostbusters]

В проверке доменов за начало майских празников добавили DNS-BH(http://www.malwaredomains.com/wordpress/), который проверяется по локальной базе.

Также добавили бесплатное АПИ для проверке доменов по локальных базах. Для этого нужно послать запрос на http://ghostbusters.cc/domain/free_api/ POSTом или GETом, и в параметре "url" передать домен. В результате ответ будет good или bad. Поскольку идет проверка только по тех блеклистах что локальных базах, то скрость проверки одного домена около 0.2мс.

В части проверки файлов, то добавили проверку файла по URL, где вы указываете URL файла, а ГхостБастер уже сам закачивает по указаной линке файл и начинает его проверять.

Еще последниее несколько дней много новых пользователей и самый частый вопрос, как обеспечиваем анонимность проверки - для этого мы каждой виртуалке антивируса на время использования ее при проверке файлов на файрволе обрубаем интернет. А перед обновлением баз, перед включением ее в интернет происходит откат виртуалки. Этим обеспечиваем полную анонимность!

Напомню, что сейчас время проверки файла на простом чеке около 20с.
А при проверке на СуперЧеке где-то около 2-х минут. Это связано с тем что сразу идет обычный чек, а потом идет запуск програмы на виртуалке, ждется пока програма начнется исполнятся(чтобы проактивки проверили), а в конце идет откат всех виртуалок. СуперЧек очень сильно нагружает систему, вчера и рано утром сегодня при проверке СуперЧеком из-за этого были некоторые проблемы, но сейчас уже включил резервы и стабилизировал нагрузку. Прошу прощения за это!

[ghostbusters]

Привет ). Мы как всегда не стоим на месте и постоянно добавляем новые фишки для вас. Надеюсь полезные ).

По чеку доменов мы добавили два блек-листа:
- Google Safe Browsing v1
- jwSpamSpy

А по чеку на антивирусах добавили проверку связок, промо-страниц и т.д. - http://ghostbusters.cc/file/webpage/
В этой проверке сервер пытается загрузить хтмл под разными браузерами, а также все ЯваСкрипты которые найдет на страницах. И дальше эту пачку файлов проверяет по всех антивирях.

Еще была добавлена експериментальная фича по поиску сигнатур в файлах. Алгоритм ее работы следующий. Берется файл копируется 5 раз, и в каждом определенный кусок заменяется на нулевые байты. А дальше чекается эти файлы. Если файл не палиться, значит мы этими нулями затерли сигнатуру и поэтому следующий раз уже этот участок будет разбиваться на новые кусочки, чтобы еще уменьшить границы где сигнатура находиться. Результат работы выдается в виде лога. Вот к пример поиска сигнатур Зевса в Авире:

Start signature test in avira antivirus
Iteration 1
zeus.txt - bad(avira).
Start new iteration...
Iteration 2
f_iter1_$0$61525$.txt - good.
f_iter1_$36915$110745$.txt - bad(avira).
f_iter1_$86135$159965$.txt - bad(avira).
f_iter1_$135355$209185$.txt - bad(avira).
f_iter1_$184575$246101$.txt - bad(avira).
Start new iteration...
Iteration 3
f_iter2_$0$15381$.txt - good.
f_iter2_$9228$27686$.txt - bad(avira).
f_iter2_$21533$39991$.txt - bad(avira).
f_iter2_$33838$52296$.txt - bad(avira).
f_iter2_$46143$61525$.txt - bad(avira).
Start new iteration...

Вот эту сторочку f_iter2_$0$15381$.txt - good. нужно интерпритировать как. В исходном файле с 0 байта по 15381 байт вставлены нули и файл перестал палиться. Значит сигнатура находиться в этих границах. Делается пока 5 итераций.

Поиск сигнатур думаю будет особенно актуальным для поиска сигнатур в хтмл и яваскрипт файлах.

ПС: эти последние два функционала пока находяться в бета-версии ). Посиму возможны ошибки. Еще буду работать и оптимизировать алгоритмы.

[ghostbusters]

Мы расширили список блеклистов на 5 новых:

• SpamCop (проверяется онлайн через прокси)
• MalwarePatrol (проверяется по локальной базе)
• Conficker by ShadowServer (проверяется по локальной базе)
• Rfc-ignorant (проверяется онлайн через прокси)

Раньше у нас был блеклист ZeuS Tracker, он проверял только домены. Но мы добавили и базу IP адресов, поэтому теперь названия блеков такие:

• ZeuS Tracker (domain) (проверяется по локальной базе)
• ZeuS Tracker (ip) (проверяется по локальной базе)

[ghostbusters]

У нас очередное расширение списка чекеров доменов... Добавили целую кучу блеклистов от Spamhaus'а:

• Spamhaus CSS (проверются IP-адрес если введен IP-адрес, а для домена определятся IP-адрес, и потом он уже проверяется)
• Spamhaus PBL (работает как выше)
• Spamhaus SBL (работает как выше)
• Spamhaus XBL (работает как выше)
• Spamhaus ZEN (работает как выше)
• Spamhaus DBL (проверються лишь домены напрямую, если IP-адрес введен, то он не проверяется)

Также добавлен Safe Browsing Diagnostic по Гугловскому веб-сервису чека доменов - http://www.google.com/safebrowsing/d...ite=google.com

Кстати, если вы проверяете домены через API и хотите проверять лишь в конкретных чекерах, то это возможно. Нужно лишь в POST параметре 'checker' перечислить через запятую сокращение чекеров, к примеру для проверки лишь в IE, в FF, Касперском и в Ноде нужно передать такую строку ' 'ie,google, kav, nod'. Все полные сокращение можна узнать в сапорта.

[ghostbusters]

Тут недавно пару статтеек на хабре было о нашей жизни ). И в одной из них говорилось про какую-то связку что чекает домены по нескольких блек-листах, и среди этих блеков был Malc0de Database - я даже немного растроился, что на ГхостБастере такого нету ). Но эт недоразумение уже исправили и добавили Malc0de Database. Теперь у нас домен проверяется в 28 блеклистах!!!
Напомню их:
- Conficker by ShadowServer
- DNS-BH
- FireFox and Chrome black list
- Google Safe Browsing
- hpHosts
- IE 7/8 black list (SmartScreen Filter)
- jwSpamSpy
- Kaspersky Black List
- Malc0de Database
- Malware Domain List
- MalwarePatrol
- MalwareURL
- McAfee Black list
- MyWOT (Panda Security)
- NOD32
- Norton Safe Web
- PhishTank
- Rfc-ignorant
- Safe Browsing Diagnostic
- SpamCop
- Spamhaus CSS
- Spamhaus DBL
- Spamhaus PBL
- Spamhaus SBL
- Spamhaus XBL
- Spamhaus ZEN
- ZeuS Tracker (domain)
- ZeuS Tracker (ip)

[ghostbusters]

Раньше интерфейс по проверке доменов списков http://ghostbusters.cc/domain/list/ всегда проверял по всех блек-листах, что было достаточно неудобно. Теперь это исправлено
Плюс еще добавили проверку доменов и айпишников по Sorbs (http://www.au.sorbs.net/).

[ghostbusters]

У нас тут большие! Или можно сказать огромные изменения! ). Теперь при проверке домена проверка в 33 блек-листах полностью бесплатная для всех, в том числе проверка в блеклистах Нода и Касперского! Лишь платные сейчас проверки в ИЕ и в ФФ.

А если вы пригласите юзера который станет VIP пользователем то и вам и вашему другу дополнительно будет еще бонус 20 дней ВИП-доступа. Тоесть за 30wmz можно получить 50 дней ВИП-доступа.

[ghostbusters]

Как оказалось Касперский ЯваСкрипт и ХТМЛ проверяет "правильно" лишь когда мы открываем сайт, но когда запустить просто проверку файл, то он молчит. Поэтому консольные чеки будут сбоить.

На Гхостбастере мы изменили алгоритм чека для Касперского и теперь по хтмл и яваскрипту всегда сможете получить реальный результат. Так что Вы сможете качественно следить за своими промо-страницами и вовремя их криптовать )

[ghostbusters]

В проверке доменов заменил KAV 2010 на KIS 2011, антивирус пробую обновлять каждые 15 минут, это позволит вам вовремя менять забаненые домены.

Для Вип-пользователей добавили маленький бонус HTML-morf, который по минимуму изменяет ваш код, но в большинстве случаев отлично сбивает сигнатуры
http://ghostbusters.cc/htmlmorf/ , если же какой-то HTML после морфа все равно палиться, напишите мне в аську - я мере необходимости буду дорабатывать морф.

История проверок доменов и файлов стирается через неделю, но если вам нужно срочно все очистить, то в FAQ ( http://ghostbusters.cc/faq/) написал как это сделать в один клик.

На страницу http://ghostbusters.cc/api/ добавил примеры использования файлового апи на PHP( http://gist.github.com/549455 ), и использования проверки Сплойтов (http://gist.github.com/549456).

Если нашли баги, или нужно что-то изменить добавить - я всегда(ну почти всегда ) в аське 589795103

[ghostbusters]

Привет всем )
Уже месяц как не писал о новостях, но это не значит что их нету )

Итак,
- усовершенствовали ХТМЛ-морф - http://ghostbusters.cc/htmlmorf/, теперь он проводит некоторые дополнительное автоматическое морфирование и поддерживает несколько ручных функций которые можете добавить в темплейт - {{ r_el() }} - вставить рандомную несущественную JS-конструкцию. {{ rand_var("symbol") }} - заменить символ на случайный. Этого функционала пока хватает ). А поскольку HTML-морф был сделан как благодарность для ВИП-пользователей, то если нужно вышлю исходники и документацию Морфа на Питоне и уже сможете сами его изменить под ваши нужды.
- за прошлый месяц мы значительно ускорили проверку в половине из нашего списка, а остальную часть ускорим в ближайшее время.
- Майкрософт антивирь перевели на вторую версию
- AVG обновили до 2011 версии
- в проверке доменов теперь используеться КИС 2011 с частотой обновления в 15 минут
- еще раньше проверка доменов на KAV и NOD была бесплатная, но из-за популярности этой фишки - сильно возросла нагрузка - так что простите, но мне пришлось отключить беслатный чек доменов в них.

Спасиба что с нами работаете!