Уважаемые форумчане!
Предлагаем вашему вниманию нашу новую разработку SEDv4 «MobyDick».
Мы шли к этому моменту почти год, за все время разработка претерпела сотни обычных и десятки кардинальных изменений.
2 месяца SEDv4 тестировался группой тестеров, людей, занимающих ТОПы некоторых партнерских программ в очень конкурентной тематике Download.
Было произведено порядка 50 (!) изменений включающих как багфиксы, так и нововведения.
Нами была кардинально переделана архитектура БД, что позволило снизить нагрузку в 4 раза!
После оптимизации архитектуры БД, которую использует ядро системы SEDv4, фактически последнего штриха в оптимизации продукта, мы провели нагрузочные тестирования, чтобы сравнить насколько стало лучше. А стало лучше, ни много ни мало, в целых 4 раза!
Что было сделано? Для каждого дорвея, теперь создается своя база данных, а это: - Масштабирование данных доменов.
- Скорость поиска по данным домена не зависит от количества доменов.
- Моментальная очистка\удаление данных домена.
Исходные данные- Процессор Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz 1600.000 Mhz X 8
- Оперативная память 16023256 kB (16gb RAM)
- Было залито 100 доменов, в каждом 10к -12к кеев
- Парсинг происходил с 10 ip
- Нагрузку обеспечивали два SEDcache (софт, который обходит страницы по имеющемуся списку), по 100 потоков каждый (итого 200 потоков), задержка 0
- Таким образом, к страницам дорвеев на этом сервере обращалось каждую секунду 200 "человек". А это немало, согласитесь.
Результаты- Вот такие данные мы имеем из SEDcacher'a
- Результаты на скриншотах получены в период между 22:30 вечера и 8:30 утра.
- Примерно 9 часов беспрерывных запросов на парсинг и к утру в кеше уже было:
- Всего обработано страниц: 290037 (1й кешер) и 298585 (2й кешер)
- 272905 (1й кешер) + 281481 (2й кешер) = 554 тысячи 386 страниц (пол миллиона сгенерированных страниц дорвеев!)
- 17026 (1й кешер) + 17001 (2й кешер) = 34027 ошибок при заходе на страницы
- Всего 5.78% ошибочных ответов от сервера!
Данные утилиты HTOP
Постоянная 100% загрузка всех ядер процессора, расход оперативной памяти 11.4 из 16 GB
Данные скрипта статистики Cacti по загрузке CPU
Статистика роста нагрузки по времени.
Как можно видеть, система отработала "на отлично" и даже при максимальных нагрузках мы получили всего 5.78% ошибочных ответов от сервера. Ядро стабильно, рационально расходуются существующие ресурсы сервера, не происходит утечек памяти и других вещей, которые могут привести к отказу системы.
Так что же такое SEDv4 «MobyDick»?
- 99% работы с SEDv4 это работа в админ панели
- 34 парсера сниппетов, 10 парсеров видео контента, 13 парсеров изображений
- Возможность создания пользовательских парсеров
- Возможность создания пользовательских макросов
- Встроенная статистика Глобально/для группы/для каждого домена
- Встроенный клоакинг с обновляемой базой IP и возможностью использовать собственные списки IP
- Поддержка групп дорвеев
- Массовая генерация групп дорвеев по профилю
- Возможность создавать дорвеи по одному
- Отложенная публикация с имитацией обычного сайта
- Создание профилей/клонирование уже существующих
- Более 50-ти различных макросов
- Кеширующий и Публикующий кроны, создают абсолютно автономную от оператора, жизнь дорвея
- Логика продвинутого контента
- Фильтрация сниппетов встроенная + свои регулярные выражения
- Фильтрация сниппетов по языку
- Логика разрастания
- Контроль разрастания
- Создание файлов шаблона и редактирование шаблонов из админ панели
- Профили категорий
- Настраиваемое ЧПУ дорвеев
- Шифрование ссылок на изображения
- Свои ключевые слова для определенных категорий дорвея
- Хранение всех баз ключевых слов в одной админке
- Полностью управляемое кеширование
- Кеширование страниц в файловую статику + кеширование необходимых данных страниц (сниппеты, видео, изображения) в БД MySQL
- Упрощенная шаблонизация
- Парсинг через socks5/proxy, с авторизацией и без
- Парсинг через interfaces сервера
- Поддержка IPv6 для работы с interfaces
- Парсинг с IP сервера
- Возможность перелинковывать дорвеи на полном автомате
- Работа с Рев.Методом
- Если дорвеи располагаются с материнской установкой на одном сервере, Вам достаточно просто направить их DocumentRoot на папку мамы, чтобы они включились с ней во взаимодействие и начали работать
- Простое подключение инклюдов к шаблону
- Автоматическая система обновления
- Логирование работы парсеров, с выводом лога в определенном разделе админ панели
- Авто регистрация дорвеев, при их создании, в сервисе статистики li.ru
- Новости/информация об апдейтах теперь выводится в админке
С технической стороны это:- MVC архитектура, модульность
- Реализация на популярном фреймворке symfony + ORM Doctrine (MySQL)
- 3 Уровня кэширования, страницы в итоге сводятся в статику
- Масштабирование всей системы, для каждого домена отдельная БД
- Парсеры написаны с помощью XPath, что сводит время парсинга страницы практически к 0, время работы парсеров = время загрузки страницы с ПС
- Модуль установки с минимумом телодвижений
- Работает на apache+mod_rewrite+mysql+php 5.3
- Необходим IonCube
Обзорное видео по работе с SED v4 MobyDick и его возможностей
Создание архива, заливка, установка SED V4 Moby Dick
Генерация одного сайта на SED v4 MobyDick
Массовая генерация сайтов на SED v4 MobyDick
Самое главное) мы сделали демо версию SED v4, теперь каждый желающий сможет оценить потенциал SED v4 MobyDick
Какие возможности мы оставили, что вы сможете создать:
- 1 профиль;
- 1 БД ключей на 1к ключей;
- 1 профиль категорий;
- 3 домена по 50 ключей на каждый;
- глобальные настройки менять нельзя;
- рев метод работает (только для домена, для папки отключен);
- раз в 00-00 часов происходит чистка созданных сайтов.
Для работы необходимо пройти не сложную регистрацию на сайте
Демо SED v4 MobyDick, после этого сообщаете мне ваш емл и я активирую ваш профиль на
демо SED v4 MobyDick.
Перед приобретением, ознакомьтесь пожалуйста с условиями Лицензионного соглашения
Условия продаж
1.
Общие положения:
1.1 Оплачивая программный комплекс SEDv4 MobyDick (далее SEDv4), покупатель полностью и безоговорочно соглашается с условиями продаж и принимает данное Лицензионное соглашение.
1.2 Оплатив SEDv4 покупатель получает:
доступ к панели IRP (временно архивы будут рассылаться в ручном режиме), с возможностью управлять лицензией приобретенного продукта и скачивать архивы с лицензионными копиями (ограничение на количество одновременно установленных копий, см. п. 5.4)
доступ к дополнительной сопроводительной документации, если таковая имеется (мануалы, видео-обзоры, информация о минимальных технических рекомендациях к серверу)
1.3 Доступ на форум
http://autosed.com/forum/ является привилегией, а не неотъемлемым правом покупателя SEDv4.
Регистрируясь на форуме, пользователь соглашается с правилами поведения на форуме
http://autosed.com/forum/showthread.php?t=1011.
В случае несоблюдения правил, доступ на форум может быть заблокирован частично, временно или навсегда, в зависимости от степени тяжести нарушения.
1.4 Вы покупаете SEDv4 «As Is», это значит, что вы покупаете готовую версию продукта с текущими достоинствами и возможными недостатками (Bug'ами), которую мы обязуемся поддерживать в рабочем состоянии, устраняя найденные ошибки (BugFix) и делая обновления в соответствии с условиями данного соглашения.
2.
Абонентская плата:
2.1 Абонентская плата (далее А.П.) - фиксированная, на определенный период, сумма, выраженная в Webmoney WMR,WMZ или PayPal USD.
2.2 А.П. оплачивается пользователем по желанию
2.3 А.П. взымается за Техническую поддержку (далее Т.П.) пользователей, обновления функционала (см. пункт 4), поддержание скрипта в работающем состоянии (обновление парсеров, скриптов взаимодействующих со сторонними сервисами), за обновления базы IP клоакинга.
2.4 Сумма А.П. может быть увеличена 1 раз в 3 месяца (квартал), но не более чем на 20%
Пример: текущая А.П. = 30 WMZ, через 3 месяца она может быть увеличена, но не более чем до 36 WMZ)
2.5 Без оплаты А.П. клиент не имеет доступа к службе Т.П. и обновлениям
3.
Техническая поддержка:
3.1 В обязанности Т.П. входит разъяснение работы различного рода функционала SEDv4, консультирование по его функциям, диагностирование неполадок софта. Если ответ есть в FAQ, инструкции по работе со скриптом, видео обзорах, Т.П. в праве дать ответ, сославшись на существующее решение Вашей, типовой проблемы.
3.2 Обработка поступающих запросов в Т.П., осуществляется в порядке очереди и строго по тикет-системе
3.3 Т.П. работает Пн-Пт с 10-19 по Киеву (UA), кроме выходных и праздничных дней (Украина)
3.4 В обязанности Т.П. не входят услуги по настройке сервера
3.5 В обязанности Т.П. не входит консультирование клиента по вопросам SEO в целом и дорвеев в частности.
3.6 Т.П. рассматривает только те тикеты, которые включают в себя:
root доступ к VPS/Dedicated серверу, на котором установлен проблемный SEDv4 и указание пути к папке, с установленным SEDv4
ссылка на файл check_configuration.php, запущенный на одном из доменов, располагающихся на проблемном сервере
ссылка и admin доступ в панель SEDv4, на котором наблюдается проблема
максимально полное описание проблемы
описание Ваших действий, возможно повлекших за собой проблему (например Вы включили функцию разрастания и сервер начал подвисать или начали загружать файл с кеями размером 50 мб и сервер не справился)
описание Ваших предположений почему эта проблема могла возникнуть
Без этих данных Т.П. не будет рассматривать запросы и уведомлять о недостаточности данных тоже не будет. Тикет будет проигнорирован.
3.7 Общение с сотрудниками Т.П. следует вести только через тикет-систему, используя уважительное обращение на "Вы". Угрозы, матерные слова и фамильярности приведут к закрытию тикета, а в отдельных случаях приведут к отказу в поддержке пользователя без возврата А.П.
3.8 Технические данные, которые сообщаются службе Т.П. в ходе обращения, могут быть использованы Автором для внутренних целей, включая техническую поддержку Программных продуктов, разработку и улучшение существующего программного обеспечения. Автор не будет использовать данные сведения в форме, раскрывающей ваши личные сведения, за исключением случаев, когда запрос исходит от правоохранительных органов.
3.9 Т.П. в отдельных случаях просматривает топики форума
http://autosed.com/forum/ на предмет наличия вопросов от пользователей, но это не значит что Т.П. обязана это делать. Основной канал связи с Т.П. - тикет система.
4.
Обновления и BugFix (исправление ошибок):
Понятие Bug (Бага) - багом является выявленная ошибка в программном коде продукта, влекущая за собой невозможность нормальной работы скрипта.
Багом может быть признана ошибка, в том случае, если она наблюдается у более чем 2х пользователей продукта.
Багом не является не устраивающая кого-то, логика работы скрипта или неработоспособность отдельных функций скрипта, на отдельно взятом сервере, в случае неверной настройки либо самого скрипта, либо сервера на котором он расположен.
4.1 Поскольку невозможно отделить обновления функционала от BugFix и поддерживать для каждого пользователя его индивидуальную версию, BugFix является неотъемлемой частью обновлений функционала
4.2 Обновления функционала являются платной услугой
4.3 Обновления оплачивается пользователем по желанию, при этом пользователь имеет право пользоваться своей последней, оплаченной версией софта без взимания дополнительной платы
4.4 "Перепрыгивать" через обновления - нельзя.
Пример: текущая версия софта у Вас 4.0.1, в то же время уже было разработано и внедрено N промежуточных обновлений 4.0.2, 4.0.3, 4.0.4 итд
Все эти N обновлений были произведены в промежуток с 10 июня 2013 по 10 декабря 2013, т.е. прошло 6 месяцев. Вам необходимо было бы оплатить сумму, равную 6-ти месяцам оплаты за обновления, чтобы получить возможность обновиться до последней версии.
Вместе с тем, мы понимаем, что пользователь не должен оплачивать полную стоимость 6-ти месяцев обновлений, поскольку он не пользовался долгое время всеми их возможностями, а может и упустил некоторые трендовые обновления.
В связи с этим, мы вводим скидки:
пропустили 3 месяца оплаты обновлений, скидка на общую сумму обновлений считается по формуле 3*[сумма абонентской платы за эти периоды] -20%
пропустили 4 месяца оплаты обновлений, скидка на общую сумму обновлений считается по формуле 4*[сумма абонентской платы за эти периоды] -25%
пропустили 5 месяца оплаты обновлений, скидка на общую сумму обновлений считается по формуле 5*[сумма абонентской платы за эти периоды] -30%
пропустили 6 месяца оплаты обновлений, скидка на общую сумму обновлений считается по формуле 6*[сумма абонентской платы за эти периоды] -35%
Больее 6 месяцев [количество месяцев]*[сумма абонентской платы за эти периоды] -35%
Пример: при текущей цене за обновление, пропуск 6-ти обновлений, в случае если вы захотите все же обновиться будет стоить Вам 6*30-35%=117 wmz
4.5 С выходом BugFix или обновления (было 4.0.1, стало 4.0.2) поддержка предыдущей (4.0.1) версии прекращается и, в случае возникновения проблем в старой версии SEDv4, вы можете обновить ее с BugFix'ами, если у Вас оплачены обновления в этот момент времени.
4.6 Порядок выполнения нами, обязательств по обновлениям, включенным в абонентскую плату:
4.6.1 На сервисе
http://reformal.ru открыта страница, на которой пользователи SEDv4 могут оставлять свои предложения по улучшению функционала. Предложения принимаются строго с использованием данного функционала. Топики на форуме, сообщения в ЛС, icq, skype не учитываются, предложение обязательно должно быть продублировано через функционал
http://reformal.ru
4.6.2 Nickname'ы пользователей на сервисе
http://reformal.ru, должны строго соответствовать Nickname'ам пользователей на официальном форуме поддержки пользователей
http://autosed.com/forum/, в противном случае голоса не принимаются.
4.6.3 После каждого выполненного функционального апгрейда системы, Автор просматривает размещенные предложения, получившие наибольшее количество голосов, учитываются не +/- голосование, а голоса в комментариях к идее (чтобы мы могли идентифицировать пользователей). То есть пользователи должны оставить комментарий к идее и однозначный голос "За" или "Против".
4.6.4 Если автор считает возможным внедрить данное обновление, без ущерба для остальных пользователей SEDv4, он комментирует предложение. В этом комментарии Автор указывает специфику/сложность внедрения данного функционала и объявляет сроки его исполнения.
4.6.5 После получения согласия от всех пользователей проголосовавших за внедрение этого обновления, Автор приступает к реализации данного обновления.
4.6.6 После завершения внедрения обновления, выпускается БЕТА-версия SEDv4, включающая в себя данный функционал.
Автор приступает к рассмотрении следующей, популярной идеи на сервисе
http://reformal.ru 4.6.7 БЕТА-версия тестируется всеми пользователями по желанию, автор идеи и проголосовавшими "ЗА", тестируют апдейт в обязательном порядке.
4.6.8 Спустя 2 недели тестирований, БЕТА-версия объявляется стабильным релизом и все найденные после этого Баги исправляются Автором в соответствии с условиями пунктов данного соглашения.
4.6.9 Если автор считает невозможным внедрение предложений пользователей в функционал, он аргументирует свою позицию.
4.6.10 Если пользователи несогласны с аргументами и хотят внедрения идеи, им нужно собрать 100% голосов "ЗА" от 100% пользователей SEDv4 (команда SEDv4 в это число не входит).
4.6.11 В случае, если собраны голоса "ЗА" от 100% пользователей SEDv4, Автор повторно рассматривает идею и дает ответ по условиям и срокам внедрения данного функционала.
5.
Ограничения и Авторское право:
5.1 Все права собственности и авторские права на SEDv4 (в том числе любые включенные в нее модули, фотографии, анимации, видео- и звукозаписи, музыку и текст), компоненты дизайна, сопровождающие ее печатные материалы и любые копии программы принадлежат Автору. Все права Автора на программу защищены законами и международными соглашениями об авторских правах, а также другими законами и договорами, регулирующими отношения авторского права. Следовательно, с SEDv4 необходимо обращаться, как с любым другим объектом авторского права.
5.2 Мы оставляем за собой право отказать в обслуживании и заблокировать лицензию SEDv4 в случае, если купленная клиентом копия, была выложена для свободного скачивания на любых ресурсах в сети интернет, в случае успешных и безуспешных попыток раскодировать скрипты плагина, зашифрованные IonCube, а также, если SEDv4 покупался вскладчину без согласия Автора.
5.3 1 лицензия = 1 пользователь = 1 доступ на форум autosed.com/forum = 1 доступ в IRP панель
5.4 Лицензия предоставляется на 3 IP адреса. Это значит, что Вы сможете привязать SEDv4, 3 различным серверам одновременно. По нашему опыту этого более чем достаточно для 95% пользователей, ведь фактически, 1 копия SEDv4 МобиДик устанавливается на 1 сервер (больше копий на 1-м сервере держать не имеет смысла, а сервер соответственно подбирайте мощный, чтобы не зря использовать лицензию).
5.5 Перепродажа лицензии (доступ на форум и в IRP-панель) и скриптов запрещена, в случае нарушения этого пункта - бан лицензии, без возврата денег.
5.6 Не разрешается осуществлять декомпиляцию и дизассемблирование файлов SEDv4, упакованных IonCube
6.
Возврат денег:
6.1 Манибек предоставляется в случае, если при соблюдении всех требований к серверу и рекомендаций по установке скрипта в соответствии с мануалом, скрипт не выполняет заявленные, на момент продажи, функции и наши специалисты не смогли решить эту проблему или не смогли дать рекомендации по ее решению.
Вы обязаны будете выполнить все условия составления тикета в ТП, описанные в п.3.6 данного соглашения. В случае несоблюдения полноты данных в тикете, повлекшее невозможность диагностировать проблему, манибек не предоставляется.
6.2 При соблюдении всех условий, манибек может быть затребован в течение 7 дней с момента приобретения SEDv4.
6.3 Запросы на манибек от пользователей, купивших продукт более 7 дней назад, на момент обращения в Т.П. с просьбой о возврате - не принимаются.
7.
Ответственность Автора и отказ от гарантий:
7.1 Автор не несет ответственности, в случае непреднамеренно нанесенного ущерба при неправильном или недокументированном использовании SEDv4. Если у вас есть сведения о возможных уязвимостях в скрипте - немедленно сообщите о них службе технической поддержки любым доступным способом.
7.2 Автор не гарантирует получение каких-либо определенных результатов по трафику из поисковых систем, а также индексации ваших ресурсов созданных при помощи SEDv4. Скрипт предоставляется только как набор инструментов и функций в него заложенных и мы гарантируем только корректную работу заявленного функционала или его исправление, в случаях неисправностей (багов) в соответствии с пунктами данного Лицензионного Соглашения. Результат работы этого функционала зависит от пользователя и может существенно изменятся со временем, в связи с многочисленными изменениями в алгоритмах ранжирования поисковых систем.
Требования к серверу
Вы должны понимать, что мы можем перечислить лишь требования к софтовой "начинке" сервера, но никак не к железу, потому как "прожорливость" софта зависит лишь от того, как и при каких обстоятельствах он будет использован, сколько дорвеев будет на нем, какие объемы кеша будут у этих дорвеев и многое другое.
Все зависящее от нас, по оптимизации кода и архитектуры БД MySQL, сделано.
PHP 5.3 и выше (сборка должна быть дефолтная, со всеми включенными в нее модулями, а не урезанная/кастомная, единственное хочется выделить CURL модуль)
- MySQL
- Apache+Mod_Rewrite
- IonCube loader
Цена:
Лицензия предоставляется на 3 IP, это значит что ядро системы, единовременно, может быть установлено на 3 IP адреса (например это будет 3 сервера)
SEDv4 cо скидкой, для владельцев купленных SEDv3 лицензийЦена для всех пользователейДополнительные расходы (по желанию):- Абонентская плата + обновления IP клоаки: 30 wmz или 990 wmr
- Стоимость дополнительной лицензии на 1 IP: 50 wmz или 1650 wmr
Как приобрести скрипт:- Регистрируетесь на официальном форуме
- Оплачиваете необходимую сумму по реквизитам указанным ниже
- В примечании к платежу указывайте такие данные: e-mail на который зарегистрировались + ник + SEDv4 MobyDick
- Связываетесь со мной, по контактам приведенным ниже и сообщаете 1-3 IP адресов, на которых планируется установка материнской системы. Мы высылаем архив.
Реквизиты:
По предпродажным вопросам, обращайтесь по следующим контактам:
622-368-996
sobesednic_
SEDv4 «MobyDick» - автоматизированная система генерации сайтов - дорвеев
ТС
Линейный вид
