Есть здесь кто кому интерестна тема "Прогнозирований событий"?

[adamant]

а также Data Mining.

давайте что ли кружок по интересам создадим, будем скидывать пруфы на паблики разные как литературы так и софта.

статья на хабре http://habrahabr.ru/company/group-ib/blog/147145/
еще одна http://habrahabr.ru/post/147284/
__
вообщем интересен алго обработки даных

[adamant]

аха, мечтай, все все бросили и спалили темы ))
это тема о дата майнинге, а о мани майнинге в след топике.

[beabetters]

Вот для широкого круга лиц, о том, как и где могут применяться подобные технологии:




ЗЫ: подобные технологии применяются даже в игре в покер. Существуют покерные боты, которые прогнозируют поведение оппонентов, на основе предположения о диапазоне карт на руках оппонента (диапазон карт: все карты с которыми человек будет играть не скидывая собираются из датамайнинга). Более того, такие боты умеют правильно вычислить блеф, учитывая степень агрессивности и степень рискованности соперика, умеют максимально удачно подбирать момент для блефа, момент для ловушки и пр.
Но это скорее "уникальная область применения", в основном конечно же такие технологии применяются для бизнеса, так как это самый платежеспособный сектор.

[medar]

Сообщение от beabetters

Вот для широкого круга лиц, о том, как и где могут применяться подобные технологии:

Да, жаль только, что Ашманов их не использует.

[WebNinja]

Ну все спалили тему, щаз начнется рубилова бабла на датамайнинге

На днях я экспериментировал с алогритмом Support Vector Machine, хотел научить классификатор по набору прилагательных от личать хорошие отзывы от плохих. С ресурса kinopark.by скачал все комментарии ко всем фильмам и рассортировал на два кластера: положительные отзывы и отрицательные (суммарно получилось окло 18Мб чистого текста). Выбрал все прилагательные (без окончаний) из каждого комментария; каждый комментарий закодировал дескриптором, содержащим 1 или 0 для каждого прилагательного из всего множества. Получился вектор размерностью около 10000. Вот такие-то вектора и скармливал классификатору на обучение.
Все это я делал только исключительно на Clojure. Все это, включая загрузку и разбор страниц с комментариями, заняло около 300 строк кода. За все время мне ни разу не потребовался дебаггер, и даже в голову не пришло писать unit-тесты (зачем, ведь функция каждый раз "пробуется" в REPL-е перед попаданием в исходник). И я не могу себе представить инструмента, более удобного для таких задач, чем Clojure.

учите кложуру, пацаны.
http://alexott.net/ru/clojure/

Основные направления использования данного языка в моем случае — анализ данных, как численных, так и текстовых, с целью извлечения разнообразной информации и классификации. Очень полезным инструментом в этом деле является проект Incanter, в разработке которого я участвую.

Clojure (произносится как closure) — современный диалект Лиспа. Это язык программирования общего назначения с поддержкой разработки в интерактивном режиме, поощряющий функциональное программирование, и упрощающий поддержку многопоточности. Clojure работает на платформах JVM и CLR. Clojure отличает философия «код как данные (англ.)» и развитая система лисп-макросов.

(defn fibo ([] (concat [1 1] (fibo 1 1))) ([a b] (let [n (+ a b)] (lazy-seq (cons n (fibo b n))))))

[7make]

Хз как Clojure, но R хорошо себя зарекомендовал в анализе данных.

[aoki]

Возможно буду не совсем корректен.

Важен не язык, а сам алгоритм анализа, если нет идеи алгоритма, зачем знать язык? С другой стороны если есть идея алгоритма, опиши её на русском языке, остальное пусть делает программист.

В мире существует очень хороший баланс, пригнуть выше головы, только из-за того что кто-то собрал данные и проанализировал их невозможно, невозможно в массовом порядке. Любитель дата майнинга по моему, мало чем отличается от алкхимика. Дата майнинг применим только для нахождения закономерностей в человеческих творениях, то к чему прикоснулась рука творца проанализировать невозможно. То есть например можно, точно предугадать как сработает алгоритм поисковой системы, точно узнать на основе анализа десятков тысяч рук блефую я или нет нереально.

[WebNinja]

бля, ну началось! как будто все эти алгоритмы кто-то прячет. прежде чем вставать на трибуну было бы неплохо оратору ознакомится хотябы с базисом, дабы не играть в КО.

олсо я бы посмотрел на описание алгоритма (какая еще "идея" тем более) какой-нибудь кластеризации, на русском языке в виде "задания для программиста".

[WebNinja]

палю приземленное практическое применение, например.
есть онлайн магазин и владельцы шопа хотят знать, что брать и какие цены выставлять. т.е. принимать решение не только на основе каких-то своих умозаключений, но и используя CS.

берется яндекс маркет, выгружаются данные (допустим раз в неделю) по интересующим категориям, например с помощью Grab , ае ) затем из этой выборки можно извлекать информацию такого плана: какие позиции вообще не стоит брать (например цены конкурентов значительно ниже, чем может предложить поставщик), какие популярны, где какие отзывы (кластеризация, ага), ну и на основе этого всего уже можно сделать выборку товаров которые будет выгодно продавать и которые будут хорошие и популярные.

[chesser]

WebNinja, ога, ты частично описал моего уже работающего детища )) только я еще своих конкурентов мониторю и анализирую.
пару раз спрогнозировал падение рынка и увел компанию от убытков

осталось увеличить масштабы и представить в виде saas - мой стартап (адуч)

[WebNinja]

Походу такие системы для себя многие разарбатывают.
В виде saas круть канешно такое сделать )