Каталоги с описанием товаров где взять?

[chesser]

Ищу каталоги с большим кол-вом товаров и хорошим описанием, подробными характеристиками, и чем больше всяких фич - тем лучше.
Желательно чтобы был человеческий способ доступа к инфе, типа xml-фида, или другого апи. Вообще, распарсить то не проблема, но чем проще вариант, тем лучше.

Знаю что есть Amazon и там полно инструментов. А еще?
Надо что-нибудь на англ или мультиязычный, поэтому яндекс.маркет не катит
можно, конечно, все подряд шопы парсить, но это сколько времени надо


ps: это будут мои первые реальные шаги в датамайнинг, поддержи меня

[Cookie Monster]

Сообщение от Reach

Откуда парсишь?

2 первоисточника + контрольный в гугл

Сообщение от chesser

цель: сделать пророчитель

у меня тоже

[3Hell]

Сообщение от chesser

Ладно, спалю, один хер всем срать

И главная моя цель: сделать пророчитель

Ты серьезно думаешь,что сможешь сделать нечто подобное?
А как же быть с принципом неопределенности Гейзенберга?

[citrix]

Принцип неопределенности(а в народе-принцип менжуя) ставил под сомнение еще Эйнштейн, хотя действительно возникают сомнения насчет полезности полученной инфы, если брать ее как функции свойств от событий. Даже несмотря на то, что берется она с временной корреляцией, сложно утверждать, что именно рождаемость альбиносов повлияла на продажи 4 яблофона во втором квартале. Но даже все предыдущее можно поставить под сомнение, поэтому имхо
необходим фундаментальный подход при проектировании прорицателя, с выделением основных свойств/событий/факторов/etc иначе получится простой коллектор для статистического анализа, который ничего кроме циферей не даст.

update:
но при всем этом, дико хочется поглядеть на это все в красивых чартах.

[chesser]

датамайнинг может и пока слишком громкое слово.
нужно набрать данные для многофакторного анализа, а дальше посмотрим как там что.

ресы еще давайте палите

[WebNinja]

redis вроде в память проецируется полностью, не?
для товаров думаю хорошим решением будет MongoDB, товары разные, характеристики тоже, реляционные БД плохо подходят для такой информации.

матан нужно учить для датамайнинга, я подписан на группу в linkedln вникаю потихоньку.
http://www.membrana.ru/particle/16033 вот люди делают норм. штуки ) а так прикладных применений масса, от екоммерц до трейдботов.

[chesser]

Сообщение от WebNinja

redis вроде в память проецируется полностью, не?
для товаров думаю хорошим решением будет MongoDB, товары разные, характеристики тоже, реляционные БД плохо подходят для такой информации.

в редисе два режима: RAM и виртуальная память, последняя жопа, но куда деваться.
Редис держит все в отведенной ему RAM, если кластер, то в рамах всего кластера. Но если в друг память заканчивается, то он сбрасывает не уместившиеся данные на диск. Причем, наименее используемые. Редис - это продвинутый(имхо) аналог мемкешеда, т.е. nosql key-value БД
MongoDB не видел, но читал, вроде норм. Но надо смотреть алгоритм использования и структуру данных. Редис пошустрее в любом случае, но функционала меньше

Сообщение от WebNinja

матан нужно учить для датамайнинга, я подписан на группу в linkedln вникаю потихоньку.
http://www.membrana.ru/particle/16033 вот люди делают норм. штуки ) а так прикладных применений масса, от екоммерц до трейдботов.

да я тоже в ней недели 3 уже, скачал несколько пдф книжек, почитываю - видел наверно, там они постили бесплатные.
+ у меня в универе вроде люди занимаются датамайнингом, надо сходить поспрашать че как, хочу развернуть свой диссер в этом направлении. У меня было "Автоматизация процессов объектно-ориентированной интеграции Интернет-ресурсов" - добавлю сюда побольше анализа и будет нормальный компот

[WebNinja]

Bing Liu
Web Data Mining

Exploring Hyperlinks,
Contents, and Usage Data

я вот читаю, скачал где-то на едухе.

http://www.cs.uic.edu/~liub/
http://www.cs.uic.edu/~liub/WebMiningBook.html

[chesser]

я вот по этим "бегаю":
http://www.intechopen.com/subject/co...ce/data-mining
они более классические, без ориентации на веб

WebNinja, скинь в скайпе свои книжки, а?

[inferno[DGT]]

А в чем смысл, если Google это сделает все равно быстрее, лучше и бесплатно -))

[chesser]

Сообщение от inferno[DGT]

А в чем смысл, если Google это сделает все равно быстрее, лучше и бесплатно -))

1) какой смысл делать сайты, если уже и так их полно? - но люди все равно делают ведь
2) откуда гуглу знать, что нужно именно мне?
3) датамайнинг - он более разнообразный, нежели собрать статистику с разных направлений и тупо ее скрестить, построить графики и тд. Тут тема более тонкая и многообразная.

Но вообще да, у гугла шикарные возможности для подобных вещей.

Я тут думал-думал(может лучше и не стоило этого делать) и пришел к выводу, что в будущем интернет может хорошо подхватить это направление. По сути, то что мы сейчас имеем в интернете это:
- большие хранилища информации (уже существующие и накопленные), можно назвать их статикой
- также есть динамика в виде коммуникативных потоков
- набор сервисов, основанных на статических данных и (реже) на динамических
Это все доступно и отлично работает. Но скоро мы достигнем(или уже) критической массы как статики, так и динамики, но развитие все равно будет, куда?

чего же не хватает? не хватает:
- _доступного_ глубокого анализа статич. и динамич. данных
- автоматизации этого анализа
- а также оптимизация
- также неплохо бы автоматизировать появление новых изобретений/открытие закономерностей и тд
датамайнинг тут поможет

почему его раньше не было и все молчали об этом? потому что ресурсы для анализа больших выборок были только у гос корпораций, а сейчас оно все более стремительно спускается до частников, включая мелкие группы.

Короче, кто быстрее укротит датамайнинг, тот победит

а конкретно товары парсить - я их уже 3 года паршу, просто хотел узнать может появилось что-то новенькое и датамайнинг тут больше как "попробовать". И вот с рынками цен поэкспериментировать вполне реально