Каталоги с описанием товаров где взять?

[chesser]

Ищу каталоги с большим кол-вом товаров и хорошим описанием, подробными характеристиками, и чем больше всяких фич - тем лучше.
Желательно чтобы был человеческий способ доступа к инфе, типа xml-фида, или другого апи. Вообще, распарсить то не проблема, но чем проще вариант, тем лучше.

Знаю что есть Amazon и там полно инструментов. А еще?
Надо что-нибудь на англ или мультиязычный, поэтому яндекс.маркет не катит
можно, конечно, все подряд шопы парсить, но это сколько времени надо


ps: это будут мои первые реальные шаги в датамайнинг, поддержи меня

[qvent]

CJ, GAN
Там ваще ВСЁ шо хочеш есть, и с описаниями и с XML

[Cookie Monster]

Сообщение от qvent

CJ, GAN
Там ваще ВСЁ шо хочеш есть, и с описаниями и с XML

в CJ что бы получить шо хочеш, надо сначала апрув пройти на каждом из всего что хочешь. А там ебанутая система в деклайн сразу все заявки, те что не сразу то чуть позже. Сути не меняет.
Пали как ты вытягиваешь оттуда хмл фиды

[Cookie Monster]

Сообщение от chesser

ps: это будут мои первые реальные шаги в датамайнинг, поддержи меня

что ты там искать собрался? начни с постановки цели.

У меня неделю уже работает скрипт. Можно сказать по датамайнингу: собирает "никакую" инфу, разбирает, анализирует по алгоритму, раскладывает по категориям и частотности. В базе уже 900к позиций. Думаю копать по каждой позиции глубже, но это приблизительно 100кб доп.инфы на каждую позицию. Принимая во внимание что позиций будет на несколько порядков больше, я думаю как сохранять вторую итерацию в мускуль или файловую структуру. Думаю файловая структура будет лучше. Как считаешь?

[Юнга]

для промышленных объемов - только в подходящую БД.

[Grut]

icecat.biz - не оно?

[Reach]

Сообщение от Grut

icecat.biz - не оно?

Всего 300к товаров, маловато

[Reach]

Сообщение от Cookie Monster

что ты там искать собрался? начни с постановки цели.

У меня неделю уже работает скрипт. Можно сказать по датамайнингу: собирает "никакую" инфу, разбирает, анализирует по алгоритму, раскладывает по категориям и частотности. В базе уже 900к позиций. Думаю копать по каждой позиции глубже, но это приблизительно 100кб доп.инфы на каждую позицию. Принимая во внимание что позиций будет на несколько порядков больше, я думаю как сохранять вторую итерацию в мускуль или файловую структуру. Думаю файловая структура будет лучше. Как считаешь?

Откуда парсишь?

[chesser]

Сообщение от Cookie Monster

что ты там искать собрался? начни с постановки цели.

да у меня давно уж трудятся некоторые скрипты, которые собирают историю изменений цен на определенные виды товаров в эл.магазинах Нидерландов.
Вот надо бы расширятся.
А в датамайнинге меня интересует регрессионный анализ некоторых факторов, на основе чего можно предсказывать какие-то события в екомерсе.
Но история цен точно мне нужна.

Сообщение от Cookie Monster

У меня неделю уже работает скрипт. Можно сказать по датамайнингу: собирает "никакую" инфу, разбирает, анализирует по алгоритму, раскладывает по категориям и частотности. В базе уже 900к позиций. Думаю копать по каждой позиции глубже, но это приблизительно 100кб доп.инфы на каждую позицию. Принимая во внимание что позиций будет на несколько порядков больше, я думаю как сохранять вторую итерацию в мускуль или файловую структуру. Думаю файловая структура будет лучше. Как считаешь?

ну сам смотри там по обстановке. У меня мускул и 1ккк держит. Но мне не нравится кое-что, поэтому я перехожу на redis.
mysql нужен для реляционных данных, когда атомарные элементы данных имеют связи друг с другом, образуя новые элементы, которые также относятся др с др, но при этом есть некоторая закономерность. + индексы, ускоряющие поиском. В редисе индексов нет, самому надо об этом заботится.
когда у тебя закончится место, можно сделать партицирование и тд. Так то мускул нормальное решение, но всему свое. Тот функционал, которым обвешен мускул, он его и друг и враг.

Сообщение от Юнга

для промышленных объемов - только в подходящую БД.

так...
Тут я предлагаю поднимать Riak кластер из 30 машин, оно и по отказоустойчивости норм. будет, и протокол там хош REST, хош HTTP, а хош в json

[chesser]

Сообщение от Cookie Monster

что ты там искать собрался? начни с постановки цели.

Ладно, спалю, один хер всем срать

Мне интересно, как меняются цены на рынке электронной коммерции, возможно там есть какие-то законы, интересные зависимости.
Можно попробовать откопать такие зависимости и применив регрессионный анализ, можно будет предсказывать те или иные события/тенденции.
Так же можно будет выполнять многофакторный анализ, в котором одним из факторов будет тоже цена, а точнее ее функция.

И главная моя цель: сделать пророчитель