Не могу определиться с базой данных - Форум успешных вебмастеров - GoFuckBiz.com - Страница 3
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB89.7026
BTC/USD67815.2390
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 25.01.2013, 00:35
Start Post: Не могу определиться с базой данных 
  #21
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,738
Бабло: $280230
По умолчанию

есть ключ, уникальное число
и есть значение - текст от нескольких слов, до нескольких килобайт(может и мегабайт) текста

В чем хранить? куда копать.
huanpedro вне форума  
Старый 25.01.2013, 23:32   #22
vlad0708
coder
 
Аватар для vlad0708
 
Регистрация: 25.04.2010
Сообщений: 52
Бабло: $12590
По умолчанию

mongo отличная штука, использую на больших объемах данных.
но ее лучше использовать только на 64-разрядной OS, на 32 она не катит никак.

На Centos 6 в частности шикарная производительность
vlad0708 вне форума  
Старый 26.01.2013, 00:07   #23
vlad0708
coder
 
Аватар для vlad0708
 
Регистрация: 25.04.2010
Сообщений: 52
Бабло: $12590
По умолчанию

mongo для текущей задачи не совсем подходит
vlad0708 вне форума  
Старый 26.01.2013, 00:17   #24
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,738
Бабло: $280230
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
ТС, какие объемы? характер нагрузки и ее количество?
какой процент hot dataset? может 1% данных будет использоваться 90% времени, а может все данные равномерно.



вредная фича на больших объемах, проверено не раз, ну и особенно, если это primary key


Offtopic
одна из таблиц - до 75 лямов строк.
общий вес нескольких таблиц до 100 Гб.
первый столбец unique primary key
С базой работает только 1 скрипт, в параллели ничего не работает.
Нужно до пары десятков запросов в секунду к таблице для получения одной строки. В другой таблице несколько запросов в минуту для получения выборки с такого ID по такой подряд.

Так пораскинул мозгом, по востребованности: все записи примерно одинаково востребованы, новые записи чуть чаще. Добавление записей редкое, несколько раз в день. Вроде так.

p.s. ОС Debian
huanpedro вне форума  
Старый 26.01.2013, 01:52   #25
vlad0708
coder
 
Аватар для vlad0708
 
Регистрация: 25.04.2010
Сообщений: 52
Бабло: $12590
По умолчанию

Цитата:
Сообщение от huanpedro Посмотреть сообщение
Нужно до пары десятков запросов в секунду к таблице для получения одной строки.
запрос по primary key?
vlad0708 вне форума  
Старый 26.01.2013, 02:35   #26
ulitka
Ебланнед
 
Регистрация: 08.01.2013
Сообщений: 53
Бабло: $35450
По умолчанию

Цитата:
Нужно до пары десятков запросов в секунду к таблице для получения одной строки
чё-то я так и не понял смысл этого действа
ulitka вне форума  
Старый 26.01.2013, 06:25   #27
netsnt
Юниор
 
Регистрация: 13.05.2012
Сообщений: 6
Бабло: $1945
По умолчанию

Берется mysql, делается таблица с двумя полями - primary key и text необходимого размера (mediumtext наверное хватит).

Для быстрой выборки по pk ставится и используется плагин handlersocket. В percona и mariadb входит в поставку. Штука крайне шустрая, используется на хайлоадах, на нескольких сайтах из alexa top-100. При этом конечно же сохраняется возможность работать с таблицей стандартными средствами mysql-я.

Если будет все писаться на php, то при таких длинах текста лучше работать с handlersocket обычным fsockopen, чем использовать всякие экстеншены - биндинги на libhsclient: выгода от отсутствия двойного копирования (в либу - в zval) будет больше, чем прирост от нативного сишного кода, т.к. протокол крайне примитивен - обычные строки разделенные табуляцией, и все. Это конечно не относится к расширениям, которые сами реализуют протокол и пишут сразу в zval-ы, но я таких не видел в природе (хотя написать не сложно).
netsnt вне форума  
Старый 26.01.2013, 07:34   #28
rushter
Senior Member
 
Регистрация: 28.11.2009
Сообщений: 1,800
Бабло: $299365
По умолчанию

Цитата:
Сообщение от WebNinja Посмотреть сообщение
ага послушайте пару недовольных эмо нердов которые "неосилили" или пытались ей делать то, для чего она не предназначена, или как получается у instagram, reddit, pinterest все ок, а значит у крутых "веб-разработчков" есть причины для этого? в сети так же куча выступлений противоположного окраса.

нет конкретики, типа мы делали то-то столкнулись с такими-то проблемами. а без этого все эти разговоры гавно-не-гавно это просто бла-бла-бла, пацаны сказали что сто-пудово НЛО существует.
Самое смешное что instagram mongo не использует, а pinterest отказались в пользу mysql+redis
rushter вне форума  
Старый 26.01.2013, 14:53   #29
vlad0708
coder
 
Аватар для vlad0708
 
Регистрация: 25.04.2010
Сообщений: 52
Бабло: $12590
По умолчанию

20 запросов в секунду - это ерунда
vlad0708 вне форума  
Старый 26.01.2013, 15:54   #30
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

Цитата:
Сообщение от rushter Посмотреть сообщение
Самое смешное что instagram mongo не использует, а pinterest отказались в пользу mysql+redis
хуй с ними значит.
http://www.mongodb.org/display/DOCS/...on+Deployments
__________________
www.imscraping.ninja
grablab.org | blog
WebNinja вне форума  
Старый 26.01.2013, 15:59   #31
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,738
Бабло: $280230
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от vlad0708 Посмотреть сообщение
20 запросов в секунду - это ерунда
спасибо Кэп
huanpedro вне форума