|
| Дата |
|
USD/RUB | 90.7493 | BTC/USD | 70957.5046 |
|
|
|
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
25.07.2012, 17:09
|
#1
|
Go Fuck West
Регистрация: 07.05.2011
Адрес: .Net
Сообщений: 1,207
Бабло: $245620
|
Нид хелп по MongoDB
Собсна, есть довольно большая база (15КК документов и растет), по которой нужно организовать быстрый поиск с помощью регуляных выражений (regex), ну, или вменяемая альтернатив.
Поиск производится по полю key (строковое), на котором стоит индекс.
Посоветуйте мб какие гайды по этому делу или из личного опыта.
|
|
|
25.07.2012, 17:36
|
#2
|
коплю на феррари
Регистрация: 03.07.2008
Сообщений: 1,251
Бабло: $148195
|
Цитата:
Сообщение от Black West
Собсна, есть довольно большая база (15КК документов и растет), по которой нужно организовать быстрый поиск с помощью регуляных выражений (regex), ну, или вменяемая альтернатив.
Поиск производится по полю key (строковое), на котором стоит индекс.
Посоветуйте мб какие гайды по этому делу или из личного опыта.
|
Из опыта могу сказать - что RAM решает. Как только бд перестает влезать в оперативку - вот тут то траблы и начинаются.
|
|
|
25.07.2012, 18:27
|
#3
|
главный злодей гофака
Регистрация: 18.06.2007
Сообщений: 5,760
Бабло: $953448
|
Цитата:
Сообщение от sergeospb
Из опыта могу сказать - что RAM решает. Как только бд перестает влезать в оперативку - вот тут то траблы и начинаются.
|
вроде как у монгодб с этим всё четко, оперативы 256 мб, по базе в 1 гб и 5 млн строк летает. сам недавно начал изучать. по скорости инсертов рвет любые другие решения. единственный минус её базы занимают в 2.5 раза больше места на диске
__________________
|
|
|
25.07.2012, 18:56
|
#4
|
Virgillio
Регистрация: 27.04.2009
Сообщений: 238
Бабло: $56910
|
а зачем вы такие базы собираете если не секрет?
|
|
|
25.07.2012, 19:58
|
#5
|
Go Fuck West
Регистрация: 07.05.2011
Адрес: .Net
Сообщений: 1,207
Бабло: $245620
ТС -->
|
ТС
beabetters, у меня поисковые запросы там, заебал безбожно пиздящий вордстат, вот свою собираю.
sspy, летать то оно летает, а вот когда по такой базе надо прогнать 20 регулярок к каждому документу, появляются трудности, попробую оперативой вопрос решить, 4 гига монге мало для таких объемов данных.
Последний раз редактировалось Moderator; 25.07.2012 в 21:09.
|
|
|
25.07.2012, 20:48
|
#6
|
grablab.org
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
|
Я слышал что там сверху можно присобачить такие решения как Lucene/Solr или даже Hadoop.
Можно еще взять профайлер и посмотреть на каком этапе теряется время. MapReduce используешь? http://www.mongodb.org/display/DOCS/MapReduce
|
|
|
26.07.2012, 06:39
|
#7
|
Senior Member
Регистрация: 24.11.2010
Сообщений: 229
Бабло: $52860
|
Ладно всё равно напишу)
Попробуй разгруппировать базу, по принципу: в "-а" нет букв "а", в "-б" нет букв "б"... а для особо популярных букв: "-ае" нет букв "а" или "е". Работать с ней так: не ждём букв "а" спрашиваем базу "-а", не ждём одновременно "а" и "е" спрашиваем "-ае"... Как то так.
|
|
|
28.07.2012, 16:22
|
#8
|
Go Fuck West
Регистрация: 07.05.2011
Адрес: .Net
Сообщений: 1,207
Бабло: $245620
ТС -->
|
ТС
Цитата:
Сообщение от Venya Tolinov
Попробуй разгруппировать базу, по принципу: в "-а" нет букв "а", в "-б" нет букв "б"... а для особо популярных букв: "-ае" нет букв "а" или "е". Работать с ней так: не ждём букв "а" спрашиваем базу "-а", не ждём одновременно "а" и "е" спрашиваем "-ае"... Как то так.
|
Имхо, бред.
Проблему решили с помощью sphinxa.
Щас все ахуеть как залетало, несмотря на размеры базы.
|
|
|
Опции темы |
|
Опции просмотра |
Линейный вид
|
|