Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.9290
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 08.07.2012, 01:35   #1
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,297
Бабло: $878343
По умолчанию Sphinx

Кто-то настраивал поиск на Sphinx ? Особенно интересует примеры production системы. Накидайте мануалов толковых.
sspy вне форума  
Старый 08.07.2012, 02:15   #2
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,921
Бабло: $322214
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

http://sphinxsearch.com/docs/
WebNinja вне форума  
Старый 08.07.2012, 10:25   #3
Rombl4
Ромыч
 
Аватар для Rombl4
 
Регистрация: 16.07.2008
Сообщений: 1,302
Бабло: $154950
По умолчанию

На хабре вроде были толковые статьи по сфинксу. Ну и официальные доки вполне понятны, от установки до тончайшей настройки.
Rombl4 вне форума  
Старый 08.07.2012, 12:23   #4
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,297
Бабло: $878343
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Rombl4 Посмотреть сообщение
На хабре вроде были толковые статьи по сфинксу. Ну и официальные доки вполне понятны, от установки до тончайшей настройки.
Вот с хабра щяс и смотрю, на официальном сайте очень много старой инфы. Особенно мало инфы там для RT варианта. а в мануале некоторые опции хрен разберешь для чего нужны.
sspy вне форума  
Старый 12.07.2012, 01:27   #5
Gyrus
Member
 
Регистрация: 16.01.2008
Сообщений: 86
Бабло: $11570
По умолчанию

А помоему все там понятно... я про мануал. Я настраивал вобщем. Только, RT специально обходил стороной, т.к. когда зарождался проект - сфинкс глючил с RT. Но сейчас вроде как все ок. Вобщем, если есть вопросы - велкам.
Gyrus вне форума  
Старый 12.07.2012, 02:10   #6
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,297
Бабло: $878343
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Gyrus Посмотреть сообщение
А помоему все там понятно... я про мануал. Я настраивал вобщем. Только, RT специально обходил стороной, т.к. когда зарождался проект - сфинкс глючил с RT. Но сейчас вроде как все ок. Вобщем, если есть вопросы - велкам.
тоже думаю RT использовать не буду. запилил обычный конфиг и всё заработало, а RT парился 3 часа и он всёравно выдавал хрень, при этом грузил проц на 15% больше.вопросов вроде как уже и нету, видимо не зря 2 дня читал маны.
sspy вне форума  
Старый 12.07.2012, 14:21   #7
Gyrus
Member
 
Регистрация: 16.01.2008
Сообщений: 86
Бабло: $11570
По умолчанию

Цитата:
Сообщение от sspy Посмотреть сообщение
... видимо не зря 2 дня читал маны.
Ага. И еще, по поводу RT. Можно обновлять атрибуты, у любого индекса. Нельзя добавлять только новые строки в индекс (это рт). А с обновлениями атрибутов, и дельта индексами - все отлично работает. Единственное, кстати. проверяй длину запроса. Достаточно длинный запрос - может тормознуть нормальный сервер секунд на 10-40 (у меня тормозился феном х6 3ггц), на хорошей базе. И со звездочкой проверь все. В некоторых случаях, помогал только ресет сервера, при использовании звездочки, и без лимитов в конфиге... )
Gyrus вне форума  
Старый 12.07.2012, 14:30   #8
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,297
Бабло: $878343
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Gyrus Посмотреть сообщение
Единственное, кстати. проверяй длину запроса. Достаточно длинный запрос - может тормознуть нормальный сервер секунд на 10-40 (у меня тормозился феном х6 3ггц), на хорошей базе. И со звездочкой проверь все. В некоторых случаях, помогал только ресет сервера, при использовании звездочки, и без лимитов в конфиге... )
С запросами еще не до конца разобрался, но судя по предварительным тестам должен тянуть без проблем.

Насколько я понял есть смысл включать в индекс все поля через *, что-б убрать прямые запросы к mysql. А дальше уже сортировать и обрабатывать через сфинкс. Так ?

Одиночные записи(если известен id) выводятся с mysql, а не сфинксa ?
sspy вне форума  
Старый 20.07.2012, 11:24   #9
Gyrus
Member
 
Регистрация: 16.01.2008
Сообщений: 86
Бабло: $11570
По умолчанию

Нет, смысла включать все поля через * в индекс сфинкса - никакого нет. Иначе, если база большая, индекс вырастет до диких размеров, и сожрет всю память. Если база не большая - то впринципе можно, но все равно фигня. Т.е. тут нужен баланс некоторый. Если размер индекса увеличится не сильно - то можно делать строковые атрибуты, и прочие дополнительные атрибуты, и загонять данные туда, чтоб не дергать в последствии мускль. Но стоит учитывать то, что все атрибуты - загружаются в память, и висят там. Т.е. чем больше атрибутов в индексе сфинкса - тем больше памяти жрет процесс searchd.

Вообще, тут получается мухи отдельно, котлеты - отдельно. Сам сфинкс лезет в мускль только на этапе индексации. И все. Т.е. есть смысл - в индекс загонять нужные тебе текстовые поля, нужные атрибуты, по которым будет делаться сортировка и прочие вещи. И уже после выдачи сфинкса - дергать мускль запросом по primary id. Такие запросы чертовски быстрые.

И походу. Когда изучал вопрос - все бенчмарки говорили, что SphinxQL работает быстрее, чем SphinxAPI.
Gyrus вне форума  
Старый 21.07.2012, 00:01   #10
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

ТС, а зачем тебе sphinx ? полнотекстовый поиск, учитывающий морфологию?

у меня как-то была задача много и быстро искать - справился сам, без sphinx
Если нужно организовать простой поиск, без стемминга и прочей морфологии, - тут memory таблицы могут хорошо помочь.

Я в своей задаче все свел к построению своего индекса на основе memory, 3НФ, идентификации на хешах и хеш-индексам + можно было mysql_handlersocket использовать для еще большей скорости. А скорости получились приличные - сотни тысяч запросов в секунду по таблице более 100 млн записей. Из минусов - это возможные коллизии при идентификации, но я не бозон хиггса искал.

Сфинкс делает тоже самое - строит свой индекс своими способами. Но не всегда нужны его навороты.

ps хотя наверно сфинкс настраивается легче, чем организовывать свой индекс
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Закрытая тема



Опции темы
Опции просмотра