Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.6210
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 30.03.2011, 01:28   #1
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
По умолчанию Максимальный размер базы mysql

Хочу загрузить в базу около 180 млн кейвордов и в дальнейшем с ней работать (т.е делать запросы [поиск вхождений фраз] раз 20-30 в минуту и выводить скажем первые 50-100 результатов на каждый запрос)
Возможно ли это проделать, чтобы получать результаты по запросам довольно быстро - скажем не более чем 0,5-1 секунда?
Если да то достаточно ли будет одного сервера, на котором разместятся как сам сайт так и mysql-сервер?
Bond James вне форума  
Старый 30.03.2011, 01:33   #2
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,235
Бабло: $797160062
По умолчанию

Не советую держать таблицы с более чем миллионом записей, надо дробить соответственно делать какое-то решение для работы с частями.

з.ы. касается случаев, когда нагрузка может быть неконтролируемой, то есть зависеть от трафа. Если для себя базу надо лопатить, можно и 5-секундный запрос стерпеть.
__________________
EssayPartner.com. Партнерка по эссе трафу.

Последний раз редактировалось Drunk Monk; 30.03.2011 в 01:38.
Drunk Monk на форуме  
Старый 30.03.2011, 01:49   #3
imgreen
Lion King
 
Аватар для imgreen
 
Регистрация: 15.11.2008
Сообщений: 12,090
Бабло: $247698106
По умолчанию

смотря что за запросы будут, если в условии будет LIKE %blabla%, то будет долго работать, тут можно и минуту прождать
__________________
ДетскиеДомики.ру - забота о детях с особыми нуждами.
imgreen вне форума  
Старый 30.03.2011, 02:03   #4
t0os
сам иди в жопу!
 
Аватар для t0os
 
Регистрация: 02.05.2009
Сообщений: 673
Бабло: $81580
По умолчанию

раздей по базам кейворды. для полнотекстового поиска - sphinx
__________________
t0os вне форума  
Старый 30.03.2011, 03:00   #5
kanscx
Senior Member
 
Аватар для kanscx
 
Регистрация: 03.04.2007
Адрес: www.ua
Сообщений: 3,227
Бабло: $373635
По умолчанию

180 лямов записей в мускуле будет хуево работать по опыту )
kanscx вне форума  
Старый 30.03.2011, 03:03   #6
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,235
Бабло: $797160062
По умолчанию

kanscx, не будет вообще
__________________
EssayPartner.com. Партнерка по эссе трафу.
Drunk Monk на форуме  
Старый 30.03.2011, 03:04   #7
W84me
Senior Member
 
Регистрация: 19.04.2008
Сообщений: 266
Бабло: $44320
По умолчанию

сфинкс юзай
или многосерч чтоли звался софт, он индексы умно выстраивал

12млн база под сфинксом летает, под нагрузками даже в памяти висит,2гб, но 180 эт дохуя
ты уверен что оно все тебе надо?
удали кеи с популярностью ниже 2-3 например, будет повеселей....
W84me вне форума  
Старый 30.03.2011, 03:13   #8
imgreen
Lion King
 
Аватар для imgreen
 
Регистрация: 15.11.2008
Сообщений: 12,090
Бабло: $247698106
По умолчанию

Цитата:
Сообщение от Drunk Monk Посмотреть сообщение
kanscx, не будет вообще
Почему нет, будет, но долго... Впрочем смотря че за запросы, с индексом норм будет.
__________________
ДетскиеДомики.ру - забота о детях с особыми нуждами.
imgreen вне форума  
Старый 30.03.2011, 03:38   #9
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

хайлоад?

у меня в 1-ой таблице бывает по 100-200 млн записей, делаю insert/update с атомарными инкрементами(в том числе учитывая индексные поля). Скорость около 80-120 тысяч операций в секунду
в процессе редактирования талицы, конечно же, происходят и выборки, поэтому скорость отдельных выборок еще выще.
Это оно работает на домашнем компе со слабеньким процом(c2d) и 8Г памяти.
Но я вроде нашел, как увеличить эту скорость примерно на порядок, т.е. под 1кк операций в сек. Переписываю на redmine и map/reduce by erlang

MySQL все еще одна из самых быстрых БД, хоть и появились противники, которые кричат фуууууу
Обычно все проблемы в кривой архитектуре софта - это 90% , а также в правильной настройке окружающей среды, в которой работает софт, в частности в оптимизации работы MySQL сервера
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 30.03.2011, 04:52   #10
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

переклинило из-за соседнего топика про todo и в прошлом посте ошибся:
Цитата:
Сообщение от chesser Посмотреть сообщение
Переписываю на redmine и map/reduce by erlang
имел ввиду redis + map/reduce by erlang
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Закрытая тема



Опции темы
Опции просмотра