Вопрос по PHP/MySQL: философия в highload приложениях - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB88.4375
BTC/USD67828.5337
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 31.03.2014, 17:01
Start Post: Вопрос по PHP/MySQL: философия в highload приложениях 
  #11
Mentos
VM
 
Регистрация: 03.10.2013
Сообщений: 174
Бабло: $56020
По умолчанию

Вопрос скорее к Chesser'у и прочим гуру.
Пишу крупную БД, подскажите как делать структуру.

К примеру возьмем теоритический форум на PHP/MySQL с 1 миллиардом юзеров.

Есть классическая таблица users
id | email | password

Вот вопрос например подписи пользователей хранить в таблице users или создавать отдельную таблицу user_signature?
user_id | signature

т.е. крупные БД можно увеличить в горизональном положении? или это очень плохо сказывается на производительности? какие проблемы возникают?
какие вообще минусы или разницы нет?

в данный момент я все данные юзера держу в одной таблице users, во тне знаю правильно ли делаю

__________

Сразу же второй вопрос: как highload проектах делается бэкап? и восстановление?

у меня пока план такой - я буду делать репликацию БД на несколько серверов

__________

Третий вопрос: Я по плану собираюсь для повышения производительности, при изменении/добавлении в БД использовать мастер сервер, при просто чтении данных (select) использовать сервера реплики - хороший план? какие минусы и какие особенности такой схемы?

так же я собираюсь на всякий случай делать в ручную полный бэкап на отдельный сервер

но вот предположим ситуацию что хакер на мастер сервере сделает команду удаления всей БД, в след за мастером очистятся все слейв сервера - как потом мне с другого сервера восстановить бэкап, например он будет весить 500 GB

__________

Четвертый вопрос: допустим БД будет очень огромная, 20 TB - как реализовать и использовать такую БД?
просто сервак взять не получиться, не хватит места. Нужно смотреть в сторону облачных решений? как на них организовать безопасную и быструю работу? можно будет тупо с главного сервера выполнять все запросы select, update... и все будет так же быстро ? бэкап в ручную просто в другое облако?
__________________
-

Последний раз редактировалось Mentos; 31.03.2014 в 17:11.
Mentos вне форума  
Старый 04.04.2014, 11:27   #12
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,350
Бабло: $470735
По умолчанию

http://2013.nastachku.ru/pages/broadcast
"Большой зал", 12:30, докладчик Сергей Аверин, Badoo

ну и другие доклады/конференции по HL глянь

Цитата:
Все нижеизложенные подходы основываются на трех основных принципах: распределении задач, кэшировании промежуточных результатов и отложенном (асинхронном) выполнении части работы. Пройдемся по порядку....
http://www.insight-it.ru/masshtabiru...ykh-shablonov/

все эти паттерны реализуются современными инструментами (софтом), какие паттерны или инструменты лучше - зависит от задачи, даже от мелочей (от конкретных запросов, например).
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 19.04.2014, 20:50   #13
Mentos
VM
 
Регистрация: 03.10.2013
Сообщений: 174
Бабло: $56020
ТС -->
автор темы ТС По умолчанию

4 млн. строк и уже начались жуткие тормоза((((( хотя диск SSD, много оперативки и т.д.

индексы не помогают, Memcached не пристроишь потому что используются транзакции, а при их исопльзовании доверяться посреднику как-то не профессионально. Хотя буду думать можно ли его все таки пристроить....
__________________
-
Mentos вне форума  
Старый 20.04.2014, 14:37   #14
arma
Пионер
 
Аватар для arma
 
Регистрация: 21.12.2007
Сообщений: 197
Бабло: $37745
По умолчанию

"Тормоза" - это очень расплывчато.
Offtopic

На таких уровнях все решается поиском узких мест и тюнингом ОС/MySQL.
Советую понаставить утилит помогающих диагностировать проблему и заняться поиском.
__________________
arma вне форума  
Старый 20.04.2014, 18:03   #15
Mentos
VM
 
Регистрация: 03.10.2013
Сообщений: 174
Бабло: $56020
ТС -->
автор темы ТС По умолчанию

я уже оптимизировал ))) раздробил таблицы на оперативные и архивные
+ сделал кеш для сложных запросов

для Memcached тоже применение нашел, используется только для постоянных не очень ценных селектов

слейв теперь только для бэкапа т.к. он не особо нужен если есть Memcached
__________________
-
Mentos вне форума  
Старый 20.04.2014, 21:22   #16
rushter
Senior Member
 
Регистрация: 28.11.2009
Сообщений: 1,787
Бабло: $299365
По умолчанию

Каждый год подобные темы и всегда итог один, сложность задачи преувеличивают в 10-100 раз или просто напросто не имеют такого обьёма данных/нагрузки...
Помню человек спрашивал про 10к запросов в секунду, оказалось он городской портал пишет

Ещё полгода назад ты искал программистов для простых скриптов, а уже сейчас cам под хайлоад пишешь?
http://www.gofuckbiz.com/showthread.php?t=37213
http://www.gofuckbiz.com/showthread.php?t=38003

Последний раз редактировалось rushter; 20.04.2014 в 21:33.
rushter вне форума  
Старый 20.04.2014, 22:17   #17
sspy
главный злодей гофака
 
Аватар для sspy
 
Регистрация: 18.06.2007
Сообщений: 5,734
Бабло: $953848
По умолчанию

Цитата:
Сообщение от rushter Посмотреть сообщение
Помню человек спрашивал про 10к запросов в секунду, оказалось он городской портал пишет
надеюсь ты не про меня, я тоже спрашивал про подобные цифры и даже выше, но там сайт был посвящен олимпийским играм и заказчик требовал именно такую производительность.
__________________
sspy вне форума  
Старый 20.04.2014, 22:38   #18
Юнга
white powder
 
Аватар для Юнга
 
Регистрация: 29.04.2007
Сообщений: 2,684
Бабло: $370670
По умолчанию

Цитата:
Сообщение от rushter Посмотреть сообщение

Ещё полгода назад ты искал программистов для простых скриптов, а уже сейчас cам под хайлоад пишешь?
да хуле там писать
__________________
господин мойва любит вас 🙄https://t.me/musica_finale | у каждого есть история: https://anchor.fm/hibrokakbiz 🙉🎤🙊
Юнга вне форума  
Старый 20.04.2014, 22:46   #19
chizer
Senior Member
 
Аватар для chizer
 
Регистрация: 01.02.2011
Сообщений: 727
Бабло: $191845
По умолчанию

Очередной икан набивает посты имхо.

Последний раз редактировалось chizer; 20.04.2014 в 22:52.
chizer вне форума  
Старый 21.04.2014, 05:37   #20
Mentos
VM
 
Регистрация: 03.10.2013
Сообщений: 174
Бабло: $56020
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от rushter Посмотреть сообщение

Ещё полгода назад ты искал программистов для простых скриптов, а уже сейчас cам под хайлоад пишешь?
http://www.gofuckbiz.com/showthread.php?t=37213
http://www.gofuckbiz.com/showthread.php?t=38003
зачем самому писать не серьезный софт, когда проще отдать на аутсорс?
__________________
-
Mentos вне форума  
Старый 06.05.2014, 11:26   #21
andreyka
Юниор
 
Регистрация: 31.08.2007
Сообщений: 7
Бабло: $2220
По умолчанию

В хайлоаде используют горизонтальное масштабирование
andreyka вне форума