|
|
| | Дата |
|
| USD/RUB | 90.2486 | | BTC/USD | 69044.4723 |
|
|
|
| Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
03.12.2011, 12:50
|
Start Post: Freebsd + куча вп Hdd не справляется 
|
|
Китайский пельмень
Регистрация: 23.07.2008
Сообщений: 1,000
Бабло: $323219
|
сабж.
как можно оптимизировать?
вп порядка 600 шт + по мелочи сайтики. стоит w3 total cache кеширует mysql страницы не кешируется. (для одного плагина надо обновление страниц в реальном времени.)
на серваке ram 16GB есть мысль туда что-то перекинуть в tmpfs.
сейчас mysql'ю там выдано место для временных таблиц. работать стало быстрее но все равно морозится особенно при наплыве ботов.
так же стоит apc с размером кеша 780 mb пробовал ставить больше но % попаданий в кеш существенно не увеличивается что при 1gb что при 2gb 1 фиг. W3 в него не пишет т.к. раньше было все настроенно без него сейчас менять замучаешся... да и 600+ блогов в кеш запихнуть достаточно проблематично
mysql на кешы тоже рам выдано прилично
конфиг:
PHP код:
[MYSQLD]
tmpdir=/mnt/mysqltmp
skip-locking
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 2M
key_buffer_size=256M
query_cache_size=2G
query_cache_limit=512M
tmp_table_size=384M
max_heap_table_size=384M
thread_cache_size=16
table_cache=64000
innodb_buffer_pool_size=128M
max_connections=1000
wait_timeout =2500
interactive_timeout=2500
thread_concurrency = 8
skip-federated
skip-bdb
skip-name-resolve
mysqltuner:
PHP код:
-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.0.92
[OK] Operating on 64-bit architecture
-------- Storage Engine Statistics -------------------------------------------
[--] Status: -Archive -BDB -Federated +InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 1G (Tables: 8029)
[--] Data in InnoDB tables: 8M (Tables: 6)
[--] Data in MEMORY tables: 0B (Tables: 12)
[!!] Total fragmented tables: 295
-------- Security Recommendations -------------------------------------------
[OK] All database users have passwords assigned
-------- Performance Metrics -------------------------------------------------
[--] Up for: 57m 59s (107K q [30.855 qps], 10K conn, TX: 358M, RX: 17M)
[--] Reads / Writes: 89% / 11%
[--] Total buffers: 2.8G global + 6.4M per thread (1000 max threads)
[OK] Maximum possible memory usage: 9.0G (52% of installed RAM)
[OK] Slow queries: 0% (409/107K)
[OK] Highest usage of available connections: 55% (559/1000)
[OK] Key buffer size / total MyISAM indexes: 256.0M/138.3M
[OK] Key buffer hit rate: 97.9% (668K cached / 14K reads)
[OK] Query cache efficiency: 42.7% (30K cached / 70K selects)
[OK] Query cache prunes per day: 0
[OK] Sorts requiring temporary tables: 0% (0 temp sorts / 6K sorts)
[!!] Temporary tables created on disk: 38% (4K on disk / 11K total)
[OK] Thread cache hit rate: 88% (1K created / 10K connections)
[OK] Table cache hit rate: 99% (8K open / 8K opened)
[OK] Open file limit used: 18% (17K/90K)
[OK] Table locks acquired immediately: 99% (60K immediate / 60K locks)
[OK] InnoDB data size / buffer pool: 8.2M/128.0M
-------- Recommendations -----------------------------------------------------
General recommendations:
Run OPTIMIZE TABLE to defragment tables for better performance
MySQL started within last 24 hours - recommendations may be inaccurate
Enable the slow query log to troubleshoot bad queries
Temporary table size is already large - reduce result set size
Reduce your SELECT DISTINCT queries without LIMIT clauses
hdd с отключенным апачем
PHP код:
# diskinfo -t ada0
ada0
512 # sectorsize
500107862016 # mediasize in bytes (466G)
976773168 # mediasize in sectors
0 # stripesize
0 # stripeoffset
969021 # Cylinders according to firmware.
16 # Heads according to firmware.
63 # Sectors according to firmware.
5VJ8MPVP # Disk ident.
Seek times:
Full stroke: 250 iter in 7.160039 sec = 28.640 msec
Half stroke: 250 iter in 4.539064 sec = 18.156 msec
Quarter stroke: 500 iter in 6.842026 sec = 13.684 msec
Short forward: 400 iter in 3.325927 sec = 8.315 msec
Short backward: 400 iter in 3.012394 sec = 7.531 msec
Seq outer: 2048 iter in 0.165592 sec = 0.081 msec
Seq inner: 2048 iter in 0.584486 sec = 0.285 msec
Transfer rates:
outside: 102400 kbytes in 0.995734 sec = 102839 kbytes/sec
middle: 102400 kbytes in 1.160060 sec = 88271 kbytes/sec
inside: 102400 kbytes in 1.930989 sec = 53030 kbytes/sec
hdd с включенным апачем
PHP код:
s114# diskinfo -t ada0
ada0
512 # sectorsize
500107862016 # mediasize in bytes (466G)
976773168 # mediasize in sectors
0 # stripesize
0 # stripeoffset
969021 # Cylinders according to firmware.
16 # Heads according to firmware.
63 # Sectors according to firmware.
5VJ8MPVP # Disk ident.
Seek times:
Full stroke: 250 iter in 660.203254 sec = 2640.813 msec
Half stroke:
дальше не дождался да и вообще похоже что он повесился....
wp сайты - сплоги так что потеря небольшой части данных не критична.
думаю перекидывать при загрузки все базы на ram диск при загрузке и раз в полчаса-час по крону копировать их на hdd
но тут вопрос.. как подобный процесс пройдет при запущенном mysql и соответственно возможно изменяемой бд.... не грохнитсяли база? + надо учитывать что на hdd нагрузка может быть от чтения php файлов соответственно процесс может затянутся 
может кто с подобной проблеммой сталкивался и есть какие-то решения? |
|
|
|
04.12.2011, 00:44
|
#22
|
|
Senior Member
Регистрация: 11.11.2009
Сообщений: 362
Бабло: $71310
|
Nginx + proxy cache mod
Блоги по сути есть статика и вке должно отлично ложиться
|
|
|
|
|
04.12.2011, 00:51
|
#23
|
|
Ебланнед
Регистрация: 03.11.2009
Сообщений: 564
Бабло: $155495
|
ТС попробуй https://www.cloudflare.com
привязываешь на них домены, а у них прописываешь ип твоего сервера, там закешируют и будут выдавать через свой цдн статику.
__________________
Black List - http://www.gofuckbiz.com/showthread.php?t=36819
|
|
|
|
|
04.12.2011, 02:17
|
#24
|
|
Senior Member
Регистрация: 29.03.2009
Сообщений: 687
Бабло: $95875
|
покажи top -mio -o total
|
|
|
|
|
04.12.2011, 09:39
|
#25
|
|
Китайский пельмень
Регистрация: 23.07.2008
Сообщений: 1,000
Бабло: $323219
-->
|
ТС
Цитата:
Сообщение от Aston Martim
покажи top -mio -o total
|
какраз в момент тормоза
Код:
last pid: 8614; load averages: 0.76, 0.68, 0.58 up 0+20:38:42 05:37:25
447 processes: 2 running, 445 sleeping
CPU: 10.4% user, 0.0% nice, 1.3% system, 0.3% interrupt, 88.0% idle
Mem: 4130M Active, 3728M Inact, 1761M Wired, 214M Cache, 1646M Buf, 6017M Free
Swap: 8192M Total, 4K Used, 8192M Free
PID USERNAME VCSW IVCSW READ WRITE FAULT TOTAL PERCENT COMMAND
7621 www 2 0 1 0 0 1 20.00% httpd
8166 www 9 3 1 0 0 1 20.00% httpd
8071 www 1 0 1 0 0 1 20.00% httpd
8152 www 2 0 1 0 0 1 20.00% httpd
8523 www 2 0 1 0 0 1 20.00% httpd
8531 www 0 0 0 0 0 0 0.00% httpd
8521 www 0 0 0 0 0 0 0.00% httpd
8520 www 0 0 0 0 0 0 0.00% httpd
8519 www 0 0 0 0 0 0 0.00% httpd
8494 www 0 0 0 0 0 0 0.00% httpd
8493 www 0 0 0 0 0 0 0.00% httpd
8492 www 1 0 0 0 0 0 0.00% httpd
8480 www 0 0 0 0 0 0 0.00% httpd
8479 www 0 0 0 0 0 0 0.00% httpd
8448 www 0 0 0 0 0 0 0.00% httpd
8447 www 0 0 0 0 0 0 0.00% httpd
8446 www 0 0 0 0 0 0 0.00% httpd
8445 www 0 0 0 0 0 0 0.00% httpd
8444 www 0 0 0 0 0 0 0.00% httpd
8443 www 0 0 0 0 0 0 0.00% httpd
8442 www 0 0 0 0 0 0 0.00% httpd
8441 www 0 0 0 0 0 0 0.00% httpd
8440 www 0 0 0 0 0 0 0.00% httpd
8439 www 0 0 0 0 0 0 0.00% httpd
8437 www 0 0 0 0 0 0 0.00% httpd
8433 www 0 0 0 0 0 0 0.00% httpd
8430 www 0 0 0 0 0 0 0.00% httpd
8429 www 0 0 0 0 0 0 0.00% httpd
8428 www 0 0 0 0 0 0 0.00% httpd
8427 www 0 0 0 0 0 0 0.00% httpd
8426 www 0 0 0 0 0 0 0.00% httpd
8424 www 0 0 0 0 0 0 0.00% httpd
8423 www 8 3 0 0 0 0 0.00% httpd
8422 www 0 0 0 0 0 0 0.00% httpd
8421 www 0 0 0 0 0 0 0.00% httpd
8419 www 0 0 0 0 0 0 0.00% httpd
8416 www 0 0 0 0 0 0 0.00% httpd
8414 www 0 0 0 0 0 0 0.00% httpd
8412 www 0 0 0 0 0 0 0.00% httpd
8411 www 0 0 0 0 0 0 0.00% httpd
8410 www 0 0 0 0 0 0 0.00% httpd
8394 www 0 0 0 0 0 0 0.00% httpd
8393 www 0 0 0 0 0 0 0.00% httpd
8391 www 0 0 0 0 0 0 0.00% httpd
Последний раз редактировалось MyName; 04.12.2011 в 09:53.
|
|
|
|
|
04.12.2011, 09:42
|
#26
|
|
Китайский пельмень
Регистрация: 23.07.2008
Сообщений: 1,000
Бабло: $323219
-->
|
ТС
Цитата:
Сообщение от profitbill
ТС попробуй https://www.cloudflare.com
привязываешь на них домены, а у них прописываешь ип твоего сервера, там закешируют и будут выдавать через свой цдн статику. |
мне надо раз в сутки минимум обновлять 1 плагин. так что тут кеширование страниц как решение не пойдет |
|
|
|
|
19.12.2011, 03:20
|
#27
|
|
Member
Регистрация: 10.06.2008
Сообщений: 77
Бабло: $21324
|
Дабы не создавать новую тему...
Подскажите, как лучше поступить. Есть сервер, на нем 8гб оперативы, около сотни автонаполняемых блогов на wp + wp_super_cache. Постов в каждом блоге по ~10к. Все это вертится на апаче (ну и плюс директадмин).
вот например в данный момент
То-есть мускул очень сильно грузит проц, можно с этим что-то сделать? Проц вроде не слабый - Xeon X3450 2.67GHz
my.cnf такой
PHP код:
[mysqld]
key_buffer = 128M
max_allowed_packet = 1M
sort_buffer_size = 1M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
query_cache_size = 128M
max_connections = 1000
thread_cache_size = 8
query_cache_limit = 4M
tmp_table_size = 768M
max_heap_table_size = 256M
table_cache = 2560
local-infile=0
|
|
|
|
|
19.12.2011, 03:43
|
#28
|
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
|
вроде нет такой переменной, наверно key_buffer_size ?
посмотри процент попадания в кеш и его заполненность
сколько тегов и категорий в каждом из вп?
нагрузка равномерно распределяется между блогами? может какой-то один тормозит?
какие плагины установленны на вп?
включи log_slow_queries и посмотри что туда попадает
воспользуйся скриптами для тюнинга мускула
ставь nginx на статику
почитай тут:
http://www.gofuckbiz.com/showthread.php?t=25396
http://chesser.ru/blog/server-config...-optimization/ |
|
|
|
|
19.12.2011, 12:35
|
#29
|
|
Member
Регистрация: 10.06.2008
Сообщений: 77
Бабло: $21324
|
Цитата:
Сообщение от chesser
|
-да, key_buffer_size конечно, спасибо что поправили...
-про попадания в кеш, это ?
PHP код:
[OK] Key buffer hit rate: 99.9% (6B cached / 4M reads)
[OK] Thread cache hit rate: 95% (7K created / 177K connections)
[OK] Table cache hit rate: 99% (2K open / 2K opened)
-категорий штук 5 в среднем, а вот тегов по-разному - от 1-2, до 1-2к  (походу придется убирать такое кол-во)
-ну и судя по slow queries да, тормозит всё пара плагинов, типа улучшенного поиска по постам |
|
|
|
|
19.12.2011, 14:18
|
#30
|
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
|
Цитата:
Сообщение от wiam
-про попадания в кеш, это ?
PHP код:
[OK] Key buffer hit rate: 99.9% (6B cached / 4M reads)
[OK] Thread cache hit rate: 95% (7K created / 177K connections)
[OK] Table cache hit rate: 99% (2K open / 2K opened)
|
во-первых у тебя Key buffer hit rate показывает херню какую-то, 6 байт закешированно? похоже, что кеш индексов не работает. Ты mysql сервер ребутил после изменения переменной на key_buffer_size ?
Еще нужна статистика по query cache, что-то вроде "query cache efficiency"
Цитата:
Сообщение от wiam
-категорий штук 5 в среднем, а вот тегов по-разному - от 1-2, до 1-2к (походу придется убирать такое кол-во) |
в вордпрессе особой разницы между тегом и категорией нет, это все называется таксономия. 1-2к тегов могут и будут очень хорошо тормозить mysql. Если есть возможность - сокращай их кол-во до минимума. (В этом плане друпал обогнал вордпресс, там есть промежуточное кеширование данных в БД). Почитай топик, что я привел в предыдущем посте, там я объяснял подробно про теги.
Цитата:
Сообщение от wiam
-ну и судя по slow queries да, тормозит всё пара плагинов, типа улучшенного поиска по постам
|
пробуй вырубать их по частям.
К примеру, сильно прибавляет тормоза плагин типа "WordPress Related Posts" - но его можно урезать немного и будет живее работать.
А вообще, установи плагин типа wp tuner - он удобно показывает какие запросы и страницы тормозят. |
|
|
|
|
19.12.2011, 14:41
|
#31
|
|
Member
Регистрация: 10.06.2008
Сообщений: 77
Бабло: $21324
|
ну вот сейчас
PHP код:
[OK] Key buffer hit rate: 99.9% (679M cached / 546K reads)
[OK] Query cache efficiency: 53.2% (316K cached / 595K selects)
[!!] Query cache prunes per day: 4063215
Статью прочитал сразу, разобрался в паре моментов. Придется теги убирать ну и wp-tuner поставлю гляну что как, а вот плагин релейтед постов нужен, как его урезать?
И еще такой вопрос - если все по уму делать, то ставить nginx + php-fpm. А будет ли тогда тот же wp-super-cache работать ? Или кеш по другому делать ? И permalinks не отвалится ? |
|
|
|
|
Линейный вид
