Посоветуйте по серверам.

[Mori@rty]

Всем привет!
В данный момент под проект заюзано 70+ таких серверов:
https://ru.hetzner.com/hosting/produ...server/ex51ssd
В ближайшее время планируется увеличение кол-ва до 150-200.

Посоветуйте плз кто знает, какие варианты снижения расходов можно придумать?

[slurp]

а проверяли, основную нагрузку не говно-боты создают?

[Final Fantasy]

Сообщение от Mori@rty

Когда гугла нет, все работает отлично. Потом приходит ОН и начинается жесть))
Ему ведь не объяснишь что все 2-3 тыщи сайтов с одного сервака надо поочереди индексить, а не одновременно))
Оставлены только гугл, бинг и яндекс, остальные все лочатся.
Поэтому и остановились именно на этих конфигах, что они вроде золотой середины получаются.

Попробуй в robots.txt прописать Crawl-delay и Request-rate, может полегче станет

И еще эти боты очень любят шестерить и создавать лишнюю нагрузку на сервак

if ($http_user_agent ~* (MJ12bot|Ahrefs|MegaIndex|ltx71|DotBot|SEOkicks|Se mrushBot|BlexBot|SISTRIX) ) { return 403; }

[Lord_Alfred]

Сообщение от Mori@rty

Кеш само собой есть.
Решили для начала пробовать перевести на пхп7 (нгникс и пхп-фпм), сравним что получится.
Там основная нагрузка приходится на мускул, на выборки похожих товаров, теги и особо их уже не оптимизируешь.

А сейчас на чем там всё крутится? Я чет не особо в курсе, наверное, но при простом апгрейде версии пхп ведь вроде не прибавится прям значительно скорость работы?

Куда кеш складываете? В эту же базу или в redis, например?

Вообще, если проблема основная в том, что нагрузка идет на базу - надо базу раскидывать на несколько серверов ( шардинг и репликация ) и с её оптимизацией работать (это в первую очередь, explain'ить запросы и выявлять где жесть делается, иногда банальным переписыванием пары запросов можно добиться потрясающих результатов: пример, с которым не так давно столкнулся - дикий прирост был).

[Hector]

Для начала нужно slow query log смотреть что тормозит а потом все остальное.

[веломан]

Сообщение от Lord_Alfred

А сейчас на чем там всё крутится? Я чет не особо в курсе, наверное, но при простом апгрейде версии пхп ведь вроде не прибавится прям значительно скорость работы?

Куда кеш складываете? В эту же базу или в redis, например?

Вообще, если проблема основная в том, что нагрузка идет на базу - надо базу раскидывать на несколько серверов ( шардинг и репликация ) и с её оптимизацией работать (это в первую очередь, explain'ить запросы и выявлять где жесть делается, иногда банальным переписыванием пары запросов можно добиться потрясающих результатов: пример, с которым не так давно столкнулся - дикий прирост был).

не надо никогда БД по серверам раскидывать, идеально, когда на одном
посмотри, например https://www.youtube.com/watch?v=P__hN6u9yCw&t=170s

а ТС походу на WP чтоли устроился и прочих CMS?

[Lord_Alfred]

Сообщение от веломан

не надо никогда БД по серверам раскидывать, идеально, когда на одном
посмотри, например https://www.youtube.com/watch?v=P__hN6u9yCw&t=170s

Бредятина, вырванная из контекста. Ты же не думаешь, что у гигантов (например, в соцсетях) - данные на одной базе лежат? Там всё шардится, хоть и скорее всего уже у них не типичные СУБД в нашем понимании.

А так, да, ТСу не нужно скорее всего это, т.к. я изначально подумал, что там какой-то гигантский проект лежит, поэтому и хотелки такие по железу. Лучше, конечно, пускай начнет с оптимизации узких мест, а там видно будет. Может лучше будет просто под БД взять отдельную мощную тачку с кучей рамы, а сайты пускай лежат на другой, с кучей ядер.

PS: меня ещё чет не покидает ощущение, что там кеширование прикручено в ту же базу, где и сами данные лежат.

[веломан]

Сообщение от Lord_Alfred

Бредятина, вырванная из контекста. Ты же не думаешь, что у гигантов (например, в соцсетях) - данные на одной базе лежат? Там всё шардится, хоть и скорее всего уже у них не типичные СУБД в нашем понимании.

смотря какие соц.сети
у вк архитектура слегка их выступления есть на том же хайлоаде, там местами весьма рукожопно получилось
ну а потом под музыку например отдельная БД это ок, её реально много и там свои заморочки уровня шазама
а вообще кластеры, мультимастер

[MoreneHost]

Здравствуйте, обратитесь к нам https://morene.host/contacts.php , поможем.