DLE кладет сервер

[mamba]

Сервер Intel Core i7-2600 Processor + 16GB RAM

На серваке сайты на dle 9.4
Трафика прилично - из за чего сервер шатается и мускул регулярно весело лежит.

Кэширование включено, но не особо помогает. Модули отрубать нельзя и разные вещи типа вывода "популярных новостей и голосовалок" так же не надо отрубать.

Инферновские админы регулярно помогают, что то поднастраивают, пару дней работает - потом опять живу в тикетах...

Кто что посоветует предпринять? Либо подкрутить двиг, либо есть архи админ, который настроит сервак, что все будет летать.... Заплачу, договоримся...

Сайты же типа http://www.heroturko.me/ держат лямы страниц в индексе и тонны трафа...

[mamba]

Кэширование то стоит... надо как херотурко бы сделать, защиту от грабба

[chesser]

Сообщение от mamba

Кэширование то стоит...

вот эта фраза меня всегда вводит в ступор, т.к. веб-кеширование имеет штук 10 разновидностей и не каждое помогает в конкретной ситуации, иногда может усугубить.
Для динамичных сайтов во-первых нужно постараться поискать статичные ресурсы и постараться их отгородить nginx-ом. Во-вторых - закешировать на клиентах все, что возможно. Далее спасает память и объектное кеширование в нее на бекенде, в том числе кеширование ответов в mysql, хотя это не очень красивая мера.

попробуй кешировать на уровне БД, т.е. ответы на запросы, иногда помогает продлить жизнь проекта, если оно еще не включено.

Немного слов об оптимизации сервера

можно еще закешироваться в облаках

[Drunk Monk]

chesser, там есть дефолтное кеширование некоторых страниц в файлы. Со временем получается папка с ахулионом файлов, содержащих html какой-нибудь триста сорок пятой страницы в категории "Мотоциклы", ну и т.д.

[chesser]

Сообщение от Drunk Monk

chesser, там есть дефолтное кеширование некоторых страниц в файлы. Со временем получается папка с ахулионом файлов, содержащих html какой-нибудь триста сорок пятой страницы в категории "Мотоциклы", ну и т.д.

вот я про это и говорю )) что "включили кеширование" и "мы пытались и все бесполезно" означают одно и тоже
вообще, кешировать в файлы - это опасная тема )) особенно, если диски слабые, да и в ОС может стоять мелкое ограничение на буфер дискового кеша.

DLE рунеты написали? чо за софт вообще? ))
использую drupal - таких проблем не замечал ))

[mamba]

Сообщение от Drunk Monk

Со временем получается папка с ахулионом файлов, содержащих html какой-нибудь триста сорок пятой страницы в категории "Мотоциклы", ну и т.д.

Ну так можно сделать так, чтоб этот кэш периодически чистился...

До сих пор воюю с дле.. на серваке сайтов 6, и на одном траф вырос и началась огония, вторые сутки через пень колоду.

Возможно начинают грабить и все ложится...
Но с другой стороны там постоянно дрочится поиск по новостям, мускул шатает... но без этого никак=(((

На ДЛЕ есть какой крутяцкий антиграбер?

[chesser]

вот сейчас смотрю один сервер(свой), там "включили кеширование" и отвели под это дело столько памяти, сколько было нужно на тот момент + запас. Сейчас этот запас закончился и сервер начал деградировать по скорости, потому что он постоянно занимается обновлением в алгоритме LRU. А изначально давать памяти с большим запасом тоже нельзя было, т.к. память не резиновая.

Я к тому, что оптимизацией сервера и софта нужно заниматься постоянно.

Причем, "админы хостинга" обычно не оптимизаторы ни разу, а просто админы, которым все равно, что у вас происходит внутри софта, т.к. в него они все равно не полезут, а будут "обкалывать проект наркотиками" в виде всякие внешних кешеров, ngnix-ов и других сугубо админских фишек. Обычно такие мероприятия оттягивают "конец" на потом.
С другой стороны, программист, который пишет под софт и в нем разбирается - это обычно просто программист, который не знает и часто боится лезть на сервер, каждый раз произнося фразу "это пусть одмины настраивают, они умеют". Да и я с трудом понимаю, как можно оптимизировать(или вообще писать быстрый софт), не зная на хорошем уровне инструментарий админов. Отсюда и выходят плагины вордпресса, после которых надо "включать кеширование"

Сообщение от mamba

Возможно начинают грабить и все ложится...

На ДЛЕ есть какой крутяцкий антиграбер?

включи это: http://nginx.org/ru/docs/http/ngx_ht...eq_module.html
http://www.hilik.org.ua/nginx-limit-zone-limit-req/

оно поможет от тупого парсинга

[mamba]

Сейчас нашли опытного опытного админа. Должны запилить все...

Просто мало ли кто тут на DLE гоняет сайты, да сталкивался с траблами. Мож антиграберы есть и т.д.

[1een]

Как ты себе представляешь эти антиграберы? Если я паршу в 50 потоков с пулом в 3000 живых проксей.

[mamba]

Ну мне хотя бы школьников отогнать нахер... Прокси будут затратны... ведь есть куча ресов где не надо прокси))

Да и еще хз пойми почему то лежим\ то не лежим

ночь сервак пролежал, сейчас бегает шустро с тем же кол-вом трафа и настройками.

Возможно знач граб или ддос блиа=(

[WebNinja]

кэшируй в редис короче.

Как ты себе представляешь эти антиграберы? Если я паршу в 50 потоков с пулом в 3000 живых проксей.

ага + 100, 50 потоков это дохрена ) такое далеко не каждый сайт выдержит.