DLE кладет сервер - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB89.7026
BTC/USD67779.5509
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 27.08.2012, 10:20
Start Post: DLE кладет сервер 
  #11
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
По умолчанию

Сервер Intel Core i7-2600 Processor + 16GB RAM

На серваке сайты на dle 9.4
Трафика прилично - из за чего сервер шатается и мускул регулярно весело лежит.

Кэширование включено, но не особо помогает. Модули отрубать нельзя и разные вещи типа вывода "популярных новостей и голосовалок" так же не надо отрубать.

Инферновские админы регулярно помогают, что то поднастраивают, пару дней работает - потом опять живу в тикетах...

Кто что посоветует предпринять? Либо подкрутить двиг, либо есть архи админ, который настроит сервак, что все будет летать.... Заплачу, договоримся...

Сайты же типа http://www.heroturko.me/ держат лямы страниц в индексе и тонны трафа...
mamba вне форума  
Старый 27.08.2012, 11:25   #12
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
ТС -->
автор темы ТС По умолчанию

Smilex, дело в том, что там 5-7 сайтов висит))

res1dent, вот уж хз, что отрубать - там модуль переходы ебошит злостно, но без него тоже не айс...

может и грабят/парсят меня
mamba вне форума  
Старый 27.08.2012, 11:30   #13
res1dent
Везучий ВМ
 
Аватар для res1dent
 
Регистрация: 21.08.2009
Сообщений: 1,495
Бабло: $239825
Отправить сообщение для res1dent с помощью Telegram
По умолчанию

ну с переходов и надо было начинать)
только 2 серв решит твою проблему
сли бы тебя парсили то отлип бы через часок
res1dent вне форума  
Старый 27.08.2012, 11:34   #14
Venya Tolinov
Senior Member
 
Аватар для Venya Tolinov
 
Регистрация: 24.11.2010
Сообщений: 229
Бабло: $52860
Отправить сообщение для Venya Tolinov с помощью Skype™
По умолчанию

Цитата:
Сообщение от res1dent Посмотреть сообщение
ну с переходов и надо было начинать)
только 2 серв решит твою проблему
сли бы тебя парсили то отлип бы через часок
Зачем второй сервер? Пусть тест сначала пройдёт!
__________________
Amazon Graffiti - монетизация страниц в Facebook
Venya Tolinov вне форума  
Старый 27.08.2012, 11:38   #15
Kampfik
Member
 
Аватар для Kampfik
 
Регистрация: 25.10.2011
Сообщений: 66
Бабло: $13015
По умолчанию

Отключи модуль похожих новостей - нагрузка упадет в 2 раза.
Он делает полнотекстовый поиск и сильно грузит.
Kampfik вне форума  
Старый 27.08.2012, 11:46   #16
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
ТС -->
автор темы ТС По умолчанию

Kampfik, перелинковка идет в задницу=((
mamba вне форума  
Старый 27.08.2012, 12:23   #17
xealey
Senior Member
 
Аватар для xealey
 
Регистрация: 04.09.2007
Сообщений: 1,267
Бабло: $254000
По умолчанию

Offtopic
__________________
Апарсер охрененен
xealey вне форума  
Старый 27.08.2012, 13:15   #18
Kampfik
Member
 
Аватар для Kampfik
 
Регистрация: 25.10.2011
Сообщений: 66
Бабло: $13015
По умолчанию

Цитата:
Kampfik, перелинковка идет в задницу=((
Ну и пусть идет ) Разницы ты не заметишь.
или
1.Переписывать алгоритм запросов по похожим новостям - вырезать все - оставить только поиск по титлам например.
2.Делать через custom выводы - но это гемор - каждой категории надо будет свой шаб фул новости.
Kampfik вне форума  
Старый 27.08.2012, 13:23   #19
smsupport
Senior Member
 
Аватар для smsupport
 
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло: $361075
По умолчанию

в 9.4 вроде нету мемкеша , структура таблиц морально устарела. Обновись к актуальной версии. Она дает меньше нагрузку. У самого было порядка 20 сайтов на дле 9.4 с достаточно большим трафом. Конфиг такой как у тебя только ОЗУ больше. Слабое место ЦПУ из-за мускл. Помогло отключение модулей + мемкеш. Правда после этого траф упал.
__________________
Swissdoc heavy spec
smsupport вне форума  
Старый 27.08.2012, 13:49   #20
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,268
Бабло: $797172957
По умолчанию

Можно попробовать перевести все таблицы на MEMORY, только сделать механизм восстановления после ребута.
Drunk Monk вне форума  
Старый 27.08.2012, 14:44   #21
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

как-то грабил heroturko он ложился переодически от парсинга вглубь (в начале непонял вообще в чем дело запускаю скрипт пол-часа и сайт лежит), чем сильно меня расстраивал, руки были кривые, парсил я его долго (несколько недель вроде) и в какой-то момент видимо владельцам надоел этот аттракцион и они ограничили пагинацию до 20 страниц.

с grab и приличного стэка проксей можно так нагрузить, что средний сайт просто охуеет вывозить нагрузку.
кэширование нужно полюбому т.к. один простой запрос старницы генерирует кучу обращений к БД.
__________________
www.imscraping.ninja
grablab.org | blog
WebNinja вне форума