Завершение обновления серверной инфраструктуры

10.06.20 · 22:29
22
  • Тема закрыта
  • Страница 1 из 2
Hagen
  • Hagen Профессионально граблю АП!
     Администратор
    ezPlus+
    ОК
    6 917
    6
    18 лет
    Популярное
#1

server.png

Уважаемые игроки, полагаю, что за последний месяц я утомил вас чередой технических работ на наших серверах. Знали бы вы, как они утомили меня... Об этом я сейчас и постараюсь рассказать в технических подробностях. Для тех, кому они не особо интересны, достаточно знать, что сервер, на котором расположен Tirion, перенесен на новую платформу, управляемую и более производительную, а база данных теперь работает на рейде из NVMe дисков и выдает 2 300 мегабайт линейного чтения и 750 мегабайт записи. В совокупности с некоторыми оптимизациями кода, по результатам работ серверная задержка была существенно снижена, а скачки диффа практически полностью нивелированы.

 

История одного (двух) апгрейда

Последние лет 8 основной сервер проекта работал на десткопной (домашней) платформе не особо для этой работы предназначенной. Причин тому было несколько, но основная - в те незапамятные времена код ядра был плохо оптимизирован и требовал высокой производительности (частоты) на каждом из ядер процессора, решения с большим количеством потоков работали плохо. Поэтому было принято решение собрать проект на процессоре i7-3960X 3.30GHz (экстрим версия) - по тем временам довольно дорогая железка (тысяч 40), но весьма производительная. Верой и правдой он отслужил много лет, за эти годы в нем трижды дох блок питания и несколько раз умирали SSD диски: минимум один раз системный и дважды под раздел проектов. Главные проблемы десткопной машины в серверной - отсутствие модулей удаленного управления и памяти ECC Registred, умеющей самостоятельно исправлять ошибки. И если проблема памяти не настолько критичная, то вот без удаленного управления машиной жилось весьма тяжело.

 

Для тех кому интересно, в серверных решениях есть возможность заходить через веб-интерфейс (настроенный через BIOS) и удаленно управлять настройками машины, запускать ее консоль даже в состоянии, когда она зависла физически или крашнулась ее ОС. Выглядит это примерно вот так:

 

Скрытый текст

 

Обновление платформы основного сервера

В связи с карантином и наплывом игроков я решил, что пора привести в порядок инфраструктуру и обновить ключевой сервер. Сколько стоят современные решения можете поискать сами, цены убегают далеко не за одну сотню тысяч. Поэтому у надежного поставщика была приобретена подержанная платформа из европейского ДЦ - Dell R620 с двумя процами E5-2643 v2 3.50GHz и 64Gb памяти. Что бы не трогать рабочий сервер и лишний раз не дергать пользователей было куплено три SSD от Samsung (под систему, под проекты и их логи, и отдельный диск на 500GB под кор-дампы, формирующиеся при падениях ядра). Вообще, за последний год у меня собралась уже целая коллекция из дисков, установленных в те или иные серверы проекта:

Скрытый текст

 

Да, железо не первой свежести, но под наши задачи его за глаза, плюс стоимость апгрейда уложилась примерно в 100 000 рублей с учетом дисков. Работая второй десяток лет с платформами Intel мы были приятно удивлены решением от Dell, начиная от внешнего вида, дисплея с настраиваемым текстом на торце и заканчивая iDRAC - интерфейсом удаленного управления, детально продуманным и очень удобным в эксплуатации. Само состояние сервера в техническом плане идеальное. Несколько фотографий платформы:

Скрытый текст

 

Платформа была установлена и подключена, после чего на нее был установлен свежий Debian 10, собран игровой мир, настроены скрипты для синхронизации логов со старым сервером. Миграция с одного сервера на другой заняла для вас минут 10 времени, я же на это потратил несколько дней. В итоге мы получили управляемый сервер с двумя процами уровнем выше чем наш старенький 3960x. Но на этом я решил не останавливаться.

 

Обновление дисковой подсистемы сервера базы данных

База данных уже много лет работала на платформе Intel S2600GZ, процессоре E5-2680 v2 2.80GHz и рейде из 4-ех SSD дисков на контроллере Adaptec. В свое время собрать ее стоило порядка 200 тысяч. И в целом все работало неплохо, но с массивом дисков были какие-то странные проблемы. Если вы помните, то в сентябре 2019 на наших мира довольно знатно колбасился дифф, плюс в рейде дважды отваливался диск по непонятным причинам. Тогда я решил это обновлением прошивки контроллера, но сама суть проблем осталась неизвестна. На дворе 2020 год, NVMe пришли в массы. Раз уж обновлять дисковую подсистему, то на M.2 диски. База данных - требовательная штука, особенно к записи, но и чтение в районе двух гигабайт не помешало бы. Сказано - сделано. В платформе, собранной году этак в 13-14, естественно, нет слотов под M.2, но это ведь не проблема? Берем PCI-E Адаптер от ASUS, парочку V-NAND 970 PRO SSD и заводимся? Звучит как план, минус 30 тысяч и железки готовы к установке.

Скрытый текст

 

В платформу установлен один процессор - E5-2680 v2 2.80GHz, в свое время он покупался для того, что бы запустить на нем игровые миры; он стоил бешенные 65 тысяч, но плохо оптимизированный код (о котором говорилось выше) не потянул, после чего на платформе и была собрала база данных, а миры так и остались на старом сервере. Так вот, процессор там один, а PCI-E линии - две, в одной из них стоит ADAPTEC и прекрасно работает, вставляем адаптер во второй иииии...? Ничего подобного, линии разделены на каждый из сокетов, нихрена не работает - GG, ночь пропала, апгрейд не удался. Забавно, что предварительно адаптер со стареньким NVMe M.2 тестировался на платформе, на которой размещен хостинг (она идентичная за исключением того, что 2U,а не 1) и там стоит 2 процессора... С учетом процедуры обновления BIOS`а - еще одна ночь.

 

Проц в свое время стоивший 65, сейчас у тех же ребят, что продали платформу, стоит 18. Суббота, звоню, договариваемся - забираю из офиса. Очередная ночь. Вставляем камень, отменно смазав его термопастой MX-4, с первого раза правильно раскидываем память - стартует, 20 ядер 40 потоков, круто.

Скрытый текст

 

И даже адаптер заводится, но технология разделения PCI-E шины появилась примерно в 2017 году и платформа видит только 1-ый слот адаптера, а дисков в нем стоит два. Так как запускать базу данных без резервирования - абсолютно идиотсткая идея - очередная ночь потеряна, GG, расходимся.

 

Потрачено уже достаточно много денег и очень много времени, не бросать же все в таком состоянии? Как решить проблему? Правильно, берем еще один такой же PCI-E - M.2 адаптер от ASUS :D, заодно и диск под новую ОС, 6-ой CentOS морально устарел.

Скрытый текст

 

Еще одна бессонная ночь. Резервируем файлы базы данных, вытаскиваем Adaptec, вставляем две новых платы с диском в каждой:

Скрытый текст

 

Ура, платформа видит оба NVMe диска, создаем RAID1, запускаем базу данных - работает!

Скрытый текст

 

Дело осталось за малым: устанавливаем Debian 10, настраиваем сервисы и включаем миры в работу. Победа!

 

Как я и говорил в самом начале - стабильная работа и снижение серверной задержки. Немного жаль потраченного времени и 7 бессонных ночей, но результатами я крайне доволен. Спасибо тем, кто прочел данную статью, тем же кто из нее что-то понял - отдельное уважение.


#2

молодцы, ковид-19 не коснулся вашей материальной составляющей. в целом звучит все круто, но хочется увидеть на деле. хотя сейчас у 60% игроков каникулы. 

держи лукаса) 

и такой вопрос. ты ходишь в разных ботинках? 


#3

Зачет такой сборке, но я стала переживать за охлаждение этой системы! Такое кол-во ssd - это ж ППЦ. Активка работает хорошо???)))


#4

Что с ногтями)?!!


#5

Что с ногтями)?!!

Сервак в руках держу не я :D.


Зачет такой сборке, но я стала переживать за охлаждение этой системы! Такое кол-во ssd - это ж ППЦ. Активка работает хорошо???)))

SSD в отличии от HDD греются мало, кроме того это все в разные серверы, да и 7 турбин в платформе вполне неплохо справляются с охлаждением:

Скрытый текст


#6
Прочитал на одном дыхание :D
#7

Под конец возник вопрос с охлаждением сего чуда. Но вроде ответили уже)) Респект за проделанную работу и благодарность, что делаете всё для развития проекта.


Сообщение отредактировал imtarenlol: 11.06.20 · 02:24

#8
12 лет труда... Столько времени, нервов и бессонных ночей... Hagen Спасибо!!!
Каждому-своё... http://s001.radikal....a11845fac02.jpg
#9

Хорошая работа.


#10

Титаническая работа. Если, я в этом что-то все-таки понял.


cdb933c7a44fb71958658329c186208d.png

#11

Спасибо!

Мы - игроки - ценим то, что работа по улучшению сервера и, как результат, по улучшению игрового процесса не останавливается даже по ночам )

Браво!


#12

красота, спасибо за проделанную работу  :ph34r:


15b27d2d1804f74534e2d0de9dc6b081.png
                                        :crab:  a n d   :crab: 
a267b5d92037b37e2629fd30ea2dd023.png

#13

В конце поста написано что результат "снижение серверной задержки" но почему у меня как было 60 мс так и осталось? могу ли я допустить что задержка в моем случае не зависит от самого сервера, скорее всего на маршруте есть проблемы которые приводят к такой задержке и ни как не повлияли на данные улучшения?


#14

В конце поста написано что результат "снижение серверной задержки" но почему у меня как было 60 мс так и осталось? могу ли я допустить что задержка в моем случае не зависит от самого сервера, скорее всего на маршруте есть проблемы которые приводят к такой задержке и ни как не повлияли на данные улучшения?

Если речь идет о пинге - это не то о чем я говорил. Я говорю о времени обработки сервером мира, непосредственный лаг игровой.


#15

Странно что нету попрошаек  на промо кодик , или халявный прем .... :dry:  :dry:  :dry:  :dry:


3cf9a14d4f251ecc21bb61d0cec37c3d.png

dcc8ef9df6b9c607399aedd5feb189de.png

1553d2b4d069af7142d0008efa698abf.png

#16

Молодцы :good:


4a4f294cd73e8d08abef86c461916894.pngcaa93f667267f94224b2a205a07fa9eb.png

fa989feb1dd2d2f71b019b56f2e8b8d2.png

#17

Сервак сейчас рабтает или нет? Просто пвпэшный показывает, что доступен, а пве нет доступа!!! Отпишитесь кто нибудь.


#18

Спасибо за проделанную работу.


#19

Давненько не был, а тут такие новости...

Поздравляю с апгрейдом! Кстати, можно еще добавить, что БП там два, и выход из строя одного, или (если к стойке из двух мест питание приходит) отключение света сервак не остановят. Советую БП запасной прикупить, на старые серваки бывает трудно комплектуху докупать. Но я по HP сужу. Кстати, у них тоже годная система удаленного управления.


#20

Спасибо за проделанную работу!!!!


a3807a910fe2cbb468710b2e6b70d477.png

  • Страница 1 из 2

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 скрытых пользователей