Немного подробностей о технических проблемах

18.03.20 · 21:39
21
  • Тема закрыта
  • Страница 1 из 2
Hagen
  • Hagen Профессионально граблю АП!
     Администратор
    ezPlus+
    ОК
    6 917
    6
    18 лет
    Популярное
#1

work.png

Уважаемые игроки, беда не приходит одна, как вы уже наверняка успели заметить, наш проект штормило весь понедельник, а ночью вторника пришлось проводить внеплановые технические работы. А все началось с рядового отключения электричества в серверной о котором, к сожалению, заранее никто не предупредил. Несмотря на внушительное количество ИБП и батарей к ним, они держат оборудование около 20-30 минут. Резервный дизельный генератор очередной раз не захотел запускаться сам (вредный он у нас), из-за чего все серваки практически в одночасье легли. На процедуру выяснения причин, высылку специального человека на место, запуск генератора ушло несколько часов и уже стало казаться что все стало хорошо, НО...

 

К ночи Tirion был отправлен в штатную перезагрузку в виду регулярных (почти) технических работ по обновлению. Спустя 5 минут после перезагрузки мне позвонил Автобот (да, он у нас умный и умеет алертить важные события) - мир не поднялся. Серверная машина, на которой он расположен, отвечала на пинг, но любые попытки подключиться к удаленному управлению окончились неудачей. Около часа ночи пришлось ехать и смотреть что с ним не так. Выяснилось, что системный диск ведет себя очень странно и в BIOS отображается как Sandforce контроллер без объема.

Скрытый текст

 

Пару перезагрузок ситуацию исправлять никак не хотели, а с учетом 2 часов ночи замену было не купить. Полное выключение питания помогло завести диск и запустить игровые миры.

Скрытый текст

 

Но к моменту возвращения домой консоль сервера уже перестала отвечать, забавно что при этом миры продолжали штатно работать (при том что системный диск умер и Linux не отвечает на команды и не мог создать новые процессы). На следующий день был приобретен диск на замену. На этот раз решили взять Самсунг, потому как за 2 года мы сменили уже 3 умерших Интела в разных серверах.

Скрытый текст

 

Теперь предстояло скопировать данные с одного диска на другой, переустанавливать систему с нуля, настраивать фаервол, устанавливать пакеты не было абсолютно никакого желания. Самый простой способ в данной ситуации - загрузиться с любого livecd и на уровне блоков утилитой dd (а в нашем случае ddrescue) произвести копирование всей файловой системы и таблицы разделов. Занятно, что повторно запустить операционку на глючащем диске уже не удалось. Процесс копирования выглядел примерно так.

Скрытый текст

 

На полное копирование ушло порядка 40 минут, диск около 10 раз уходил в себя и утилита переподключалась к нему. Ошибок чтения в процессе обнаружено не было, Dmesg же практически каждое обращение орал о возникающих ошибках вроде READ FPDMA QUEUED или READ DMA EXT. Поверхностный поиск показал, что как минимум первая ошибка - проблемы с разъемом sata или кабелем, но замена и того и другого результатов не дали. В домашнем ПК глючный диск выглядит так.

Скрытый текст

Базовая диагностика проблем не выявила вообще, в Win10 железка так же работает корректно. В общем странная хрень.

 

Так или иначе, все проблемы на ночных тех. работах были решены, надеемся на то, что новый диск проживет дольше предыдущего и что мы разберемся наконец-то с запуском генератора. Не смотря на то, что все произошедшее от нас не зависело, мы приносим свои извинения и в качестве компенсации держите промокодик с небольшим подарком:

WE-ARE-DEEPLY-SORRY

Для ввода промокода воспользуйтесь соответствующей опцией в меню Isengard (доступно после ввода команды ".i" - без кавычек). Срок жизни кода - неделя, до 25 марта включительно.

Скрытый текст


#2

красиво


#3

C небольшим подарком? Мне там голова Мимирона упала. Лучшие!


#4

Вот что значит действительно ценить и уважать своих игроков. Хаген лучший! 


#5

Да, не очень вежливый но капитальный мужик, молодец.

Хотелось бы прем в виде карты на 7 дней (или 7 дневных), хотя на халяву и так сойдёт. Я всё равно проспал эти траблы все)


#6

да вы умнички


#7

Самый лучший сервер)


#8

там монитор со скрина где папич видосик снимал на стройке?


Скрытый текст
#9

Это все коронавирус


#10

Сервер живи! :pray:  Активировал код на малыше, выпал премиум на 7 дней, стак пути иллидана и ящик с пвп-наградами. Спасибо за подарочек.


#11

 

Теперь предстояло скопировать данные с одного диска на другой, переустанавливать систему с нуля, настраивать фаервол, устанавливать пакеты не было абсолютно никакого желания. Самый простой способ в данной ситуации - загрузиться с любого livecd и на уровне блоков утилитой dd (а в нашем случае ddrescue) произвести копирование всей файловой системы и таблицы разделов. Занятно, что повторно запустить операционку на глючащем диске уже не удалось. Процесс копирования выглядел примерно так.

 

Ни разу не девопс, но почему бы не запилить докер image для такого случая, чтобы не вот это вот все с нуля каждый раз? Спасибо вам, ребята, за ту самую работу, которую никто не видит, но которая так важна!


Сообщение отредактировал alattar: 19.03.20 · 06:40

#12

Cпасибо, что стараетесь ради нас!))))


#13

Вот что значит действительно ценить и уважать своих игроков. Хаген лучший! 

 

подмазываешься под еще один промокод ?)


Гайды: жук, тандер, вторжение.

Мой проект: ссылка

Толер

#14

Вот это был красивый поступок)))


Сообщение отредактировал VetalSkaz: 19.03.20 · 18:20

#15

изенгардушка, спасибо, что живой (ц)


#16
Ловко-ловко

8657ade1cce9c7e6612521ed63b5144e.png

#17
Расскажите пожалуйста что там по промокоду.
#18

Расскажите пожалуйста что там по промокоду.

Всё же в тексте поста написано. Читайте внимательнее.


#19

Всё же в тексте поста написано. Читайте внимательнее.

"Не смотря на то, что все произошедшее от нас не зависело, мы приносим свои извинения и в качестве компенсации держите промокодик с небольшим подарком:

WE-ARE-DEEPLY-SORRY

Для ввода промокода воспользуйтесь соответствующей опцией в меню Isengard (доступно после ввода команды ".i" - без кавычек). Срок жизни кода - неделя, до 25 марта включительно."

Где то тут?

Сообщение отредактировал zuzinov: 20.03.20 · 12:11

#20

"Не смотря на то, что все произошедшее от нас не зависело, мы приносим свои извинения и в качестве компенсации держите промокодик с небольшим подарком:

WE-ARE-DEEPLY-SORRY

Для ввода промокода воспользуйтесь соответствующей опцией в меню Isengard (доступно после ввода команды ".i" - без кавычек). Срок жизни кода - неделя, до 25 марта включительно."

Где то тут?

 

facepalm.jpg


Сообщение отредактировал mikanight: 20.03.20 · 12:43

  • Страница 1 из 2

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 скрытых пользователей