Важное обновление микрокода накопителей HPE SAS SSD

В конце Ноября и начале Декабря компания Hewlett Packard Enterprise опубликовала пару сервисных бюллетеней, описывающих критическую проблему с некоторыми моделями накопителей SSD, произведённых в Samsung и поставляемых в рамках комплектации серверных платформ и СХД от HPE.

В накопителях HPE SAS SSD с версией микрокода ниже, чем HPD8, проявляется ошибка, приводящая к выходу из строя накопителя с потерей всех данных после работы накопителя в течении 32768 часов (3 года, 270 дней и 8 часов). Усугубить проблему может ситуация, в которой из однотипных дисков, подверженных описанной проблеме, построен RAID массив и одновременный выход из строя сразу нескольких таких дисков может привести к потере данных всего RAID массива.

Обновлённая версия микрокода HPD8 позволяет избежать описанной поломки SSD накопителей, поэтому рекомендуется безотлагательно произвести обновление микрокода накопителей, используемых в таких системах как HPE ProLiant, Synergy, Apollo, Synergy D3940 Storage Module, D3000/D6000/D6020 Disk Enclosures, MSA Storage, StoreEasy 1000 Storage, StoreVirtual 4335 Hybrid Storage and StoreVirtual 3000 Storage.

При этом, согласно бюллетеней, проблема не распространяется накопители, используемые в составе таких систем, как HPE 3PAR StoreServ Storage, D8000 Disk Enclosure, Nimble Storage, Primera Storage, StoreOnce Systems, XP Storage, HPE StoreEasy 5000 Storage and SimpliVity

Какие модели накопителей должны быть обновлены на серверах HPE

Таблица моделей SSD накопителей, используемых в серверных продуктах HPE накопителей HPE и входящих в группу риска (требующих обновления до версии микрокода HPD8) и на данный момент времени выглядит так:

Описание проблемы, перечень проблемных моделей, а также ссылки на загрузку обновлённых версий микрокода можно найти по ссылке:

a00092491en_us Bulletin: (Revision) HPE SAS Solid State Drives - Critical Firmware Upgrade Required for Certain HPE SAS Solid State Drive Models to Prevent Drive Failure at 32,768 Hours of Operation

Обратите внимание на то, что при открытии ссылки в браузере с русскоязычной системы, на сайте HPE выполняется переадресация на русскоязычную страницу бюллетеня. И там информация опубликована в более скромном объёме, чем в англоязычным варианте и присутствуют не все ссылки на загрузку.

Приведу ссылки на загрузку обновлённой версии микрокода с англоязычной версии бюллетеня:

Микрокод для моделей VO0480JFDGT, VO0960JFDGU, VO1920JFDGV и VO3840JFDHA (released on 11/22/2019):

• Online Flash Component for VMware ESXi - HPD8
• Online Flash Component for Windows - HPD8
• Online Flash Component for Linux - HPD8

Микрокод для моделей for MO0400JFFCF, MO0800JFFCH, MO1600JFFCK и MO3200JFFCL (released on 11/22/2019):

• Online Flash Component for VMware - HPD8
• Online Flash Component for Windows - HPD8
• Online Flash Component for Linux - HPD8

Микрокод для моделей VO000480JWDAR, VO000960JWDAT, VO001920JWDAU и VO003840JWDAV (released on 12/9/2019):

• Online Flash Component for VMware - HPD8
• Online Flash Component for Windows - HPD8
• Online Flash Component for Linux - HPD8

Микрокод для моделей VO007680JWCNK и VO015300JWCNL (released on 12/9/2019):

• Online Flash Component for VMware - HPD8
• Online Flash Component for Windows - HPD8
• Online Flash Component for Linux - HPD8

Микрокод для моделей VK000960JWSSQ, VK001920JWSSR, VK003840JWSST, VK007680JWSSU и VO015300JWSSV (released on 12/9/2019):

• Online Flash Component for VMware - HPD8
• Online Flash Component for Windows - HPD8
• Online Flash Component for Linux – HPD8

Какие модели накопителей должны быть обновлены на СХД HPE

Перечень моделей SSD SAS накопителей, используемых в системах хранения данных HPE и входящих в группу риска (требующих обновления до версии микрокода HPD8) на данный момент времени таков:

MO0400JFFCF - HPE MSA 400GB 12G SAS MIXED USE SSD
MO0800JFFCH - HPE MSA 800GB 12G SAS MIXED USE SSD
MO1600JFFCK - HPE MSA 1.6TB 12G SAS MIXED USE SSD
MO3200JFFCL - HPE MSA 3.2TB 12G SAS MIXED USE SSD

Описание проблемы, перечень проблемных моделей, а также ссылки на загрузку обновлённой версии микрокода можно найти по ссылке:

a00092758en_us Bulletin: (Revision) HPE MSA Storage - Critical Firmware Upgrade Required for Certain MSA SAS Solid State Drive (SSD) Models to Prevent Drive Failure at 32,768 Hours of Operation

Ссылки на загрузку обновлённой версии микрокода для HPE MSA:

• Firmware Flash Component for Windows HPD8 (22 Nov 2019)
• Firmware Flash Component for Linux HPD8 (22 Nov 2019)

Как проверить версию микрокода и счётчик отработанного времени

На серверных системах HPE проверить текущую версию микрокода и счётчика отработанного времени у SSD накопителей можно в соответствии с рекомендациями из документа
"Smart Storage Administrator (SSA) – Quick Guide to Determine SSD Power on Hours".

В частности, в графическом интерфейсе утилиты HPE Smart Storage Administrator (SSA) можно выбрать свойства SSD накопителя и найти параметр Power On Hours, отражающий количество уже отработанных часов:

На системах без графического интерфейса можно воспользоваться утилитой HPE Smart Storage Administrator CLI и получить информацию о состоянии накопителей командой вида:

cd /d "C:\Program Files\Smart Storage Administrator\ssacli\bin\"
ssacli.exe ctrl slot=0 pd all show detail

На системах хранения данных для анализа ситуации можно воспользоваться как графическим интерфейсом HPE MSA System Management Utility (SMU), так и командной оболочкой
HPE MSA Command Line Interface (CLI).

В веб-интерфейсе MSA SMU информацию о текущей версии микрокода и времени работы SSD можно получить в разделе меню SYSTEM при наведении курсора мыши на интересующий нас накопитель:

В MSA CLI для получения аналогичной информации можно воспользоваться командами вида:

show disks encl
show disks
show disks <номер диска> detail

Что следует учесть перед обновлением микрокода

Перед обновлением микрокода следует внимательно прочитать бюллетени, так как при установке обновлений есть особенности для разных серверных платформ.

Например, на серверах HPE Gen9 и Gen10 перезагрузка ОС при online-обновлении микрокода не требуется, а на серверах поколения Gen8, напротив, перезагрузка потребуется.

Если контроллер Smart Array, к которому подключены обновляемые накопители, используется в режиме Zero Memory, то допускается только offline-обновление микрокода этих накопителей.

Не первый случай в этом году

Интересно в данной ситуации также и то, что описанная проблема с микрокодом SSD накопителей, это уже не первый подобный инцидент в этом году.

В начале года компания Intel также выпускала обновление микрокода для SSD накопителей своего производства моделей D3-S4510/D3-S4610 ёмкостью 1.92TB и 3.84TB. Это обновление устраняет проблему, приводящую к неработоспособности накопителя после 1700 часов его эксплуатации : Errors with Intel Solid State Drive DC S4510 and S4610 Series.