Конвертируем СХД HP MSA 500 G2 в MSA 1000 и подключаем к FC SAN

После того как в нашем окружении было организовано простейшее ядро Fibre Channel Storage Area Network (FC SAN) из двух оптических коммутаторов и собран кластер Hyper-V с подключением к СХД нового поколения HP 3PAR StoreServ, появилась возможность избавиться от устаревших систем хранения ранее напрямую подключаемых (Direct-attached storage) к хостам виртуализации. В частности одной из таких систем оказалась СХД HP StorageWorks Modular Smart Array (MSA) 500 G2. Но учитывая то, что эта старенькая “железка” вполне себе исправно работает, было решено оставить её в эксплуатации для развёртывания виртуальных машин в тестовых и девелоперских целях. Вопрос подключения этой модели СХД к SAN может быть решён путём реализации заложенной производителем возможности аппаратной конвертации в другую модель -  HP StorageWorks Modular Smart Array 1000 с интерфейсами подключения FC 2Gbit/s, чего на мой взгляд вполне достаточно для поставленных задач.

В этой заметке мы рассмотрим основные моменты данной конвертации, подключения СХД к SAN и конфигурирования дискового массива RAID без использования внешних программных утилит HP (с использованием прямого подключения к контроллерам MSA 1000).

Аппаратная конвертация MSA 500 G2 в MSA 1000

Упоминание о возможности аппаратной конвертации дискового массива MSA 500 G2 в массив MSA 1000, который можно будет использовать для прямого подключения к FC SAN, можно найти например в спецификации HP StorageWorks Modular Smart Array 500 G2 - QuickSpecs (c04283118.pdf), где особо отмечено то, что перед началом процесса конвертации, обязательно нужно сделать резервную копию данных хранящихся на дисках СХД, а после окончания процесса конвертации при необходимости выполнить восстановление этих данных.

Начнём процедуру конвертации с того, что на лицевой стороне СХД из слотов Controller 1 и Controller 2 извлечём контроллеры MSA 500 G2, а на их место установим один или два контроллера StorageWorks MSA1000 Controller #218231-B22.

Далее на обратной стороне СХД в слоты Interconnect 1 и Interconnect 2 установим один или два оптических модуля ввода-вывода FC I/O module #218960-B21 либо оптический коммутатор FC Switch #288247-B21. Коммутатор HP StorageWorks MSA SAN Switch 2/8 это по сути Brocade серии SilkWorm 3000 с прошивкой Fabric OS v3 “на борту”, и его в рамках данной заметки мы рассматривать не будем, так как в нашем случае для подключения СХД к FC SAN были выбраны именно модули ввода-вывода. Каждый такой модуль имеет один разъём под SFP модуль FC 2Gbit/s.

Прошивка контроллеров MSA 1000

Перед началом “боевой” эксплуатации MSA 1000 нужно убедиться в том, что на контроллерах MSA установлена самая последняя версия прошивки Firmware. В нашем случае используется конфигурация с двумя контроллерами MSA 1000. Для того, чтобы заставить эти контроллеры работать совместно в режиме Active/Active, необходимо обеспечить наличие прошивки 7.20. Ссылку на загрузку можно найти в онлайн документе Upgrading HP StorageWorks 1000 Modular Smart Array (MSA1000) from Active/Passive to Active/Active (c01464999). Если при установке двух контроллеров окажется так, что на контроллерах используется разная версия прошивки, то контроллер автоматически предложит клонирование более новой версии прошивки на соседний контроллер с более старой версией.

Подключение СХД к FC SAN

Установка двух модулей позволит подключить СХД сразу к двум коммутаторам FC SAN, обеспечив таким образом повышение доступности дисковой ёмкости массива. Примеры подключения MSA 1000 к сети FC SAN можно найти в онлайн-документе HP StorageWorks modular SAN array 1000 - MSA1000 Setup and Sample Configurations (emr_na-c00028821). В качестве цитаты из этого документа приведу один из примеров конфигурации подключения, который был выбран в нашем случае:

When a redundant configuration is set up using external SAN switches, two HP StorageWorks MSA1000 controllers, two fibre channel I/O modules, two SAN switches, and two HBAs in each server are required. Figure 5 illustrates the cable connections of a redundant configuration when external SAN switches are connected to the Fibre Channel I/O modules of the HP StorageWorks MSA1000.

Управляем конфигурацией RAID через Service port контроллеров MSA 1000

При прямом подключении MSA 1000 к какому-либо серверу, при условии что используются поддерживаемые модели HBA, для управления конфигурацией RAID СХД можно использовать загрузочный диск MSA 1000 Support Software CD 7.67 (14 Feb 2007) (файл образа - HPMSA-767.iso размером 277 МB). Если мне не изменяет память, то для конфигурирования RAID на этом загрузочном диске используется утилита Offline Array Configuration Utility (ACU). Кроме того, для этой цели возможно подойдёт обновлённая версия старого ACU  - загрузочный диск HP Offline HP Smart Storage Administrator (HP SSA) 2.0.23.0 (9 сен 2014)

В нашем же случае подключение СХД к серверам организовано через SAN с использованием современных моделей HBA, поэтому мы будем использовать другой доступный метод управления конфигурацией RAID – используя прямое подключение к порту контроллеров MSA 1000 обозначаемое в спецификациях как Service Port (его видно на лицевой стороне контроллеров на фотографиях расположенных выше).

В нашем конкретном случае возможность использования данного порта осложнилась отсутствием специального кабеля, поставляемого в комплекте с СХД.

Как выяснилось, оригинальный кабель от HP имеет парт-номер 316131-001 (SPS-CABLE SERIAL MSA1000) и в интернатах за такой кабель хотят ~60 американских рублей плюс стоимость доставки. Чтобы не платить жадным американцам такую цену за “кусок провода”, было решено сделать такой кабель самостоятельно. Но для этого нам, как минимум, потребуется информация о правильной распиновке кабеля. Интересующей нас информацией поделился один добрый человек в комментариях к заметке Mark Wilson - Configuring an HP MSA1000 using a serial cable, за что ему большое мерси:

RJ45 Pin 1 is Tx and goes to Pin 2 Rx on DB9
RJ45 Pin 8 is Rx and goes to Pin 3 Tx on DB9
Rj45 Pins 4 & 5 are both Ground and go to Pin 5 on DB9

Помимо этого, нас ожидает ещё один сюрприз связанный с этим кабелем. Оказалось, что наши “предприимчивые друзья” из HP для этого порта, по информации из вышеприведённого поста использовали не стандартный разъём RJ45, а разъём RJ45Z. Коннектор (“джек”) у такого разъёма имеет дополнительный фиксатор, а высота пластикового корпуса в районе контактов ниже, чем у RJ45. 

Таким образом, при создании кабеля не получится использовать стандартный коннектор RJ45, так как он попросту не войдёт в порт на контроллере. Пришлось за советом обратиться к местному умельцу и рихтовальных дел мастеру - Кузьмичу , который после нехитрых замеров порта штангенциркулем и пяти минут работы электро-наждака сточил корпус стандартного коннектора RJ45 по высоте до 5.7 мм, после чего последний грациозно вошёл в порт назначения. Если же под руками нет наждака, то при большом желании сточить коннектор можно и простым надфилем.

В конечном итоге получился вполне рабочий кабель RJ45-DB9 с выше-обозначенной распиновкой.

Подключаемся этим кабелем со стороны коннектора RJ45 - к контроллеру MSA 1000, а со стороны коннектора DB9 - к компьютеру, с которого будем выполнять настройку RAID. Для подключения используем например утилиту PuTTY, где в качестве ключевых параметров подключения к COM-порту указываем: Speed – 19200, Data bits – 8, Parity – None, Stop bits – 1, Flow control – None.

Подключившись жмём Enter и попадаем в приглашение командного интерфейса.

Исчерпывающие сведения о том, как работать с командным интерфейсом контроллера можно найти в документе HP StorageWorks 1000/1500 Modular Smart Array Command Line Interface user guide (Part number: 347282–004 Fourth edition: June 2007 emr_na-c01183955)

Далее кратко пробежимся по основным полезным в нашей задаче командам.

Чтобы получить список основных команд, используем команду:

help

Чтобы получить более развёрнутую информацию, используем:

help display_all

Чтобы увидеть текущие глобальные настройки системы:

show globals

Пример того, как задать имя системы:

set globals system_name="MySystemName"

Посмотрим версию прошивки контроллера и информацию о жёстких дисках:

show version -all

Более подробная информация о контроллере, к которому мы подключены в данный момент:

show this_controller

Информация о втором контроллере, если такой имеется:

show other_controller

Посмотрим какие диски в СХД имеются и к каким массивам RAID (Units) они относятся:

show disks

К моему удивлению, реальная скорость работы дисков в этой СХД оказалась 160 MB/s невзирая на их номинальную скорость в 320 MB/s. Сомнения в правильности настройки СХД были развеяны после прочтения форума HP Community Forum в темах MSA1000 performance: nominal speed и MSA1000 is sloooooow.

Посмотрим какие RAID-массивы (логические диски) на данный момент настроены в СХД:

show units

Создадим RAID-массив уровня RAID-1 включающий в себя все имеющиеся в СХД диски:

add unit 0 data="disk101-disk114" raid_level=1

Снова запросим информацию о RAID-массивах:

show units

Убедившись в том, что созданный RAID-массив находится в нормальном состоянии, перейдём на оптические коммутаторы поддерживающие нашу сеть FC SAN и предоставим организованную дисковую ёмкость всем хостам виртуализации в кластере Hyper-V.

Ну вот, наш "сторадж-ветеран" снова в работе. Единственным недостатком такого решения, на мой взгляд, остается лишь отсутствие мониторинга состояния RAID-массивов СХД в реальном режиме времени (хотя если очень сильно захотеть, наверно можно “через костыли” решить и этот вопрос), и поэтому мы и наделяем полученную дисковую ёмкость задачами имеющими пониженный уровень критичности.

Дополнительные источники информации:

• Matt Taggart - How to setup an msa1000 using the serial console
• Matt Taggart - Updating the firmware of an HP msa1500/msa1000 using Debian