Первичная настройка HP 3PAR StoreServ 7200 - Разворачиваем виртуальную машину HP 3PAR Virtual Service Processor 4.3.0 на Hyper-V в Windows Server 2012 R2

Появилась задача первичной настройки СХД HP 3PAR StoreServ 7200 своими силами. Сначала были мысли о том, что имея комплект онлайн-документации от производителя, в общем-то не очень сложно, провести все нужные работы - смонтировать СХД в стойку, назначить контроллерам СХД IP адрес и развернуть отдельную виртуальную машину HP 3PAR Virtual Service Processor для обслуживания этой СХД специалистами тех.поддержки HP. Однако, процесс оказался не совсем тривиальным, особенно учитывая то, что я в первый раз видел это оборудование. Поэтому было решено сделать кратенькую пошаговую шпаргалку для себя и тех, кому это ещё предстоит.

Разумеется, первое, что мы делаем, это распаковываем СХД/полки расширения и выполняем их монтаж в стойку. Полки расширения подключаются к СХД SAS-кабелями согласно схемы изложенной в одном из трёх руководств (в зависимости от того, какого типа полки используются):

• HP 3PAR StoreServ 7000/7450 Storage Cabling Configuration Guide A: 2 Node Systems with Small 2.5-inch Drive Enclosures (c03607559);
• HP 3PAR StoreServ 7000/7450 Storage Cabling Configuration Guide B: 2 Node Systems with Large 3.5-inch Drive Enclosures (c03607614.pdf)
• HP 3PAR StoreServ 7000/7450 Storage Cabling Configuration Guide C: 2 Node Systems with Mixed-Size Drive Enclosures (c03607590)

***

После монтажа в стойку, следующее, что нам нужно сделать - это зарегистрировать СХД на сайте HP. В коробку с СХД должен быть вложен голубой конверт содержащий сертификат с номером заказа Entitlement Order Number (EON). В сертификате перечислены приобретённые лицензионные опции к СХД, в частности лицензия на экземпляр 3PAR OS и количество предустановленных в систему дисков. Перейдём по ссылке HP Licensing for Software, пройдём авторизацию (потребуется регистрация) и активируем наш номер EON из сертификата. После этого с сайта можно будет отправить себе электронное письмо содержащее все лицензионные ключи необходимые для активации приобретённых опций. Вообще все приобретённые опции должны быть активированы в СХД уже с завода, и действие по отправке себе лицензионных ключей является по сути мероприятием направленным на резервирование лицензионной информации.

***

Основной документ, который нам будет полезен при первоначальной настройке СХД это HP 3PAR StoreServ 7000 Storage Installation Guide (emr_na-c03606625-15.pdf). Согласно этому документу, перед началом использования СХД нам нужно настроить отдельную виртуальную машину HP 3PAR Virtual Service Processor (VSP). По сути это предварительно сконфигурированная ВМ (есть вариант для VMware и Hyper-V) на базе Red Hat Enterprise Linux (RHEL) Server 6.1. Эта виртуальная машина нужна для мониторинга и обслуживания (например обновления Firmware) СХД, как локального (например своими силами), так и удалённого (службой тех.поддержки HP). В моём случае используется гипервизор Hyper-V на базе Windows Server 2012 R2, и так получилось, что архив виртуальной машины VSP версии 4.2.0 поставляемый в комплекте с СХД на DVD-диске ни в какую не захотел разворачиваться на хост виртуализации с помощью PowerShell-скрипта размещённого на этом-же DVD-диске. Точно сейчас текст ошибки уже не вспомню, но как я понял, проблема была связана с тем, что в скрипте использовалось обращение к несуществующим объектам WMI на хосте виртуализации, то есть скорее всего скрипт был адаптирован под Hyper-V более старой версии. Подтверждение наличия этой проблемы можно найти также на форуме HP в ветке обсуждения 3PAR Service Processor for Hyper-V.

Для решения этой проблемы нужно загрузить с FTP-узла HP более новую версию VSP. На данный момент это версия 4.3. Скачиваем и распаковываем образ Hyper-V_Vsp-4.3.0.GA-17.iso на хосте виртуализации…

С правами администратора запускаем командную строку, перемещаемся в каталог с распакованными из образа файлами и выполняем файл execVM.bat

Дожидаемся когда виртуальная машина будет успешно развёрнута на хосте, затем открываем её свойства и проверяем месторасположение виртуальных дисков. По умолчанию диски будут размещены в каталоге %ProgramData%, что далеко не всегда правильно.

При необходимости запускаем процедуру переноса дисков в другое месторасположение. При этом нужно понимать, что любые файлы относящиеся к данной виртуальной машине должны быть размещены на дисковом хранилище отличном от того, которое предоставляется самой СХД, для управления которой будет предназначаться эта ВМ.

По окончании переноса дисков стартуем виртуальную машину, дожидаемся загрузки системы и входим в систему с именем пользователя setupusr без пароля. При этом, если в сети есть DHCP, то нам будет сообщено о том, что IP адрес уже получен, но мы можем изменить конфигурацию.

Согласно ранее приведённого документа, есть требование чтобы VSP и контроллеры СХД StoreServ находились в одном физическом сегменте сети. Причём если в документации речь идёт только о процессе первичной настройки, то позже от технического специалиста HP я получил информацию о том, что такая конфигурация должна быть соблюдена и при дальнейшем использовании. Поэтому сразу нужно планировать размещение VSP и контроллеров СХД в одном сетевом сегменте. А учитывая то обстоятельство, что в VSP будут иметь удалённый доступ сотрудники HP, лучше вообще будет выделить для этих двух систем (VSP и СХД) изолированный сетевой сегмент. Зададим VSP IP-адрес из соответствующей подсети:

После того, как мы зададим IP адрес, маску подсети и адрес шлюза, работа сессии будет автоматически завершена.

После того, как сетевые настройки заданы, нам нужно подключиться к этой виртуальной машине и выполнить инициализацию VSP. Сделать это можно разными способами, например запустить приложение smartstart.exe с DVD-диска из комплекта поставки HP 3PAR SmartStart 1.3.1 Software. Более простой способ – открыть в веб-браузере URL вида:

https://VSPIP/sp/SpSetupWizard.html?ssLaunch=true

Для авторизации на указанной веб-странице снова используем учетную запись setupusr без пароля. После входа сразу откроется мастер настройки HP 3PAR Service Processor Setup Wizard

На шаге 2. Generate SP ID введём серийный номер СХД и нажмём кнопку Generate SP ID.

Будет сгенерирован идентификатор VSP вида SP000<3PAR SN>

Перейдём к шагу 3. Networking, где зададим имя хоста для VSP, включим поддержку DNS и укажем имя локального домена и адреса внутренних DNS-серверов.

На шаге 4. Remote Support укажем данные для прохода VSP через прокси сервер. Для аутентификации на прокси я сделал отдельную учетную запись в домене.

На следующем шаге 5. System Support Information укажем адрес фактического месторасположения СХД и контактную информацию сотрудника, отвечающего за обслуживание СХД в нашей организации. Обратите внимание на то, что эти данные будут использоваться тех.поддержкой HP для связи с вами, поэтому они должны быть реальными а не фейковыми.

На шаге 6. Time and Region нужно выбрать местную временную зону и задать адреса NTP-серверов, с которых VSP будет синхронизировать время. В моём случае в качестве внутренних NTP-серверов указаны контроллеры домена Active Directory. Обязательно проверяем доступность серверов кнопкой Test

На шаге 7. Change Passwords назначаем пароли для учетных записей setupusr и 3parcust. Первая учетная запись нам уже известна, так как из под неё мы выполняем всю первичную настройку VSP. Вторую учетную запись мы будем использовать позже для доступа к веб-интерфейсу SPOCC в VSP.

Проверяем ещё раз все настройки на шаге Summary и переходим к процессу применения настроек Apply Settings…

В конце процесса настройки виртуальная машина VSP будет автоматически перезагружена. В это время лучше следить за консолью виртуальной машины, и если во время загрузки виртуальная машина надолго (дольше 5-10 минут) зависнет на этапе:

probing edd (edd=off to disable)... ok

то можно попробовать просто выключить её и включить снова (не перезагрузить, а именно выключить/включить). После чего веб-страница мастера настройки должна обновиться и отобразить информацию об успешном завершении процесса.

После этого проверяем доступность веб-страницы SPOCC используя URL:

https://VSPIP/

Для аутентификации используем имя пользователя 3parcust с паролем который задали ранее.

На этом манипуляции по созданию виртуальной машины VSP можно считать законченной. Веб-интерфейс SCOCC мы детально рассматривать не будем, так как он достаточно прост и настройка доступных в нём опций, как мне кажется, не вызовет сложностей.

Дополнительную информацию о функционировании VSP от первоисточника можно найти в документе HP 3PAR Service Processor Software User Guide (HP Part Number: QR482-96840, Published: September 2014 - c02982065.pdf).

Теперь поговорим о дополнительной настройке виртуальной машины с VSP.

Согласно рекомендациям в документе Best practices for implementing HP 3PAR Virtual Service Processor (4AA5-2044ENW.pdf) виртуальная машина с VSP должна иметь не менее 2GB ОЗУ, в то время как в конфигурации по умолчанию она создаётся с 1GB стартовой ОЗУ с возможностью динамического расширения до 2GB. Я предпочёл выделить статически виртуальной машине 2GB ОЗУ без использования динамической памяти.

В ранее упомянутом документе сказано, что компоненты интеграции Hyper-V на данный момент не поддерживаются VSP:

Hyper-V Integration Services is a collection of utilities in Microsoft Hyper-V, designed to enhance the performance and management of the VM's guest OS. HP is still in the testing and qualification of these tools, and at this time does not support tools deployment on the VSP virtual machine (VM).

Однако без дополнительно установленных компонент интеграции Hyper-V виртуальная машина VSP будет иметь ряд недостатков, например у нас не будет возможности горячего (online) резервного копирования ВМ в System Center 2012 Data Protection Manager.

Как уже отмечалось ранее, на борту VSP используется ОС RHEL Server 6.1. Чтобы понять, можно ли установить компоненты интеграции на данную ОС, читаем документ - CentOS and Red Hat Enterprise Linux virtual machines on Hyper-V. Как видно из документа, компоненты интеграции для RHEL 6.1 доступны в пакете Linux Integration Services Version 3.5 for Hyper-V. По указанной ссылке загружаем образ диска с компонентами интеграции Hyper-V  - LinuxICv35.iso.

Для установки компонент интеграции в ВМ VSP нам потребуется административный доступ к ОС. Причём процедура установки подразумевает наличие доступа к полноценной оболочке управления ОС, типа bash. Однако разработчики VSP всё сделали для того, чтобы ограничить такой доступ администратору ВМ. Попытка получить учетные данные для доступа к оболочке ОС через тех.поддержку HP успехом не увенчалась. Тётенька из русскоязычной тех.поддержка предоставить учетные данные отказалась, но сказала, что я могу попытать счастье у “индийских генералов”, предупредив, что ответ на подобного рода вопросы может перейти в режим “долгоиграющего” ожидания. В итоге, спустя неделю безрезультатного ожидания, мы закрыли кейс. Посему доступ к СВОЕЙ ВМ пришлось получать другим доступным методом…  

Итак, для начала создаём пользователя через веб-интерфейс VSP (SPOCC). Последовательно переходим по пунктам меню SPMaint > 1. SP Control/Status > 14. SP User Access Control > 4. Add User Добавляем нового пользователя (в нашем примере это будет vspcust) и задаём ему пароль.

После нажатия кнопки Add New User веб-страница обновиться и будет предложено включить пользователя в какие-либо из предложенных групп. Однако в этом нет необходимости, поэтому просто нажмём кнопку Add to Selected Groups

После этого от имени созданной учетной записи можно попытаться получить доступ к локальной консоли VSP или удалённо по SSH. Однако вместо стандартной оболочки Linux мы будем попадать в специальное командное меню аналогичное тому, что доступно нам в веб-интерфейсе SPOCC:

Становится очевидно, что пользователь создаваемый через веб-интерфейс SPOCC имеет низкий уровень привилегий в ОС ВМ и ему форсировано назначается оболочка отличная от той, которая нам нужна для реализации поставленной задачи. Попробуем исправить эту ситуацию.

***

Выключаем ОС ВМ. При этом помним, что в выключенном состоянии VSP может находиться не более 4 часов, после окончания этого времени в тех.поддержке HP будет автоматически сгенерирована заявка о недоступности. По крайней мере именно такой период мне огласили специалисты тех.поддержки в одной из бесед.

Для штатного выключения VSP можно использовать например веб-интерфейс SPOCC. Последовательно переходим по пунктам меню SPMaint > 1. SP Control/Status > 3. Halt SP

Скачиваем из интернета какой-нибудь загрузочный диск Linux LiveCD. Их существует огромное множество и я выбрал один из первых попавшихся под руку - CentOS Live GNOME, как родственный по духу RHEL.

Монтируем образ LiveCD в виртуальный привод ВМ и включаем ВМ. Система будет загружена с LiveCD. На рабочем столе щёлкаем по знаку home (откроется программа - браузер файловой системы). Затем выбираем диск виртуальной машины на котором есть интересующий нас файл /etc/passwd

Откроем контекстное меню на этом файле и откроем его свойства – Properties

В свойствах файла мы увидим по какому полному пути (Location) данный файл доступен в загруженной операционной системе. Скопируем этот путь в буфер обмена.

В левом верхнем углу экрана нажмём кнопку Applications и в меню избранных приложений (Favorites) выберем Terminal

В открывшемся окне терминала переключимся в режим супер-пользователя командой su и вызовем текстовый редактор nano передав ему в качестве параметра скопированный ранее путь к файлу + само имя файла

Файл passwd будет открыт на редактирование. Найдём в нём последнюю строчку, в которой увидим запись о пользователе, которого мы ранее создали через веб-интерфейс SPOCC.

В интересующей нас строке все параметры разделены символом двоеточия. Заменим значения строки с цифровыми параметрами (3 и 4 параметр), которые определяют ID пользователя в системе и GUID группы, к которой этот пользователь относится. Новые значения - 0:0, что означает, что пользователь повышается до уровня супер-пользователя, то есть задаются значения параметров, аналогичные тому, что заданы у пользователя root. Дополнительно меняем самый последний параметр определяющий оболочку пользователя, например опять же по аналогии с root на /bin/bash

Чтобы сохранить внесённые изменения используем сочетание клавиш Ctrl-O затем Enter, после Ctrl-X чтобы выйти из редактора.

Следующий шаг делать не обязательно, но можно сделать его исключительно для удобства. Дадим нашему пользователю возможность подключаться по SSH. Аналогичный образом найдём и отредактируем файл /etc/ssh/sshd_config

Найдём в файле строчку c параметром определяющим возможность подключения супер-пользователей PermitRootLogin и поменяем его значение на yes 

Сохраним изменения в файл, затем выберем на рабочем столе подмонтированный диск, с которого мы редактировали файлы и размонтируем его командой Unmount выбранной из контекстного меню.

Далее выключаем виртуальную машину и извлекаем файл образ LiveCD из виртуального привода в свойствах ВМ. Сразу подключаем к ВМ образ диска с компонентами интеграции Hyper-V - LinuxICv35.iso

Включаем ВМ, дожидаемся окончания загрузки, подключаемся по SSH с учетной записью пользователя, которому мы только что повысили привилегии.

Как видим, символ # в приглашении командной строки говорит нам о том, что мы вошли в систему с правами супер-пользователя и при этом загружена нужная нас командная оболочка. И теперь можно приступить непосредственно к процессу установки компонент интеграции Hyper-V.

***

О том, каким образом можно установить компоненты интеграции на разные версии Linux можно прочитать в документе Linux Integration Services v35.pdf

Монтируем образ диска с компонентами интеграции:

# mount /dev/cdrom /media

mount: block device /dev/sr0 is write-protected, mounting read-only

Смотрим содержимое подмонтированного диска:

# ls -la /media/

total 20
dr-xr-xr-x.  9 root root 2048 Dec 10  2013 .
dr-xr-xr-x. 26 root root 4096 Nov 14 16:02 ..
dr-xr-xr-x.  4 root root 2048 Dec 12  2013 RHEL55
dr-xr-xr-x.  4 root root 2048 Dec 12  2013 RHEL56
dr-xr-xr-x.  4 root root 2048 Dec 12  2013 RHEL57
dr-xr-xr-x.  4 root root 2048 Dec 12  2013 RHEL58
dr-xr-xr-x.  3 root root 2048 Dec 14  2013 RHEL6012
dr-xr-xr-x.  3 root root 2048 Dec 13  2013 RHEL63
dr-xr-xr-x.  6 root root 2048 Sep  6  2013 .svn

Переходим в каталог в соответствии с версией нашей системы:

# cd /media/RHEL6012

Запускаем доступный в этом каталоге скрипт установки компонент интеграции:

# ./install.sh

Installing the Linux Integration Services for Microsoft Hyper-V...
warning: kmod-microsoft-hyper-v-rhel6012.3.5-20131212.i686.rpm: Header V3 DSA/SHA1 Signature, key ID 6a39758c: NOKEY
Preparing...                ########################################### [100%]
   1:kmod-microsoft-hyper-v ########################################### [100%]
warning: microsoft-hyper-v-rhel6012.3.5-20131212.i686.rpm: Header V3 DSA/SHA1 Signature, key ID 6a39758c: NOKEY
Preparing...                ########################################### [100%]
   1:microsoft-hyper-v      ########################################### [100%]
Saving old initramfs
Installing new initramfs
Adding KVP Daemon to Chkconfig....
Starting KVP Daemon....
Adding VSS Daemon to Chkconfig....
Starting VSS Daemon....
 Linux Integration Services for Hyper-V has been installed. Please reboot your system.

По окончании процесса установки отправляем систему в перезагрузку:

# shutdown -r 0

Как и раньше, после перезагрузки виртуальная машина может зависнуть на самом начальном этапе загрузки на шаге:

Probing EDD (edd=off to disable)...ok

В таком случае просто выключаем виртуальную машину и включаем снова.

Дожидаемся успешной загрузки виртуальной машины.

Снова заходим в систему по SSH и проверяем информацию о модулях ядра относящихся к LIS, например для проверки модуля hv_vmbus выполняем команду:

# /sbin/modinfo hv_vmbus

filename:       /lib/modules/2.6.32-431.20.3.el6.i686/kernel/drivers/hv/hv_vmbus.ko
version:        3.1
license:        GPL
srcversion:     3E7D7FE31577CC7E47EA89E
alias:          acpi*:VMBus:*
alias:          acpi*:VMBUS:*
depends:
vermagic:       2.6.32-431.20.3.el6.i686 SMP mod_unload modversions 686

Чтобы получить список всех загруженных модулей LIS можно выполнить:

# /sbin/lsmod | grep hv

hv_utils                7753  0
hv_storvsc              9362  5
hv_vmbus               25632  4 hid_hyperv,hv_utils,hyperv_fb,hv_storvsc

Информацию о том, какой модуль LIS за что отвечает, можно найти в ранее упомянутом документе. Вот прямая цитата из него по этому поводу:

•  “hv_balloon” provides Dynamic Memory support for virtual machines. 
•  “hv_netvsc” provides support for a Hyper-V-specific (or “synthetic”) network adapter.
•  “hv_utils” provides integrated shutdown, key-value pair data exchange, heartbeat, mouse and 
live backup. 
•  “hv_timesource” is the pluggable time source module to assist in accurate timekeeping in the 
virtual machine. 
•  “hv_storvsc” provides support for all storage devices attached to a virtual machine. 
•  “hv_vmbus” is the fast communication channel between the server running Hyper -V and the 
virtual machine. 

Как видим, минимально необходимые нам компоненты интеграции присутствуют и загружены в системе. Настало время проверить их в действии, в том числе и при работе с продуктами из линейки Microsoft System Center 2012 R2.

***

Проверяем свойства ВМ в консоли Virtual Machine Manager. Должна появиться информация об установленных гостевых службах “на бору” виртуальной машины:

Здесь же (либо через оснастку Hyper-V Manager) пробуем инициировать завершение работы ОС с хоста виртуализации и убеждаемся в том, что система успешно выключается:

 

Далее проверяем возможность горячего резервного копирования виртуальной машины с помощью Data Protection Manager:

В процессе создания резервной копии наблюдаем за системным логом ОС VSP:

# tail -f /var/log/messages

Nov 14 17:16:50 KOM-AD01-HPVSP Hyper-V VSS: VSS: freeze of /altroot: Success
Nov 14 17:16:50 KOM-AD01-HPVSP Hyper-V VSS: VSS: freeze of /boot: Success
Nov 14 17:16:50 KOM-AD01-HPVSP Hyper-V VSS: VSS: freeze of /sp: Success
Nov 14 17:16:50 KOM-AD01-HPVSP Hyper-V VSS: VSS: freeze of /: Success
Nov 14 17:16:51 KOM-AD01-HPVSP Hyper-V VSS: VSS: thaw of /altroot: Success
Nov 14 17:16:51 KOM-AD01-HPVSP Hyper-V VSS: VSS: thaw of /boot: Success
Nov 14 17:16:51 KOM-AD01-HPVSP Hyper-V VSS: VSS: thaw of /sp: Success
Nov 14 17:16:51 KOM-AD01-HPVSP Hyper-V VSS: VSS: thaw of /: Success

<

p align="left">Как видим, явных ошибок нет, поэтому нашу задачу по установке компонент интеграции Hyper-V на виртуальную машину VSP можно считать выполненной.

После проверки работы компонент интеграции Hyper-V не забываем проверить доступность веб-интерфейса SPOCC.

При желании возвращаем нашей системе первоначальный вид через повторную загрузку LiveCD и обратную корректировку ранее описанных файлов /etc/passwd и /etc/ssh/sshd_config. 

***

Следующим этапом первоначальной настройки HP 3PAR StoreServ 7200 нам нужно выполнить инициализацию СХД со стороны VSP, то есть подключиться к СХД из ещё одного веб-мастера HP 3PAR Storage System Setup Wizard по ссылке вида:

https://VSP-IP/sp/StorageSystemSetupWizard.html?ssLaunch=true

Этот мастер подразумевает подключение к контроллерам СХД, назначение им IP адреса и других базовых настроек, затем привязку СХД к VSP. В моём случае попытка такой инициализации СХД с VSP не увенчалась успехом.

VSP упорно не хотел обнаруживать в сети контроллеры СХД, хотя все условия для этого были соблюдены: виртуальная машина с VSP и контроллеры 3PAR находились в одной подсети, в одном VLAN-e и даже в одном физическом коммутаторе. Стоит заметить, что в этой проблеме я был не одинок, так как аналогичная ситуация сложилась у коллег из другого структурного подразделения. Таким образом появились отдельные задачи по настройке сетевых параметров контроллеров 3PAR “в рукопашную” и последующем подключении VSP к 3PAR. Эти процедуры будут рассмотрены в отдельной заметке.

---

Дополнительные источники информации:

• itparadigma.ru - Обзор HP 3PAR StoreServ 7200
• Virtualcloudzz - HP 3par Service Processor Explained
• TechNet Wiki - Hyper-V: Detailed Step-by-Step Installation of RedHat 6.1 VM in Expert Mode with the New Linux Integration Services 3.1