vSAN в облаке на базе VMware

Хранение данных и беспрепятственный доступ к ним – одна из ключевых задач, которую предстоит решить при создании корпоративной информационной системы. Отдельного внимания заслуживает масштабирование IT-инфраструктуры, когда лимитов ранее построенного комплекса явно начинает не хватать. Такое происходит даже с хорошо спроектированной системой хранения данных (далее — СХД, это общеупотребимый термин).

Причина, по которой приходится сталкиваться с подобными проблемами, фундаментальна. Ведь в большинстве компаний используют классическую архитектуру, привязанную к параметрам дисков и подсистемы хранения данных. Специалисты «адаптируются» к техническим характеристикам или накопителей, или аппаратного интерфейса (SAS, SATA или SCSI). И часто реальные запросы потребителей используемых приложений отходят на второй план.

Еще лет 10 назад такой подход был вполне логичным. Регулярно выпускалось новое оборудование с возрастающей скоростью чтения-записи. Системному администратору оставалось лишь взять накопители со спецификацией, подходящей по уровню производительности. Борьба за рынок шла на уровне RAID-контроллеров – наращивали объем кэш-памяти, встраивали опции, исключающие потерю данных. Но сегодня подобная схема организации СХД считается устаревшей.

Теперь при выборе СХД рациональнее отталкиваться от параметров производительности в IOPS или в количестве операций ввода-вывода в секунду. В изменившихся условиях становится выгоднее работать с системами виртуализации, где предоставляется гибкий доступ к физическим ресурсам и легко получить требуемую производительность. Именно такой уровень услуг предоставляет timeweb.cloud.

Виртуализация СХД

В развитии комплексов виртуализации разработчики делают акцент на применение инновационных технологий по хранению и доступу к данным с высоким уровнем отказоустойчивости. В результате была создана программно-определяемая СХД – SDS (Software-Defined Storage). Она максимально удовлетворяет задачи бизнеса. Преимущественно благодаря этому хранилище данных создается с разделением программных и аппаратных ресурсов.

Последнее в корне меняет классическую архитектуру SDS. Например, организация хранения информации стала отличаться унификацией, виртуализацией компонентов такой системы. Вся логика чтения-записи данных перемещена на программный уровень, исчезли зависимости от функционала аппаратных контроллеров. Хотя сохранились и некоторые препятствия, мешающие внедрению SDS.

Так, немалая часть потребителей по-прежнему склоняется к традиционным решениям и придерживается методологического принципа «не следует множить сущее без необходимости». В результате они раз за разом сталкиваются с низкой гибкостью СХД, высокими затратами на масштабирование. 

Проще с теми клиентами, кто уже однажды касался проблем масштабирования, надежности СХД при расширении ресурсной базы или переносе данных на иные платформы. Среди распространенных вопросов фигурирует: что делать, когда традиционная СХД выйдет из строя. Варианта всего два – обратиться к производителю по гарантии или менять оборудование. Сложности возникают, если у последнего закончился «срок жизни» (EOL, End-of-Life).

Проблемы в основном касаются сохранности информации, которая для многих компаний считается критичным ресурсом. И вот здесь виртуальные СХД выигрывают. Например, за счет переноса так называемого «лимита прочности» в программный слой. Он расширяет аппаратные возможности и снижает влияние «точек отказа» на работоспособность системы хранения. Виртуальные комплексы способны пережить поломку нескольких физических серверов «незаметно для пользователя».

Интеграция

Сфера IT «недолюбливает» кардинальные перемены, потому что они часто приводят к простоям и в итоге к потерям бюджета. Отчасти подобные эффекты компенсирует постепенный перенос на новую платформу. И наиболее популярными считаются сервисы, развернутые на базе программных решений VMware (разработчик считается лидером в сфере систем виртуализации). Они способны полностью заменить локальную инфраструктуру, включая задачи хранения.

Преимущества нововведений становятся «заметными» при сравнении с традиционными СХД, когда понятны кардинальные отличия технологии SDS. При оценке перспективы перехода на нее рекомендуется брать во внимание как аспекты удобства эксплуатации, так и риски, которые, вероятно, возникают при переносе IT-инфраструктуры в облака.

Наиболее важные моменты:

1. Отказоустойчивость.
2. Производительность.
3. Масштабирование.
4. Гарантия скорости работы.
5. Поддержка экосистемы VMware.

Последнее относится к используемому ПО. Используемые в традиционных СХД решения тяжело масштабируются, особенно когда приходится регулярно увеличивать объем хранилища. Рано или поздно ситуация упирается в ограничения оборудования, и приходится выполнять дорогостоящую модернизацию оборудования. Некоторые сложности возникают и при аренде физического сервера на уровне целого дата-центра.

Переход же на решения SDS позволяет «забыть» об ограничениях. Тем более, что на рынке имеется целый ряд программных решений для реализации технологии. Наиболее привлекательны среди них инструменты на базе VMware vSphere, среди которых стоит отметить:

1. Dell EMC ScaleIO.
2. Datacore Hyper-Converged Virtual SAN;
3. HPE StoreVirtual.

Единственный минус перечисленных продуктов заключается в отсутствие возможности интеграции в гипервизор (их запускают отдельно). В этом отношении интерес представляет решение VMware Stretched vSAN, архитектуру которого мы и рассмотрим ниже. 

Архитектура

Первое и ключевое преимущество СХД на базе облачных технологий заключается в размещении данных не на конкретном накопителе, как это происходит в традиционных системах. Виртуальные машины пользуются логическими дисками, которые физически распределены между серверами одного ЦОД. Масштабирование осуществляется простым добавлением новых хостов с дисками и другими ресурсами (процессорные ядра, оперативная память и пр.).

Востребованы два типа конфигурации:

1. AllFlash – твердотельные диски, подходящие как для постоянного хранения, так и для организации промежуточной кэш-памяти.
2. Hybrid – система включает обычные жесткие диски для постоянного хранения и SSD, в том числе NVMe в качестве кэша.

Преимущество виртуализации заключается в том, что расширение хранилища не требует вмешательства в настройки накопителей. Постепенно даже отказались от номера LUN (Logical Unit Number). Теперь достаточно добавить диск в кластер, и свободный объем станет доступным всем виртуальным машинам.

Преимущества подхода:

1. Система работает без привязки к технологиям брендов, выпустившим оборудование.
2. Отказоустойчивость комплекса значительно превышает возможности локальных серверов.
3. Целостность информации обеспечивается даже при серьезных технических сбоях.
4. Обслуживание системой осуществляется из единого центра управления из консоли vSphere.
5. Широкие возможности горизонтального и вертикального масштабирования.

Главное, обеспечить клиенту стабильный доступ к интернету с высокой пропускной способностью. Это гарантирует непрерывный доступ к хранилищу даже при временных провалах характеристик провайдера и иных системных сбоях.

Сеть

Традиционной считается трехуровневая (иерархическая) сетевая модель Hierarchical Internetworking Model. Она предполагает наличие трех уровней иерархии – сетевого ядра, уровня распределения, уровня доступа. Первый представляет собой комплекс из сетевого оборудования, второй – блок по распределению запросов, а третий служит непосредственно для соединения рабочих мест, серверов к офисной сети. Неплохой пример здесь – ограничения Spanning-Tree протоколов.

Есть более прогрессивные технологии, например модель Leaf-Spine, где используется только два уровня. И это уже положительно сказывается на сетевой инфраструктуре.

Преимущества:

1. Предсказуемость расстояния между оборудованием.
2. Трафик передается по кратчайшему маршруту.
3. Масштабирование осуществляется без проблем.
4. Исключены минусы протоколов уровня L2.

Такая архитектура оптимизирована под горизонтальный трафик. Пакеты передаются всего через один транзитный участок, это упрощает оценку задержек и других параметров сети. Соединение с хостом обеспечивает несколько аппаратных контроллеров 10GbE со скоростью передачи данных до 10 Гбит/сек. Они объединены в единый узел при помощи протокола агрегации.

Результат – физический узел предоставляет высокую скорость доступа к хранилищу независимо от доступности отдельных контроллеров (линий интернета). Плюс помогает проприетарный протокол, разработанный компанией VMware. Он обеспечивает надежную передачу информации, общение по сети внутри кластера.

Объектная модель хранения легко подстраивается под любые требования заказчика. Создаваемые объекты размещаются по различным хостам кластера в зависимости от наличия пространства для размещения файлов, отклика серверов, иных настроенных администратором критериев. Подобная схема заодно защищает пользователей от утраты информации из-за поломки любого хоста внутри кластера, данные резервируются с учетом распределения внутри него.

Отказоустойчивость

Основные контролируемые значения – FFT и FTM. Первый, Failures to Tolerate, указывает на общее количество отказов серверов, которые кластерная система способна обработать в штатном режиме. Второй параметр, Failure Tolerance Method, отражает степень отказоустойчивости на уровне самих накопителей, а не программного обеспечения.

Mirroring

Теперь подробнее о технологиях. Так, Mirroring (зеркалирование) – это дублирование создаваемого внутри виртуальной машины объекта с обязательным условием размещения реплики на другом физическом хосте. На аппаратном уровне существует аналог подобной схемы работы – RAID-1. Применение такого решения позволяет кластеру продолжать штатную работу вплоть до 3 отказов любых его компонентов, включая накопители, сетевые адаптеры и физические серверы целиком.

По умолчанию данная опция установлена в значении «1». Одной реплики обычно достаточно, чтобы обеспечить надежное хранение информации в облаках. Но если пользователю этого не хватает, он может установить другое значение, соразмерно будет увеличиваться и количество резервных копий (N+1). Например, при FFT=3 будет создаваться по 4 реплики каждого объекта.

Важно учитывать, что на производительность изменение параметра совершенно не влияет. Зато он имеет прямое отношение к эффективности использования дискового пространства, ведь на каждую резервную копию придется выделять соразмерный объем. Это метод поддержания отказоустойчивости при использовании, например, vSAN Hybrid и AllFlash конфигураций.

Erasure Coding

Существует другой вариант повышения уровня отказоустойчивости – Erasure Coding. Он является аналогом аппаратного RAID 5-6. Его применяют только на конфигурациях AllFlash. Запись каждого объекта сопровождается вычислением отдельного блока четности, за счет которого в случае краха системы будут восстановлены данные. Преимущество такого метода заключается в экономии места на дисковом пространстве (по сравнению с Mirroring).

Но нужно учитывать, что дополнительные вычисления нагружают процессор, память ОЗУ и несколько снижают общую производительность. Отчасти компенсирует такой эффект то, что само по себе построение AllFlash-конфигурации позволяет получить достаточно высокую скорость обработки данных. Поэтому применение Erasure Coding для облаков вполне оправдано.

Плюсом к перечисленным технологиям продукт VMware vSAN использует понятие «домен отказа». Он представляет собой логически сгруппированные серверные стойки (дисковые корзины). После завершения процедуры объекты разносятся по отдельным блокам с учетом доменов отказа. В результате появляется возможность без простоев «пережить» выход из строя целого домена, данные с которого ранее были размещены на разных узлах в другом домене.

Минимальным блоком для домена отказа считается группа дисков, взаимодействующих между собой программным способом. Внутри нее будет два типа дисков – Cache и Capacity. Первый тип позволяет использовать только твердотельные диски SSD (NVMe), дающие высокую скорость чтения-записи. Второй дает возможность применять и классические жесткие диски, хотя лучше их заменить на более скоростные SSD. 

Реализация

Немного об ограничениях архитектуры VMware vSAN. Независимо от аппаратных ресурсов, на базе которых развернуто решение, система имеет следующие лимиты:

1. Максимум 5 групп накопителей на 1 хост.
2. Максимум 7 Capacity-дисков в одном таком блоке.
3. Максимум 1 Cachе-носитель на 1 сервер.
4. Не более 35 накопителей категории Capacity на 1 сервер.
5. Не более 9000 компонентов на один хост, включая Witness.
6. Не более 64 серверов в одном кластере.

Есть ограничение и по количеству развернутого решения vSAN, не более одного на каждый из кластеров. В рамках заявленных лимитов гарантируется корректная работа виртуальной СХД как в плане производительности, так и по уровню отказоустойчивости. Разработчик рекомендует не заполнять облачное хранилище более чем на 70%. Если загрузить его на 80%, включится механизм ребалансировки, который забирает приличное количество аппаратных ресурсов.

Пул с быстрыми дисками

Популярный вариант – облачные хранилища со скоростным доступом к информации. На таких хостах обычно стоит парочка процессоров Intel Celeron P4600 с тактовой частотой 2000 МГц и кэшем 3-го уровня 2 Мбайт (в качестве кэша системы) и до 10 твердотельных накопителей Intel P3250. Комплекс настраивается так, чтобы чтение происходило напрямую с дисков, а запись шла через кэш.

Отказоустойчивость и рациональное использование емкости хранилища обеспечивает технология Erasure Coding. По принципу работы она схожа с RAID-массивами категории 5-6, но работа ведется не с файлами, а с логическими объектами. Система vSAN разбивает передаваемые блоки на куски по 4 Кбайт и для каждого вычисляет контрольную сумму. Это и гарантирует высокую сохранность, простое восстановление информации при аппаратных или программных сбоях.

Проверка целостности блоков осуществляется в фоновом режиме, в процессе выполнения операций чтения/записи. То же распространяется на так называемые «холодные данные», которые хранятся без запросов в течение текущего года. Если обнаруживается несоответствие контрольной суммы, битый блок незамедлительно перезаписывается в нормальном состоянии, а файл восстанавливается в исходном виде.

Пул с гибридными дисками

Второй вариант развертывания решения предполагает получение облачного хранилища с большим объемом и высоким уровнем отказоустойчивости. В таком режиме систему используют, когда при решении бизнес-задач важнее стоимость хранения, а не производительность СХД. В этом случае включение в кластер дисковых подсистем на твердотельных дисках может оказаться запредельным по стоимости (зависит от выделяемого объема накопителей).

Последнее и является основной идеей создания гибридных пулов, где SSD выполняют роль кэша для роста производительности СХД. Хранение же осуществляется на жестких дисках специальных серий, предназначенных для применения на серверах ЦОД. Часто используются модели компании HGST, разработанные для крупных предприятий. Гибридная схема ускоряет доступ к информации, запрашиваемой чаще всего.

Кэширование обеспечивается и для записываемых, и для считываемых данных. На программном уровне информация зеркалируется между хостами, а это гарантирует отсутствие потерь при сбоях в аппаратном обеспечении серверов. Работа идет также на уровне логических блоков, на которые разбивается весь входящий-исходящий трафик. 

Пул с Disaster Recovery

Третий вариант позволяет добиться высокого уровня отказоустойчивости и производительности. В этом случае будет задействована технология Scretched vSAN. Она предполагает распределение одного хранилища на несколько ЦОД. В каждом дата-центре используется выделенный сервер, который обеспечивает высокую скорость обработки запросов. Логически создается 2 дисковых группы на 1 хост.

Такая конфигурация работает по схеме AllFlash, поэтому она лишена недостатков вроде резкого провала параметра IOPS или появления большой очереди запросов к накопителям при росте объема операций произвольного доступа к данным. Заметную роль в производительности играет чтение напрямую с накопителей, тогда как запись ведется «параллельным курсом» через кэш.

Интерес представляет и система зеркалирования. Мало того, что объекты резервируются внутри каждого отдельно взятого ЦОД, так еще и по завершении процедуры изменения реплицируются на второй. Такой подход позволяет сохранять работоспособность инфраструктуры даже при полной потере связи с одним из дата-центров.

Отказ целой площадки – весьма редкая ситуация, все-таки по доступности серверов провайдеры дают гарантию свыше 99%. Но лучше иметь дополнительные ресурсы для восстановления данных, а еще лучше для их сохранения в целостности, чем беспокоиться о непредвиденной утрате ценного ресурса. Так, судя по тестам, кластер Stretched vSAN при полном отказе способен восстановиться через минуту после отключения питания на одном из хостов.

Появление новых типов архитектуры СХД привело к изменению терминологии. Так, актуально понятие «виртуальной сущности» (например, Witness Appliance). Под ним подразумевается, что при записи резервных копий данных отслеживается актуальность каждого блока. Сами данные Witness-компонентов не сохраняются, чтобы не занимать место в хранилище (исключение составляют метаданные о процессе записи).

Заключение

Выбор СХД для виртуализации на базе VMware vSAN — оптимальное решение, если планируется масштабирование корпоративной системы хранения, ее модернизация или замена вышедшего из строя локального оборудования. Тарифы услуг облачного провайдера прозрачные, стоимость технического обслуживания входит в них полностью (возможны исключения, детали следует уточнять у службы поддержки).