Сервис-провайдер «ОBLAKO» переходит на NVMe-серверы под управлением Microsoft Storage Spaces Direct

OBLAKO (cloud.net.ua) последовательно выстраивает облачную среду под приложения заказчиков – владельцев малого и среднего бизнеса. Windows Server служит основной операционной системой для виртуальных серверов и SaaS-решений (почты Exchange, Zimbra) с самого момента запуска их аренды – уже около десяти лет. Вместе с эволюцией технологического стека Microsoft (а OBLAKO – один из первых SPLA-партнеров компании в Украине) менялся подход к обеспечению целей.

Программно-определяемая платформа Microsoft

Windows Server 2012 была первым опытом ОС, средствами которой строится программно-определяемая инфраструктура. OBLAKO по сей день эксплуатирует кластеры серверов и разделяемых хранилищ SAS JBOD (Clustered Shared Volumes, CSV) в дата-центрах Украины и Германии. По технологии Storage Spaces операционные данные (виртуальные машины клиентов) хранятся на гибридных виртуальных дисках, физической основой для которых служат накопители в JBOD: SSD под горячие данные и кэш записи, емкие HDD – как основной слой хранения. За счет подбора компонентов (серверов, JBOD, дисков) таким универсальным решением можно и сегодня удовлетворить потребности 90% клиентских нагрузок.

Шло время, бизнес клиентов рос, менялись нагрузки приложений. Вместо одного виртуального сервера на все случаи жизни стало удобно иметь несколько: под СУБД, приложения (1С, M.E.Doc, CRM итд.), отдельно под веб-сайт и не-Windows нагрузки. Вся инфраструктура должна обслуживать офисы и подразделения в единой сети предприятий с VPN-туннелями. Кластер с гибридной дисковой подсистемой общего доступа – не самое гибкое решение под интенсивные нагрузки ввода-вывода. Более того, «коммунальное сожительство» виртуальных машин клиентов с высоконагруженными СУБД и соседей попроще создает неудобства и тем, и другим. Предельные пиковые нагрузки вызывают сбои в работе и укорачивают жизнь оборудования.

Создание комфорта приложениям с повышенными нагрузками ввода-вывода стало новым вызовом. В очередной раз поднялась планка требований к производительности, управляемости и расширяемости сервисной платформы. Следующим шагом стало освоение кластерной технологии Microsoft Storage Spaces Direct (S2D) – разделяемой среды вычислений и хранения на серверах с локальными дисками. Как и раньше, аппаратную часть проектировало серверное ателье Entry.

Storage Spaces Direct

Гиперконвергентная инфраструктура S2D строится на типовых серверах, средствами ОС, без сторонних хранилищ SAN/NAS. Она проста в развертывании и настройке. Высокая производительность достигается аппаратными средствами (CPU, NVMe SSD, сетевые адаптеры RDMA) и программными протоколами сетевого обмена SMB Direct. Подключение дополнительных серверов в кластер добавляет ресурсы, повышает устойчивость к отказам и управляемость. Эластичность масштабирования S2D особенно привлекательна для сервис-провайдеров – как модель предсказуемого развития без изменения ландшафта.

Владимир Малежик (OBLAKO, CTO): «Много лет мы работаем с кластерами по технологии Microsoft Storage Spaces c разделяемыми JBOD на SSD/HDD, и у нас есть возможность сравнивать. Как и любого сервис-провайдера, нас стимулируют заказчики с повышенными запросами к производительности. Непрерывная доступность к данным и приложениям нужна всем нам. Отсюда выбор Storage Spaces Direct - естественного развития операционной среды. Благодаря Entry мы построили экономичную реализацию кластера S2D на односокетных платформах AMD EPYC, с хранением на NVMe SSD. Думаю, первые в Украине»

Выбор серверов

Подбор серверов для построения кластеров S2D зависит от характера нагрузок и объемов хранения. Максимальную производительность ввода/вывода с предсказуемо низкими задержками дает хранение all-NVMe: SSD c быстрым откликом и большим ресурсом перезаписи (Cache) принимают на себя поток операций произвольного доступа, с последующим переносом данных на основной слой хранения (Capacity) – тоже NVMe SSD, но емкие, с меньшим ресурсом.

Андрей Тищенко (Entry, управляющий Entry): «Однопроцессорная платформа AMD EPYC 7xx2P словно рождена под гиперконвергентные системы: большое количество вычислительных ядер CPU и потенциал RAM позволяют комфортно раздать ресурс виртуальным машинам, в 1U помещается до 12 накопителей U.2 (SFF NVMe SSD), с хорошим запасом по емкости хранения. Узлы получаются относительно недорогими, начальные затраты на инфраструктуру посильными, расширение простым».

NVMe-серверы под управлением Microsoft Storage Spaces Direct

Базой кластера Entry S2D для «Облака» стали платформа ASUS RS500A-E10-RS12U и 24-ядерные AMD EPYC 7402P. Слой кэширования (Cache) собран на Intel Optane SSD, данные (Capacity) хранят накопители Western Digital Ultrastar DC SN640 NAND SSD. Сетевые адаптеры 25GbE Mellanox ConnectEx–4 c аппаратной поддержкой RDMA быстро синхронизируют данные узлов кластера.

Сравнительные тесты

Мы провели сравнительные тесты трех архитектур, чтобы принять решение о переводе ресурсоемких приложений на новый кластер.Спойлер: результаты превзошли ожидания –производительность дисковых операций выросла почти впятеро.

Тесты имитировали OLTP-нагрузку (70% чтения/30% записи, произвольный доступ блоками 8К) с использованием утилиты DiskSpd по сценарию https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-r2-and-2012/dn894707(v=ws.11). Мы сравнили три типа дисковых хранилищ: два прежних стандарта и новый, с перенесенной на него клиентской нагрузкой. Тестирование проводилось внутри виртуальных машин «живых» систем, не на чистых полигонах.

Параметры виртуальной машины – 2-ядра, 2ГБ ОЗУ, 60ГБ дискового пространства.

 

S2D, NVMe и транзакционные приложения

У кластера S2D есть запас роста: scale-up и scale-out. В сами серверы можно добавить оперативную память и накопители – благо есть место. По цене NVMe SSD не дороже SATA SSD, по емкости их превосходят, а производительность – нечего и сравнивать. OLTP-приложения особенно ярко проявляют преимущества NVMe.

Горизонтальное масштабирование кластера новыми узлами наращивает все вычислительные ресурсы, дает простор для их балансировки, а пространство для хранения используется эффективно. OBLAKO готово к новым вызовам!