NVMe‑oF NVMe over Fabrics Протокол NVMe Задержка хранения Сравнение iSCSI FC All‑flash массив

Что такое NVMe‑over‑Fabrics (NVMe‑oF) и зачем он нужен современным ЦОД

Скорость — это валюта современного дата-центра. Когда приложения требуют микросекундных задержек, а традиционные протоколы (iSCSI, Fibre Channel) становятся узким горлышком, на сцену выходит NVMe‑over‑Fabrics (NVMe‑oF). Это технология, которая расширяет сверхбыстрый протокол NVMe с локального подключения на сеть, обеспечивая доступ к хранилищу с задержками, сравнимыми с прямым подключением. В этой статье мы разберём, что такое NVMe‑oF, как он работает, чем отличается от iSCSI и FC, и почему он становится обязательным элементом современных all‑flash инфраструктур.

1. Что такое NVMe и почему он стал революцией

NVMe (Non‑Volatile Memory Express) — это протокол доступа к твердотельным накопителям (SSD), разработанный специально для флеш-памяти. В отличие от устаревших SATA и SAS, NVMe использует параллельные очереди команд (до 65 535 очередей по 65 535 команд каждая), что обеспечивает:

Сверхнизкую задержку — менее 20 микросекунд.
Высокую пропускную способность — до 7 ГБ/с и выше на один диск.
Многоканальность — одновременная обработка тысяч запросов.

NVMe стал стандартом для локальных накопителей, но до недавнего времени его преимущества были доступны только внутри одного сервера. NVMe‑oF решает эту проблему, делая NVMe доступным по сети.

2. Что такое NVMe‑over‑Fabrics (NVMe‑oF)

NVMe‑oF — это протокол, который инкапсулирует команды NVMe в сетевые пакеты и передаёт их по сетям с низкой задержкой: Ethernet (с поддержкой RDMA — RoCE, iWARP), InfiniBand или Fibre Channel (FC‑NVMe). Это позволяет серверам обращаться к удалённому NVMe-хранилищу так, как если бы оно было подключено локально.

Ключевое отличие NVMe‑oF от традиционных протоколов — отсутствие накладных расходов на преобразование команд. В iSCSI команды SCSI упаковываются в TCP/IP, что добавляет задержку. В NVMe‑oF команды NVMe передаются напрямую, без дополнительной обработки, что даёт задержки менее 10 микросекунд на сетевом уровне.

Главное преимущество

NVMe‑oF позволяет строить высокопроизводительные кластеры с разделяемым хранилищем, где задержка доступа к данным практически не отличается от локального NVMe. Это меняет правила игры для баз данных, AI/ML и высокочастотной торговли.

3. Сравнение NVMe‑oF с iSCSI и Fibre Channel (FC)

Чтобы понять ценность NVMe‑oF, сравним его с двумя основными протоколами SAN.

iSCSI — использует TCP/IP, что добавляет задержку (обычно 100–500 мкс). Подходит для средних нагрузок, но не для высокопроизводительных систем.
Fibre Channel (FC) — выделенная сеть с низкой задержкой (50–100 мкс). Надёжен, но дорог и сложен в управлении. Требует специальных коммутаторов и HBA.
NVMe‑oF — задержка менее 10 мкс на сети, пропускная способность до 400 Гбит/с (с InfiniBand или 400G Ethernet). Поддерживает многопутевую маршрутизацию и масштабирование.

При этом NVMe‑oF может работать как на Ethernet (с RoCE или iWARP), что позволяет использовать существующую сетевую инфраструктуру с минимальными доработками, в отличие от FC, требующего отдельной сети.

4. Где применяется NVMe‑oF

Высоконагруженные базы данных — OLTP, банковские системы, биржевые платформы, где каждая микросекунда задержки критична.
Искусственный интеллект и машинное обучение — обучение моделей на больших данных требует быстрого доступа к хранилищу. NVMe‑oF ускоряет загрузку датасетов и чекпойнтов.
Виртуализация и контейнеризация — Kubernetes, VMware vSphere с высокой плотностью ВМ и контейнеров, где требуется быстрое переключение и миграция.
High‑Performance Computing (HPC) — научные симуляции, финансовое моделирование, обработка изображений.
All‑flash массивы — NVMe‑oF — естественное дополнение к all‑flash системам хранения, таким как Huawei OceanStor Dorado и Dell PowerStore, позволяя раскрыть их полный потенциал.

5. Как построить инфраструктуру на NVMe‑oF

Для развёртывания NVMe‑oF потребуется:

NVMe‑oF целевые устройства (targets) — all‑flash массивы или серверы с NVMe-дисками, поддерживающие протокол.
Инициаторы (initiators) — серверы с сетевыми адаптерами, поддерживающими RDMA (RoCE или iWARP).
Сеть с низкой задержкой — Ethernet (25/100/400 Гбит/с) с поддержкой RoCE или InfiniBand, либо FC (32/64 Гбит/с) для FC‑NVMe.
Коммутаторы — для Ethernet подойдут дата-центр коммутаторы, например, Cisco Nexus 9300‑GX2 с поддержкой 400G и RoCE.

Настройка NVMe‑oF проще, чем FC, особенно при использовании Ethernet с RoCE. Многие производители предлагают готовые решения, интегрирующие NVMe‑oF «из коробки».

Совет по внедрению

Начинайте с пилотного проекта на небольшом кластере. Используйте Ethernet с RoCE — это позволит использовать существующие кабели и коммутаторы. Для максимальной производительности выбирайте адаптеры с поддержкой NVMe‑oF и проверяйте совместимость с вашей СХД.

6. NVMe‑oF в продуктах Huawei, Dell и Lenovo

Все ведущие производители СХД активно внедряют поддержку NVMe‑oF:

Huawei — OceanStor Dorado 3000 и Dorado 5000 поддерживают NVMe‑oF через Ethernet и FC, обеспечивая задержку 0.05 мс.
Dell — PowerStore 1200T имеет встроенную поддержку NVMe‑oF, включая оптимизацию для контейнерных сред.
Lenovo — ThinkSystem DM7100F предлагает конвергентное файловое и блочное хранилище с NVMe‑oF для универсальных нагрузок.

Все эти решения мы поставляем напрямую из Китая с полной гарантией и инженерной поддержкой.

Планируете внедрение NVMe‑oF и нужна консультация? Свяжитесь с нашими инженерами

7. Часто задаваемые вопросы (FAQ)

Чем NVMe‑oF отличается от обычного NVMe?

Обычный NVMe — это локальный протокол для подключения SSD к серверу через PCIe. NVMe‑oF расширяет его на сеть, позволяя серверам обращаться к удалённым NVMe-накопителям с такой же низкой задержкой.

Какая сеть нужна для NVMe‑oF?

NVMe‑oF поддерживает несколько типов сетей: Ethernet с RDMA (RoCE или iWARP), InfiniBand и Fibre Channel (FC‑NVMe). Для новых проектов чаще выбирают Ethernet 25/100/400 Гбит/с с RoCE из-за его гибкости и стоимости.

Подходит ли NVMe‑oF для уже существующей инфраструктуры?

Да, если ваша сеть поддерживает RDMA (RoCE или iWARP), вы можете внедрить NVMe‑oF без замены всего оборудования. Для FC-сетей потребуется обновление до FC‑NVMe (32/64 Гбит/с).

Сколько это стоит?

Стоимость внедрения NVMe‑oF складывается из стоимости СХД с поддержкой NVMe‑oF, сетевых адаптеров и коммутаторов. Она выше, чем у iSCSI, но значительно ниже, чем у FC, особенно при использовании Ethernet. В долгосрочной перспективе экономия на задержках и повышение производительности окупают инвестиции.

Ускорьте ваше хранилище с NVMe‑oF

Мы поможем спроектировать и внедрить инфраструктуру на базе NVMe‑oF, подберём оборудование и обеспечим поддержку. Прямые поставки из Китая — лучшее соотношение цены и качества.

Получить консультацию по NVMe‑oF

В следующей статье мы рассмотрим масштабируемые (scale‑out) системы хранения и их роль в Big Data и AI. Оставайтесь с нами!