Архитектура современной системы хранения данных: компоненты и принципы работы

Современные системы хранения данных (СХД) — это сложные инженерные решения, сочетающие аппаратные и программные компоненты для обеспечения высокой производительности, надёжности и масштабируемости. Понимание архитектуры СХД помогает ИТ-специалистам правильно проектировать инфраструктуру, выбирать оборудование и оптимизировать рабочие нагрузки. В этой статье мы разберём ключевые компоненты СХД: контроллеры, дисковые полки, кэш-память, протоколы доступа (FC, iSCSI, NVMe‑oF), а также технологии обеспечения целостности данных — RAID и erasure coding. Особое внимание уделим современным all‑flash массивам, которые становятся стандартом для высоконагруженных сред.

1. Контроллеры СХД — мозг системы

Контроллер — это центральный процессорный модуль СХД, который управляет всеми операциями ввода-вывода, распределяет данные по дискам, обрабатывает кэширование и обеспечивает связь с серверами. Современные СХД используют два и более контроллера для отказоустойчивости (активный-активный режим).

Функции контроллера:

• Обработка запросов ввода-вывода от серверов.
• Управление кэш-памятью (чтение/запись).
• Реализация RAID-массивов и erasure coding.
• Балансировка нагрузки между дисковыми полками.
• Обеспечение высокой доступности (failover).

Контроллеры бывают аппаратными (специализированные платы с собственными процессорами) и программными (SDS — программно-определяемые хранилища). В корпоративных all‑flash массивах, таких как Huawei OceanStor Dorado 3000 или Dell PowerStore 1200T, используются высокопроизводительные контроллеры с выделенными чипами для сжатия и дедупликации.

2. Дисковые полки (Disk Shelves) и накопители

Дисковые полки — это модули, в которых размещаются физические накопители (HDD, SSD, NVMe). Они подключаются к контроллерам через интерфейсы SAS, SATA или NVMe. Современные полки поддерживают «горячую» замену дисков без отключения питания.

• HDD — ёмкие, но медленные, используются для архивов и холодных данных.
• SSD (SATA/SAS) — быстрые, но дороже, для смешанных нагрузок.
• NVMe — сверхбыстрые, с минимальной задержкой, для all‑flash массивов.

Примеры дисковых полок: Dell PowerVault ME5024 поддерживает до 24 накопителей форм-фактора 2.5″ или 3.5″, а Lenovo ThinkSystem DE4000H позволяет объединять до 192 дисков в гибридной конфигурации.

3. Кэш-память (Cache)

Кэш — это высокоскоростная память (обычно DRAM или NVRAM), расположенная на контроллерах. Она служит буфером между быстрыми запросами серверов и более медленными дисками. Кэш делится на:

• Кэш чтения — хранит часто запрашиваемые данные, ускоряя чтение.
• Кэш записи — накапливает данные перед записью на диски, что позволяет сгладить пиковые нагрузки и снизить задержки.

В all‑flash массивах кэш используется для ускорения операций, а также для дедупликации и сжатия «на лету». Например, Huawei Dorado 5000 использует интеллектуальный кэш с алгоритмами машинного обучения для предварительной выборки данных.

4. Протоколы доступа к данным: FC, iSCSI, NVMe‑oF

Выбор протокола определяет способ подключения серверов к СХД и влияет на производительность, задержки и стоимость инфраструктуры.

Fibre Channel (FC)

Высокоскоростной протокол на основе выделенных оптических сетей. Обеспечивает низкую задержку и высокую пропускную способность (до 64 Гбит/с). Используется в корпоративных SAN. Требует специальных FC-коммутаторов и HBA-адаптеров.

iSCSI

Протокол, инкапсулирующий команды SCSI в TCP/IP-пакеты. Работает по стандартным Ethernet-сетям, что снижает стоимость, но добавляет задержки из-за накладных расходов TCP/IP. Подходит для средних предприятий с бюджетными ограничениями.

NVMe‑oF (NVMe over Fabrics)

Самый современный протокол, который расширяет NVMe на сети (Ethernet, InfiniBand, FC). Обеспечивает микросекундные задержки и пропускную способность, сравнимую с локальным подключением NVMe. Идеален для all‑flash массивов и высокопроизводительных вычислений. Для работы с NVMe‑oF требуются сетевые адаптеры с поддержкой RDMA (RoCE, iWARP).

Наши дата-центр коммутаторы, такие как Cisco Nexus 9300‑GX2, поддерживают высокоскоростные соединения для NVMe‑oF.

5. Технологии защиты данных: RAID и Erasure Coding

Обе технологии обеспечивают избыточность данных для защиты от сбоев дисков. Однако они работают по-разному.

RAID (Redundant Array of Independent Disks)

Аппаратный или программный метод объединения дисков в массивы с различными уровнями избыточности (RAID 0, 1, 5, 6, 10). RAID 5 и 6 используют контрольные суммы (parity) для восстановления данных при отказе одного или двух дисков. RAID широко применяется в DAS, NAS и недорогих СХД.

Erasure Coding

Более современный метод, используемый в объектных и распределённых хранилищах. Данные разбиваются на фрагменты (data chunks) и добавляются избыточные фрагменты (parity chunks), которые распределяются по разным узлам. Это позволяет восстанавливать данные при отказе нескольких узлов одновременно. Erasure coding даёт лучшую эффективность использования дискового пространства по сравнению с репликацией и часто применяется в scale-out системах, таких как Huawei OceanStor Pacific 9550.

6. Архитектурные подходы: Scale‑Up vs Scale‑Out

Понимание этих подходов поможет выбрать правильную СХД для роста бизнеса.

• Scale‑Up (вертикальное масштабирование) — увеличение ёмкости и производительности путём добавления дисковых полок или более мощных контроллеров в существующую систему. Подходит для предсказуемых нагрузок. Пример: традиционные SAN и NAS.
• Scale‑Out (горизонтальное масштабирование) — добавление новых узлов (контроллеров с дисками) в кластер, что увеличивает и ёмкость, и производительность линейно. Идеально для больших данных, облачных сред и неструктурированных данных. Пример: Huawei Pacific 9550 и другие объектные хранилища.

7. Современные all‑flash архитектуры

All‑flash массивы полностью построены на SSD/NVMe. Они обеспечивают минимальные задержки (менее 0.1 мс) и высокую пропускную способность, что критично для OLTP, виртуализации и AI-нагрузок. Ключевые особенности:

• Использование NVMe для максимальной скорости.
• Встроенная дедупликация и сжатие для экономии места.
• Интеллектуальное кэширование и автоматическая оптимизация.
• Поддержка NVMe‑oF для сетевого доступа с минимальной задержкой.

Мы предлагаем all‑flash системы хранения от Huawei и Dell, например, OceanStor Dorado 5000 и PowerStore 1200T, которые соответствуют самым высоким требованиям.

8. Часто задаваемые вопросы (FAQ)

В следующей статье мы подробно рассмотрим all‑flash хранилища и их преимущества для бизнеса. Оставайтесь с нами!