О курсе

Теоретический курс, который охватывает различные аспекты управления данными, включая вычислительные системы, виртуализацию, хранение данных и сетевые технологии в современных центрах обработки данных.

Содержит информацию о компонентах и типах вычислительных систем, хранении данных, сетевых технологиях, а также о программном обеспечении для управления данными в центрах обработки данных.

Целевая аудитория

• IT архитекторы
• IT менеджеры
• схд пресейлы

Преимущества

Курс разработан для схд архитекторов и технических специалистов, ответственных за планирование, выбор, настройку и развитие систем хранения данных. Даже для тех, кто уверен в глубине своих знаний по обозначенным темам, курс будет полезен своими практическими занятиями – ведь не всегда возможно проверять навыки в производственной сети. В случае же, если и практических занятий курса будет недостаточно – можно воспользоваться отдельным тренингом, подразумевающим выполнение исключительно практических лабораторных работ для совершенствования собственных умений.

День 1

Файловые, блочные и унифицированные системы хранения

Принципы работы

• Файловые системы (NAS): организуют данные в виде иерархии файлов и директорий, используют протоколы CIFS/SMB, NFS. Доступ к данным осуществляется по именам файлов.
• Блочные системы (SAN): предоставляют доступ к данным на уровне блоков (LUN). Вычислительные системы создают файловую систему поверх блочных томов. Используют протоколы iSCSI, FC, FCoE.
• Унифицированные системы: совмещают блочный, файловый и объектный доступ в единой инфраструктуре. Поддерживают множество интерфейсов (iSCSI, FC, NFS, CIFS, REST) через единый контроллер.

Ключевые компоненты

• Файловая система (NAS): файловый сервер с файловой системой; сетевые интерфейсы (Ethernet); хранилище данных (обычно HDD/SSD).
• Блочная система (SAN): контроллеры (с компонентами: фронтэнд, кэш, бэкенд); блочные устройства хранения (HDD, SSD); сеть хранения данных (SAN) на базе FC, iSCSI; механизмы кэширования (write‑through, write‑back).
• Унифицированная система: единый контроллер с поддержкой разных типов доступа; интегрированные интерфейсы (блочные, файловые, объектные); общее пуловое хранилище.

Основные особенности

• Файловая система: удобство для пользователей, простота управления файлами, ограничения по масштабированию (число файлов/директорий).
• Блочная система: высокая производительность для транзакционных нагрузок, эффективное управление хранилищем, сложность для неструктурированных данных.
• Унифицированная система: снижение затрат за счёт единой инфраструктуры, централизованное управление, гибкость для разных приложений.

Защита данных

• RAID
• Снапшоты и клоны
• Thin Provisioning
• Дедупликация и компрессия
• Репликация (синхронная/асинхронная)
• Антивирусная защита

Масштабирование

• Файловая система: ограничена иерархией директорий и производительностью метаданных.
• Блочная система: scale‑up (расширение ёмкости одного массива) или scale‑out (кластеризация контроллеров).
• Унифицированная система: линейное масштабирование за счёт добавления узлов, поддержка распределённых пулов хранения.
День 2

Объектные системы хранения

Принципы работы

• Использование плоского адресного пространства.
• Данные хранятся в виде объектов, включающих: пользовательские данные; метаданные (размер, владелец, дата, атрибуты); уникальный object ID (генерируется через хеш‑функцию от содержимого).

Ключевые компоненты

• Узлы (контроллеры) с двумя сервисами: сервис метаданных (генерирует ID, управляет пространством имён); сервис хранения (управляет дисками, размещает объекты).
• Внутренняя сеть для связи узлов.
• Физическое хранилище на базе недорогих высокоплотных дисков.
• Глобальное пространство имён для единого доступа к объектам.

Основные особенности

• Линейная масштабируемость (scale‑out) — добавление узлов увеличивает ёмкость и производительность.
• Мультитенантность — безопасное разделение данных между приложениями/клиентами.
• Управление на основе метаданных — автоматизация политик хранения, защиты, перемещения данных.
• Гибкие методы доступа: S3, REST/SOAP, CIFS, NFS, HDFS, HTTP, GRPS.
• Автоматизация: самоконфигурирование, самовосстановление, минимизация ручного управления.

Защита данных

• Репликация — создание точных копий объектов.
• Erasure coding (кодирование с исправлением ошибок) — оптимальное резервирование при отказах дисков.
• Шифрование данных перед отправкой в облако (через шлюзы).
• Дедупликация и сжатие для экономии ёмкости.

Масштабирование

• Поддержка петабайтных и эксабайтных объёмов данных.
День 3

Безопасность, производительность, сценарии применения и управление инцидентами

Безопасность и управление доступом

• Механизмы аутентификации и авторизации: использование протоколов и стандартов для контроля доступа к данным; разграничение прав доступа на основе ролей и политик безопасности для разных типов хранилищ (файловых, блочных, объектных, унифицированных).
• Шифрование данных: на уровне передачи (например, TLS/SSL в REST API для объектных хранилищ); на уровне хранения (шифрование содержимого объектов, блочных LUN, файловых систем); шифрование трафика в SAN (FC, iSCSI) и NAS‑сетях.
• Контроль доступа к метаданным: в объектных системах — управление через метаданные объекта; в файловых системах — через ACL (Access Control Lists); в блочных системах — на уровне LUN и сетевых зон (zoning в FC).
• Журналирование и аудит: отслеживание операций с данными (создание, изменение, удаление); мониторинг доступа к критичным объектам и блокам данных.

Тюнинг производительности

• Оптимизация кэширования: настройка алгоритмов кэширования в блочных системах (write‑through vs. write‑back); управление размером и политикой вытеснения кэша; применение SSD‑кэша для ускорения доступа к «горячим» данным.
• Балансировка нагрузки: распределение I/O между контроллерами в SAN; балансировка запросов между узлами в scale‑out системах (объектных, унифицированных); агрегация сетевых каналов для увеличения пропускной способности.
• Тиринг данных (storage tiering): автоматическое перемещение данных между уровнями хранения (SSD → HDD) на основе активности; кэш‑тиринг; политики размещения объектов на основе метаданных.
• Дедупликация и сжатие: снижение объёма данных в хранилищах (особенно эффективно для резервных копий и архивов); оценка накладных расходов на процессор при обработке сжатых/дедуплицированных данных.
• Настройка параметров RAID: выбор уровня RAID (1, 5, 6, 10) под тип нагрузки (транзакционная, аналитическая); учёт влияния RAID на производительность записи.

Сценарии и лучшие практики применения каждого типа систем

• Файловые системы (NAS): совместное использование файлов в корпоративной среде; хранение документов, медиаконтента, архивов; интеграция с офисными приложениями и системами документооборота. Лучшие практики: регулярная оптимизация метаданных, мониторинг глубины вложенности директорий.
• Блочные системы (SAN): базы данных (OLTP, СУБД); виртуализированные среды (VMware, Hyper‑V); высокопроизводительные вычисления (HPC). Лучшие практики: выделение отдельных пулов хранения под разные типы нагрузок, использование SSD для «горячих» данных.
• Объектные системы (OSD): облачные сервисы (SaaS, BaaS, AaaS); хранение больших объёмов неструктурированных данных (логи, медиа, IoT‑данные); аналитика больших данных (интеграция с HDFS); распределённые приложения с глобальным доступом. Лучшие практики: применение erasure coding для экономии места, настройка политик жизненного цикла объектов.
• Унифицированные системы: гибридные и мультиоблачные среды; консолидация разнородных рабочих нагрузок (базы данных + файлы + объекты); Лучшие практики: централизованное управление политиками хранения, автоматизация тиринга между уровнями.