comm-industrial-servers-storage-san
Техническое описание и специфика применения на НПЗ {#tech}
Серверная инфраструктура АСУ ТП (уровни 2,5–3 модели ISA-95) включает: серверы приложений DCS (доменные контроллеры, Historian, OPC-агрегаторы, серверы отчётности), виртуализационный кластер, систему хранения данных и систему резервного копирования. Требования отличаются от корпоративных ИТ: непрерывность 24/7 на годы (остановка Historian недопустима — потеря технологической истории и коммерческих архивов), детерминированная доступность 99,95–99,99 % (резервирование узлов кластера N+1, двойные блоки питания, hot-swap-диски, ECC-память), изоляция от интернета и длительные циклы обновления ПО (окна только при остановах установок, раз в 1–3 года). Типовая нагрузка НПЗ: 30–80 виртуальных машин на 4–8 физических хостах; Historian — 100–500 тыс. тегов, запись 2–10 тыс. значений/с, хранение 5–10 лет (10–60 ТБ с компрессией).
Сеть хранения данных (SAN) строится на Fibre Channel 16/32 Г или iSCSI 10/25G: два независимых фабрика (fabric A/B), двухконтроллерные СХД с RAID 6/RAID 10, multipath на хостах. NAS — для файловых помоек, инсталляционных репозиториев и экспорта отчётов. Резервное копирование — правило 3-2-1: три копии, два типа носителей, одна вне периметра (офлайн на ленте LTO-9 или объектное хранилище в резервном ЦОД); копирование конфигураций контроллеров DCS/ПЛК и шлюзов — отдельный регламент (экспорт проектов, образы инженерных станций), RPO ≤24 ч, RTO ≤8 ч для серверов уровня 3.
Международный технологический ландшафт и анализ брендов {#brands}
Серверы и СХД: Dell PowerEdge R750/R760 + PowerVault/Unity XT (эталон для DCS-вендоров — Emerson и Honeywell сертифицировали свои системы на Dell), HPE ProLiant DL380 Gen10/Gen11 + Alletra/MSA, Lenovo ThinkSystem, Cisco UCS. Гипервизоры: VMware vSphere/ESXi (стандарт де-факто в DCS-виртуализации; официально поддерживается Emerson DeltaV, Yokogawa, Honeywell), Microsoft Hyper-V. Historian: AVEVA PI System (OSIsoft), GE Vernova Proficy Historian, AspenTech InfoPlus.21, Honeywell Uniformance PHD. Резервное копирование: Veeam Backup & Replication (до ухода с рынка РФ), Veritas NetBackup. Российские бренды: серверы «Крафтвэй», «Рикор», «Депо», Yadro Vegman; СХД — «Аэродиск» (Engine NEBULA — блочные/файловые массивы, двухконтроллерные, FC/iSCSI), Yadro Tatlin (объектные и блочные хранилища), «Байкал-Т»-платформы для неответственных задач; виртуализация — zVirt (Orionsoft), «Базис.DynamiX», РЕД Виртуализация, TIONIX Cloud Platform; СРК — «Киберпротект» (Cyber Backup, агентское копирование ВМ и физических серверов, поддержка Astra Linux), RuBackup; Historian — MasterSCADA 4D Historian, ПТК «Сфера», iTrend, КРУГ-2000 АРХИВ. Все перечисленные российские ПО-продукты имеют записи в реестре отечественного ПО.
Архитектура интеграции, интерфейсы и шлюзы {#integration}
Физическая схема серверного сегмента L3: два стойкоряда (основной/резервный по возможности в разных помещениях аппаратной), хосты кластера подключены к паре агрегирующих коммутаторов (стек/MLAG, 2×10/25G на хост, см. comm-industrial-ethernet-switches-ring), SAN-фабрики FC — к двум контроллерам СХД, iSCSI — по выделенным VLAN с jumbo frames. Виртуальные сети: отдельные port-group для DCS-домена, Historian, ИБ-сервисов, управления (iDRAC/iLO — изолированный OOB-сегмент с доступом только с консоли SOC). Синхронизация всех хостов и ВМ — от пары grandmaster (см. comm-time-synchronization-ntp-ptp). Резервное копирование: агенты СРК на ВМ, репозиторий на NAS в серверной + реплика на объектное хранилище резервной площадки по выделенному каналу через МЭ (см. comm-industrial-firewalls-cii-protection); ленточная библиотека LTO — офлайн-копия ежемесячно. Конфигурации контроллеров: автоматический экспорт проектов DCS/ПЛК (DeltaV Configuration Audit Trail, аналоги у других вендоров) в версионируемое хранилище, контроль целостности хэшами (мера ОЦЛ приказа №239). Питание стоек — от двух независимых ИБП (см. power-industrial-ups-batteries), климат — прецизионные кондиционеры N+1 (см. power-climate-control-enclosure-cooling).
Нормативная база и требования к импортозамещению в РФ/СНГ {#norms}
Для значимых объектов КИИ серверная инфраструктура — объект мер ОДТ (доступность), ЗНИ (носители), УКФ (конфигурации), АУД (аудит) приказа ФСТЭК №239; компоненты — сертифицированные СЗИ/СВТ требуемого класса, СРК — из реестра отечественного ПО. ОС — Astra Linux Special Edition (средства виртуализации в сертифицированном исполнении — ПК СВ «Брест»), РЕД ОС; СУБД Historian-заменителей — Postgres Pro Certified. Закупки оборудования по ПП РФ №719 — проверка записей в реестре ГИСП (Yadro, «Аэродиск», «Рикор», «Крафтвэй» зарегистрированы). Уход VMware/Dell/HPE потребовал миграции: официальная поддержка DCS-вендоров на российских гипервизорах ограничена — типовое решение: сохранение существующего vSphere без обновлений в изолированном контуре с компенсирующими мерами ИБ либо поэтапная миграция на zVirt/«Базис» с пилотным стендом и подтверждением работоспособности приложений DCS. Метрология: серверы коммерческого учёта (АСКУЭ, узлы измерений) — требования ФЗ-102 к защите архивов от изменений.
Инженерные проблемы, риски эксплуатации и методы их решения {#problems}
Проблема: деградация RAID 6 массива Historian после отказа двух дисков за одни сутки (партия HDD одной серии, наработка 6 лет): rebuild 18 ТБ занял 62 часа, производительность записи тегов упала в 4 раза, очередь буферизации на интерфейсных узлах достигла 11 часов данных. Решение: политика разновозрастных дисков (закупка разных партий), proactive spare и замена по SMART-предиктивам, переезд горячих тегов на SSD-пул, регламентный мониторинг rebuild-статуса в SCADA ИТ-инфраструктуры.
Проблема: потеря проекта контроллера после неудачного обновления прошивки ПЛК пакетной единицы: актуальной копии конфигурации не оказалось (последний экспорт — 8 месяцев назад), восстановление с реконструкцией логики заняло 3 суток простоя узла. Решение: автоматизированный еженедельный экспорт конфигураций всех контроллеров в версионируемое хранилище с контролем изменений (diff-отчёт инженеру АСУ ТП), проверка восстановления из копии два раза в год на стенде.
Проблема: миграция ВМ сервера отчётности на отечественный гипервизор выявила несовместимость паравиртуальных драйверов: сетевые потери 3–7 %, отчёты формировались 40 минут вместо 4. Решение: замена vNIC на эмулируемый Intel e1000 в настройках ВМ, обновление драйверов гостевой ОС, нагрузочное тестирование на пилотном стенде до продуктивной миграции; несовместимые приложения оставлены на legacy-кластере за МЭ.
Проблема: рansomware-атака на корпоративный сегмент достигла DMZ; единственная офлайн-копия (лента, месячной давности) позволила восстановить репозиторий отчётов за 2 суток. Решение: увеличение частоты офлайн-копий до еженедельных, внедрение неизменяемого (immutable) объектного хранилища с WORM-политикой 30 дней, изоляция сегмента резервного копирования отдельным МЭ с правилом «только исходящие из бэкап-сервера».
