Как мы оптимизировали управление ЦОДами клиента

Чтобы повысить КПД и отказоустойчивость, понадобилось пересмотреть процессы и документацию, уволить пару инженеров и кое-что ещё... Делимся подробным кейсом.

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.

В главной роли – управление

Самое современное и дорогое ИТ-оборудование не принесет ожидаемой экономической пользы, если не будут выстроены правильные процессы эксплуатации инженерных систем ЦОДа, где оно располагается.

Роль надежных и производительных дата-центров в современной экономике постоянно растет вместе с требованиями к их бесперебойной работе. Однако на этом направлении существует большая системная проблема.

Высокий уровень «аптайма» – безаварийной работы дата-центра без простоев – очень сильно зависит от команды инженеров, которая занимается управлением площадки. А единой формализованной школы управления ЦОДами не существует.

Нет какого-то сводного канона с правилами, применимыми для любого дата-центра. Есть стандарты международной отраслевой организации Uptime Institute, но они устанавливают рамки и вектор развития, к каждому конкретному дата-центру они будут применяться по-разному.

В масштабах страны

На практике в России ситуация с эксплуатацией ЦОДов выглядит так.

Дата-центры из сегмента коммерческих как правило имеют сертификаты, подтверждающие компетенции в сфере управления. Далеко не все и не всегда, но сама специфика бизнес-модели, когда провайдер отвечает перед клиентом качеством сервиса, деньгами и репутацией на рынке, обязывает владеть предметом.

Сегмент корпоративных ЦОДов, которые обслуживают собственные потребности компаний, по показателям качества эксплуатации заметно отстает от коммерческих дата-центров. К внутреннему заказчику относятся не так тщательно, как к внешнему клиенту, далеко не в каждой компании понимают потенциал хорошо настроенных управленческих процессов.

Наконец, государственные ведомственные ЦОДы – в этом отношении они часто представляют собой неизвестную территорию в силу закрытости. Международный аудит таких объектов по понятным причинам невозможен. Российские госстандарты только разрабатываются.

Все это выливается в ситуацию «кто во что горазд». «Разношерстный» состав команд эксплуатации из специалистов с разным бэкграундом, различные подходы к организации корпоративной архитектуры, взгляды и требования в отношении ИТ-департаментов.

Факторов, приводящих к такому положению дел, много, один из главных – отсутствие систематизированной документации по выстраиванию эксплуатационных процессов. Есть пара вводных статей Uptime Institute, которые дают представление о проблеме и путях ее преодоления. Но дальше необходимо выстраивать систему своими силами. А на это ресурсов и компетенций хватит далеко не у каждого бизнеса.

Между тем, даже небольшая систематизация процессов управления по лучшим отраслевым практикам всегда дает отличный результат в том, что касается повышения отказоустойчивости инженерных и ИТ-систем.

Кейс: через тернии к относительному порядку

Проиллюстрируем на примере реализованного проекта. К нам обратилась крупная международная компания с сетью собственных дата-центров. Запрос был на помощь в оптимизации процессов управления тремя площадками, где на серверах развернуты ИТ-системы и приложения, абсолютно критичные для бизнеса.

Компания недавно прошла аудит головного офиса и получила список несоответствий корпоративным стандартам с предписанием их устранить. Для этого в качестве консультанта привлекли нас как носителя отраслевых компетенций: мы развиваем собственную систему управления ЦОДами и ведем просветительскую работу о роли качества эксплуатационных процессов уже несколько лет.

Началось общение с командой клиента. Специалисты хотели получить выстроенную систему эксплуатации инженерных систем ЦОДов, зафиксированную в документации по процессам мониторинга, обслуживания и устранению неполадок. Все это должно было обеспечить оптимизацию инфраструктурной составляющей с точки зрения непрерывности работы ИТ-оборудования.

И здесь началось самое интересное.

Познай себя

Чтобы оценить уровень работы ЦОДов с точки зрения соответствия стандартам, нужно знать точные требования бизнеса к ИТ-системам: каков уровень внутренних SLA, допустимый период простоя оборудования и т.д.

Сразу же выяснилось – ИТ-департамент не знает, что именно хочет бизнес. Не было внутренних критериев качества сервиса, не было и понимания логики устройства собственной инфраструктуры.

Коллеги просто не представляли, каково допустимое время простоя операций, завязанных на ИТ, каково оптимальное время восстановления систем в случае аварии, как устроена архитектура собственных приложений. Например, пришлось разбираться, будет ли критичным для работы приложения «падение» одного из ЦОДов, или в нем нет компонентов, влияющих на приложение.

Не зная таких вещей, рассчитать какие-то конкретные требования к эксплуатации невозможно. Клиент осознал проблему и усилил координацию между ИТ и бизнесом, чтобы выработать внутренние требования и наладить взаимосвязи для выстраивания работы.

Когда было достигнуто понимание архитектуры ИТ-систем, команда смогла суммировать требования к службе эксплуатации, подрядчикам и к уровню надежности оборудования.

Улучшения в процессе

Наши специалисты выезжали на площадки для оценки инфраструктуры, читали имеющуюся документацию, проверяли уровень соответствия проектов ЦОДов фактической реализации.

Отдельным направлением стали опросы ответственных сотрудников и их руководителей. Они рассказывали, что и как они делают в различных рабочих ситуациях, как устроены ключевые процессы эксплуатации инженерных систем.

После начала работ и знакомства со спецификой задачи клиент немного «сдал назад»: мы услышали просьбу «просто написать всю необходимую документацию», по-быстрому и без глубокого погружения в процессы.

Однако правильная оптимизация управления «инженеркой» ЦОДа предполагает выполнение задачи научить людей правильно оценивать процессы и писать под них уникальную документацию исходя из специфики конкретного объекта.

Придумать рабочий документ за конкретного начальника участка службы эксплуатации невозможно – если только не проработать в паре с ним на площадке безотрывно несколько месяцев. Поэтому такой подход был отклонен: мы находили лидеров на местах, которые были готовы учиться сами и вести за собой подчиненных.

Объяснив алгоритм создания документов, требования к их содержанию и принципы организации экосистемы инструкций, шесть последующих месяцев мы контролировали процесс детального написания документации и поэтапный переход персонала к работе по-новому.

Далее последовал этап первичной поддержки работ по обновленным регламентам, который в удаленном формате продолжался один год. Затем мы перешли к тренингам и учениям – единственный путь закрепления нового материала на практике.

Что сделано

В процессе работ нам удалось решить несколько серьезных вопросов.

Прежде всего, мы избежали ведения двойной документации, которой опасались сотрудники клиента. Для этого соединили в новых регламентах нормативные требования, применяющиеся к различным инженерным системам стандартно (электрика, охлаждение, контроль доступа), с отраслевыми best practices, создав прозрачную структуру документации с простой и логичной навигацией.

Принцип «просто найти, просто понять, легко запомнить» дополнился тем, что новая информация привязывается к старому опыту и знаниям сотрудников.

Далее мы перетряхнули штат инженеров службы эксплуатации: несколько человек оказались полностью неготовыми к переменам. Сопротивление некоторых успешно преодолевалось по ходу проекта через демонстрацию преимуществ, но определенный процент сотрудников оказался необучаем и невосприимчив к новому.

Но нас удивило легкомысленное отношение компании к своей ИТ-инфраструктуре: от отсутствия резервирования критичных систем до хаоса в структуре и управлении.

За 1,5 года процессы управления инженерными системами были прокачаны до уровня, который позволил специалистам компании успешно отчитаться «за качество» перед аудиторами из головного офиса.

При поддержке темпов развития эксплуатационной составляющей компания сможет самостоятельно пройти любую существующую сертификацию ЦОДов от ведущих международных агентств.

Выводы

В целом перспективы консалтинга в сфере операционного управления дата-центрами, по нашему мнению, самые яркие.

Процесс цифровизации экономики и госсектора идет полным ходом. Да, сейчас будет много корректировок запуска новых проектов и планов по развитию старых, но сути это не изменит – эксплуатацию нужно улучшать хотя бы для повышения КПД уже построенных площадок.

Главная проблема здесь: многие руководители не понимают, по какому тонкому льду они идут, не уделяя этому моменту должного внимания. Человеческий фактор по-прежнему остается главным источником самых неприятных аварий и сбоев. И это нужно объяснять.

Государственные проекты в сфере дата-центров также становятся более актуальны сейчас и требуют повышенного внимания с точки зрения эксплуатации: сфера государственных ИТ-систем растет. Здесь также потребуется разработка и ввод системы стандартизации и сертификации площадок.

Когда требования к государственным ЦОДам в РФ на уровне законодательного акта будут сведены в стандарт, его можно будет применять и для коммерческих дата-центров, в том числе и для размещения государственных ИТ-ресурсов.

Работы по этому направлению ведутся, мы участвуем в этом процессе в рамках консультаций с Минцифры и наращивая компетенции по преподаванию на курсах по эксплуатации дата-центров в АНО ЦОД. Опыта по таким задачам в России не много, и мы считаем, что должны им делиться с коллегами и клиентами.

Тарас Чирков, руководитель ЦОД Linxdatacenter в Санкт-Петербурге

Константин Нагорный, главный инженер ЦОД Linxdatacenter в Санкт-Петербурге

0
25 комментариев
Написать комментарий...
Денис Бойцов

Мне кажется, ситуация, когда ИТ-департамент не знает, чего хочет бизнес, довольно типовая в компаниях

Ответить
Развернуть ветку
Ася Шабалина

Типовая, но от того не менее пугающая 😅

Ответить
Развернуть ветку
Владимир Шабалин

А ещё - "клиент немного сдал назад". Так и вижу тут почти любого...

Ответить
Развернуть ветку
Oleg Gorbatov

Государственные стандарты... Сколько о них уже говорится... Хотя сейчас может быть процесс ускорится...

Ответить
Развернуть ветку
Linxdatacenter
Автор

Мы верим в лучшее :) И именно для того, чтобы процесс ускорить, говорим об этом в публичном поле.

Ответить
Развернуть ветку
Ася

В общем-то логично, что коммерческие дата-центры лучше других игроков следят за качеством своей инфраструктуры и процессов. Просто для них хранение - это продукт, а не функция. Вы очень многого требуете от компаний, которые на этом не специализируются :)

Ответить
Развернуть ветку
Linxdatacenter
Автор

Мы не требуем, мы фиксируем факт :)

Ответить
Развернуть ветку
semen matrasov

Как начнут серваки изымать под СОРМ и тд

Ответить
Развернуть ветку
Павел Житнюк

Монетизация такого консалтинга для ЦОДов как дополнительный источник дохода - имеет смысл такое направление бизнеса для вас?

Ответить
Развернуть ветку
Linxdatacenter
Автор

Этот сервис мы и предлагаем как коммерческую услугу :)

Ответить
Развернуть ветку
Kseniya

А есть ли уже достаточно вменяемо сформулированные и прописанные требования к управлению процессами в ЦОД? По-моему, нет ни одного ISO на эту тему. Возможно, в этом и проблема, что игрокам рынка приходится "на коленке" сейчас изобретать всю нормативную инфраструктуру по этому вопросу

Ответить
Развернуть ветку
Linxdatacenter
Автор

Есть вводные статьи на эту тему от Uptime Institute, но они дают начальные ориентиры в данном направлении, и только. А вот полноценную систему процессов под конкретный ЦОД нужно выстраивать самостоятельно.

Ответить
Развернуть ветку
Linxdatacenter
Автор

Дополним. Существуют 3 стандарта, которые касаются вопросов эксплуатации:
Tier Certification Operational Sustainability
EN 50600 Information Technology – Data Centre Facilities and Infrastructures. EN 50600 -3-1
BSCI 002-2010
И есть даже ГОСТ Р 58812-2020, который, на самом деле, является немного измененным переводом EN 50600 -3-1

Ответить
Развернуть ветку
Айгуль Ширяева

Человеческий фактор - всегда и везде :)

Ответить
Развернуть ветку
Linxdatacenter
Автор

Верно, но как раз такие проекты позволяют человеческий фактор минимизировать.

Ответить
Развернуть ветку
Оксана Гришина

Интересный кейс! К слову, на практике действительно все чаще встречается, что многие не знают свои же ключевые показатели, оттого и полное непонимание, что делать...

Ответить
Развернуть ветку
Linxdatacenter
Автор

Так и есть, но именно те, кто все же работает над ошибками, вырываются в лидеры.

Ответить
Развернуть ветку
Ольга Мельниченко

Спасибо! Интересный кейс!

Ответить
Развернуть ветку
Linxdatacenter
Автор

Благодарим! Мы проделали действительно большую работу и решили делиться своим опытом :)

Ответить
Развернуть ветку
Дмитрий Ветров

Вы пишете, что потребовалось 1,5 года на прокачку процессов управления инженерными системами. Есть ли гарантии, что процессы эти не откатятся "назад" без вашего дальнейшего участия?)

Ответить
Развернуть ветку
Linxdatacenter
Автор

.

Ответить
Развернуть ветку
Linxdatacenter
Автор

Для этого разрабатываются документация и инструкции, которые подразумевают регулярный тренинг и проверки персонала, чтобы приобретённые навыки и выработанные стандарты работы не были утрачены :)

Ответить
Развернуть ветку
Парень

Скоро ЦОДы сами начнут оптимизироваться, лицензии не продлить!

Ответить
Развернуть ветку
Andrew Simon

"Далее мы перетряхнули штат инженеров службы эксплуатации: несколько человек оказались полностью неготовыми к переменам."

В соседней статье про ВБ тоже оказались неготовыми к изменению рабочего дня с 12 до 14 часов.

Ответить
Развернуть ветку
Linxdatacenter
Автор

Мы пошли еще дальше и 12-часовой рабочий день увеличили до 24 часов, работать сутки через трое гораздо удобнее.

Ответить
Развернуть ветку
22 комментария
Раскрывать всегда