Как мы построили систему электропитания в ЦОД «Тушино»?

Цель коммерческого дата-центра — зарабатывать деньги. Все его составляющие подбираются исходя из этой задачи, а не ради достижения каких-то феноменальных технических показателей.

Если делать «как лучше», то потенциальный клиент поищет ЦОД с более низкими ценами. Если делать «как дешевле», то за сгоревшее в случае аварии клиентское оборудование придётся платить компенсацию. И так плохо, и этак нехорошо. Поэтому построение успешного коммерческого дата-центра всегда предполагает поиск компромисса.

ЦОД «Тушино»

ЦОД «Тушино» — типичный коммерческий проект. Это розничный дата-центр мощностью в полмегаватта, оказывающий разнообразные услуги как юридическим, так и физическим лицам. Клиент может арендовать уже установленное оборудование или разместить там собственное — серверы в настольном или стоечном исполнении, майнинг-фермы, системы искусственного интеллекта…

Отказоустойчивость ЦОД «Тушино» соответствует уровню Tier II, как и было запланировано. Этот уровень отвечает требованиям значительной части современного бизнеса. Соответствие уровню Tier II означает, что критически важные элементы ЦОД дублируются и в его энергетической инфраструктуре используются резервные источники питания. Уровень Tier III отличается от него только возможностью обслуживания и ремонта без остановки основного оборудования, причём стоит это удовольствие дополнительно 20-25 тыс. рублей в год.

Для немалой части пользователей эта разница может оказаться значительной. Допустим, клиент хочет хранить в дата-центре копии данных. Вероятность того, что их востребованность совпадёт по времени с ремонтом, настолько ничтожна, что рассматривать этот случай всерьёз вряд ли разумно.

Система электропитания ЦОД «Тушино»

Задача двух входящих линий была решена благодаря удачному расположению объекта: он находится на территории предприятия, где уже есть две входящих линии высокого напряжения от разных подстанций. Преобразование в среднее напряжение тоже осуществляется на оборудовании завода. Таким образом, на ЦОД приходит две параллельные линии по 10 кВ.

Преобразование среднего напряжения в потребительские 240–400 В производится на трансформаторной подстанции ЦОДа. За переключение между линиями отвечают автоматы ввода резерва, оснащённые моторными приводами. Вся процедура занимает чуть больше секунды.

Если слишком «повезёт» и одновременно отключатся обе входящие линии, то отдельный АВР запустит дизельный генератор. На это потребуется примерно 40 секунд, зато на одной заправке генератор обеспечит работу ЦОДа в течении 8 часов.

Для обеспечения ЦОД соляркой имеются два договора. Согласно их условиям, исполнители должны подвезти топливо через 4 часа после аварии. Этого времени достаточно, чтобы свои обязательства выполнила хотя бы одна из них.

Работу дата-центра в течение времени, необходимого для переключения на резервный источник, обеспечивает ИБП. В самом худшем случае это время составит не более минуты.

По сути, это и есть Tier II. Резервирование линий электропитания и ИБП осуществляется по схеме N+1, что предполагает наличие одного резервного элемента. Дизель-генератор подключён по схеме N, поскольку необходимости в резервировании в данном случае нет.

Распределительные щиты: вклад в экономию

В ЦОД «Тушино» установлено 13 распределительных щитов: девять для вводно-распределительных устройств и четыре для подключения нагрузки. Внимательный читатель наверняка заметил в этом странность: «нагрузочных» щитов почти вдвое меньше, чем «вводных».

Такая схема была выбрана ради экономии пространства в дата-центре. В щиты большого размера можно завести более трёх входящих линий. Таким образом, на один входной автомат приходится 36 отводных линий, каждая из которых защищена отдельным автоматом.

Сэкономленное место может быть использовано для установки клиентского оборудования. И будет приносить деньги.

Источник бесперебойного питания

Это вовсе не опечатка — в ЦОД «Тушино» действительно используется всего один ИБП — Eaton 93PM мощностью 120 кВ·А, работающий в режиме двойного преобразования. И этого вполне достаточно для обеспечения схемы N+1. Дело в том, что ИБП Eaton 93PM имеет модульную конструкцию.

К тому же, нельзя забывать про экономию места. ИБП Eaton 93PM наделён встроенной системой терморегулирования. Если потребуется, то его можно разместить даже вплотную у стены.

И, конечно, не последнюю роль играет простота эксплуатации и высокая функциональность. Для управления используется ПО Intelligent Power Management, позволяющее постоянно контролировать потребление энергии и оперативно реагировать на сбои в системе питания.

Простота Tier II с практической точки зрения обманчива. Оптимальная реализация этого уровня в каждом конкретном случае требует тщательного и взвешенного подхода.

Для ЦОД «Тушино» удачными оказались место, нестандартный подход к конфигурации распределительных щитов и один ИБП вместо трёх. Именно такое сочетание позволило предложить потенциальным клиентам конкурентоспособные цены и сделать бизнес успешным.