В поисках дата-центра, или как выбрать место для хранения самого ценного

В Москве существует около тридцати крупнейших ЦОД-провайдеров, которые предлагают компаниям 44 тысячи стойко-мест в 2020 году.

Как не заблудиться в разнообразии и выбрать надежный центр для хранения данных, рассказал руководитель отдела информационной безопасности и технической инфраструктуры музыкального сервиса «Звук» Константин Липаткин.

Представьте себе огромную антресоль, только вместо роликовых коньков и комплекта постельного белья от бабушки там важная информация, а вместо полок — серверы. Это ЦОД. Вместительный склад данных, где на специальных мощных компьютерах хранится самое ценное.

Такой центр необходим компаниям, для которых надёжность информационных систем, их максимальная степень готовности, отказоустойчивость и безопасность важны как воздух, а также критично наличие разнообразных каналов связи. Например, корпорации, эксплуатирующие сложные бизнес-приложения (ERP-, CRM-системы и другие), операторы услуг связи, банки, страховые и digital-компании, в частности, музыкальные стриминговые сервисы.

Размещение некритичных серверов небольших компаний и обслуживание вычислительной платформы облачного провайдера — разные задачи, требующие разного уровня компетенции. Поэтому сформулируйте цель и техническое задание перед тем, как приступите к анализу рынка.

Чтобы понять, какой вам нужен дата-центр, ответьте себе на следующие вопросы.

1. Какие задачи должен решать ЦОД?

2. Какой uptime (время непрерывной работы) подойдет под решение ваших задач?

3. Как быстро техподдержка должна реагировать на ваши запросы?

4. Сколько времени вы готовы тратить, чтобы добираться до ЦОД, где он должен быть расположен?

5. Какая пропускная способность каналов необходима?

6. Ограничены ли вы во времени: насколько оперативно хотите запустить фактическую работу ЦОДа?

Пользователи «Звука» получают контент и утилизируют каналы связи со средней скоростью в 25 Гбит/с, а это более 250 ТБайт данных в день.

Спойлер: в итоге мы выбрали ЦОД стандарта Tier 3 у компании 3data.

Дата-центры различаются по предназначению, размеру и надежности. Последняя измеряется стандартом Tier и разделяется на 4 уровня: Tier I, Tier II, Tier III, Tier IV. Это не аббревиатура, как может показаться сначала. Это характеристика того, насколько надежны ЦОД, а значит, защищены данные.

Критерий разработан организацией Uptime Institute для защиты вложений в строительство дата-центров. Стандартом предусматривается комплексный подход, при котором архитектура ЦОД рассматривается вместе с электроснабжением, оборудованием для охлаждения, телекоммуникациями и так далее.

Tier 1 считается базовым. Если в ЦОД обнаружены ошибки, наблюдаются перебои в работе, то он не функционирует. Стандарт был актуален на рубеже 60―70-х годов прошлого столетия, сегодня безнадежно устарел.

Tier 2 схож с Tier 1 тем, что ошибка в ЦОД приводит к прерыванию работы. Чтобы все снова заработало, нужен ремонт. И здесь дублируется только активное оборудование. Уязвимость в случае аварии остается. Возможны простои в пределах нескольких часов в год — на время проведения ремонтно-профилактических работ.

Tier 3 сильно отличается от двух описанных выше. Располагает резервными мощностями и двумя трубопроводами для охлаждения системы. Ведется полное резервирование инфраструктуры, повышается надежность. И главное — не нужно прерывать работу на время ремонта или профилактики. В 80% случаев современные компании в Москве выбирают именно Tier 3.

Tier 4 — это синоним максимальной защиты данных, которую можно гарантировать в настоящее время. В отношении этого стандарта прописаны требования по двойному резервированию и дублированию рабочей системы. В Москве сертифицированных ЦОД формата Tier 4 нет. Но разница между ним и Tier 3 — это 70 минут простоя в год, что не так существенно, по сравнению с разрывом между Tier 2 и Tier 3.

Подлинность сертификатов можно проверить тут.

1. Отказоустойчивость. Что это такое? Это отношение времени простоя к длительности года. Параметр, который говорит о степени защищенности оборудования. Чтобы ее обеспечить, нужно, чтобы питание подавалось через несколько вводов, которые приходят к ЦОДу различными трассами и не пересекаются на пути прокладки силовых кабелей.

• Tier I: время простоя 28,8 часов в год, коэффициент отказоустойчивости 99,671%;
• Tier II: 22,0 часа в год, 99,749%;
  
• Tier III: 1,6 часа в год, 99,982%;
  
• Tier IV: 0,4 часа в год, 99,995%.
  

2. Возможность проводить профилактические работы без полной остановки ЦОД

• Tier I и II: без остановки ЦОД провести такие работы нереально
• Tier III и IV: любая плановая деятельность осуществляется без нарушения нормального хода работы
  

3. Есть ли АВР — автоматическая система ввода резерва. В чем ее суперсила: если в одном из вводов питание по какой-то причине отключается, то переключение на другой ввод происходит автоматически. Магия. Но она обычно есть только в ЦОД с уровнем надежности Tier 3. Именно поэтому мы выбрали эту категорию — приятный плюс к обеспечению бесперебойной работы.

Но это еще не все.

Важно: времени на это должно уходить не более 45 секунд. Это в три раза дольше, чем при регламентных работах. Ровно столько нужно, чтобы сделать 3 попытки запуска дизеля в ручном режиме.

Процесс выглядит так: автоматика переключает с промежуточного питания (ИБП) на дизель-генераторную установку, которая способна без дозаправки обеспечить питанием ЦОД, при полной нагрузке машинного зала, на 15 часов.

4. ЦОД должен быть неприступным и надежным как крепость. Поэтому мы искали место с серьезной системой контроля доступа (СКУД) и видеонаблюдением со сроком хранения данных не менее 3 месяцев. Нам важна биометрическая система контроля, которая позволяет настраивать разные доступы, начиная от общего по идентификационной карте, до личного – идентификация по отпечатку пальца. Это позволяет разграничить права доступа сотрудников, плюс, избежать несанкционированного доступа посторонних.

К примеру, техническому специалисту компании «Звук», который обслуживает оборудование, достаточно общего доступа по карте, если его сопровождает инженер от поставщика инфраструктуры. А руководителю может потребоваться личный идентификационный, по отпечатку пальца.

5. Наличие огнетушителей, а лучше — система газового пожаротушения. Газ не имеет негативного воздействия на электрооборудование и прекрасно работает даже в труднодоступных помещениях.

6. Оперативная связь 24 на 7. Дистанционные инженеры, готовые прийти на помощь в любое время дня и ночи. Это сильно способствует моментальному решению возможных проблем.

7. Инфраструктура, позволяющая разместить оборудование в разных ЦОДах.

8. Оперативный старт работы. Мы хотели начать работу скорее, без бюрократических проволочек и сложных процедур заезда и размещения оборудования.

Не во всех случаях при увеличении уровня надежности Tier возрастает качество предоставляемых услуг. Поэтому классификация ЦОД — это не единственный критерий выбора и определения лучшего дата-центра.

Факты и цифры — это очень важно. Мы запрашивали и изучали схемы вводов силовых кабелей, каналов связи, резервирования систем инженерии. Но не менее важно лично приехать посмотреть на объект.

Во-первых, так проще удостовериться, что все соответствует действительности. Во-вторых, увидеть, как встречает подрядчик: насколько терпеливо и внимательно относится к вашим уточняющим вопросам и кропотливому осмотру помещения.

Мы выбирали дата-центр с перспективой минимум на три года и хотели быть на 100% уверенными, что с людьми будет приятно работать. (Спойлер: так и вышло).

Также для собственного спокойствия рекомендую заглянуть в журналы регламентных работ, чтобы увидеть, как часто проводятся проверки всех жизненно важных систем дата-центра, есть ли четкий регламент их поддержки и как распределены сферы ответственности между администраторами.

Как понять, насколько адекватна смета, которую показал вам потенциальный подрядчик? Цена зависит от объема данных, степени надежности и вида инфраструктуры. Например, крупные IT-корпорации платят до 1 млн долларов в месяц за различные сервисы и услуги.

В среднем стоимость аренды 1 юнита варьируется от 2 до 4 тысяч рублей. Аренда целой стойки — от 60 до 110 тысяч рублей. Минимальные значения, как правило, относятся к дата-центрам формата Tier 1 и Tier 2.

Если говорить про каналы связи, то стоимость подключения к интернету на скорости 10 Мбит/с без ограничения трафика — от 1 500 рублей до 5 000 тысяч. 100 Мбит/с — в пределах 10 000 рублей.

У сервисов, связанных с облачной инфраструктурой и ленточным хранением данных, диапазон цен за 1 TB в пределах 750 рублей, при запросах более 300 — 400 Tb.

В целом анализ рынка показывает, что цены держатся примерно на одном уровне уже на протяжении пары лет. Конкуренция и достаточное количество предложений заставляют провайдеров фиксировать цены, зарабатывая за счет увеличения объемов оказанных услуг, и заведомо идти на увеличение срока окупаемости проектов.

Вариант 1. Выбрать ближайшие дата-центры Tier 3 и расположиться на нескольких площадках, распределенных по городу. Таким образом получится минимизировать расходы на каналы связи удаленной ИТ-инфраструктуры и главного офиса, плюс, создать катастрофоустойчивое решение.

Вариант 2. Найти стойки нестандартных размеров, которые позволяют оптимизировать количество оборудования и сократить расходы на аренду дополнительного стойко-места. Арендовать и установить их нам помогли сотрудники 3data, за что им большое спасибо.

Вариант 3. Выбрать менее надежные дата-центры формата Tier 1 и Tier 2, но история так себе — на безопасности и надежности лучше не экономить.

Резервное копирование может не пригодиться никогда, а может спасти все. Эта функция позволяет восстановить данные в случае потери или порчи. Раз в несколько часов, каждые сутки или раз в неделю, — выберете периодичность и делайте бэкапы. Стоимость несущественная по сравнению с другими техническими решениями — 1 Gb/1 рубль. Но зато вы будете уверены, что данные всегда доступны и никогда не будут утеряны.

Что будет, если прогадать с выбором дата-центра? Если говорить о лайтовом сценарии, то компанию ждет временная потеря данных. В худшем случае – остановка всех бизнес-процессов на неопределенное время. Форс-мажор может спровоцировать отключение питания и вырубить компьютеры. В итоге: сайт виснет, бизнес теряет заказы, компания несет имиджевые потери.

Поэтому отнеситесь к вопросу хранения информации со всем вниманием и доверяйте проверенным компаниям с хорошей репутацией на рынке. Удачи!

P.S. Не парьтесь по жизни – парьтесь в бане!

#датацентр #серверы