Как облачный провайдер хранит ваши данные

Уникальный фоторепортаж из московского дата-центра сервиса аренды инфраструктуры в облаке 1cloud. Оцениваем безопасность, эргономичность и крутость.

Хотя многие люди уже привыкли пользоваться облачными технологиями, мало кто задумываемся, где именно и как хранятся данные, которые они доверяют провайдеру.

Интересоваться этим полезно по двум причинам. Во-первых, это объясняет, на чем основаны доводы о безопасности облаков. Во-вторых, позволяет понять, как функционируют современные дата-центры — фундамент информационных технологий будущего.

Чтобы удовлетворить ваше любопытство, мы решили провести фотоэкскурсию по московскому дата-центру DataSpace, в котором размещается наше оборудование. Покажем, как выглядят системы безопасности ЦОД, серверные стойки и само железо.

Справка о компании. Сервис аренды виртуальной инфраструктуры 1сloud предоставляет услуги с 2012 года. Сервис начал работу в Петербурге, но со временем расширил географию. Сегодня оборудование размещается в четырех дата-центрах: Xelent, Dataspace, Ahost и beCloud. Первый находится в Санкт-Петербурге, второй — в Москве, третий — в Алма-Ате (Казахстан), четвёртый — в Минске (Беларусь).

Начнем знакомство с внешнего периметра дата-центра DataSpace.

Здание обнесено пятиметровым мелкоячеистым забором с вращающимися шипами сверху. Проходы на территорию закрыты полноростовыми турникетами. Рядом с ними стоят посты службы охраны.

Чтобы попасть на территорию, нужно предъявить бесконтактный ключ и пройти идентификацию личности на КПП. Если сотрудник забыл удостоверение, ему придется идти за ним домой.

Следующая преграда — бронированные шлюзовые кабины в зоне приема посетителей. В кабинах стоят считыватели карт доступа и сканеры отпечатка ладони.

Между кабинами можно увидеть две таблички Tier III. Dataspace — это первый дата-центр в России, который прошел три этапа сертификации Tier III от Uptime Institute.

Войти в помещения с критическим оборудованием и в машинные залы с железом клиентов ЦОД можно только после сканирования сетчатки глаза и использования электронного ключа.

На всей территории дата-центра ведется видеонаблюдение. В комплексе установлено более ста камер, записи с которых хранятся не менее пяти лет.

У нас большой объем оборудования, поэтому мы арендуем обычные стойки DataSpace целиком. Таким образом мы исключаем доступ к нашим серверам специалистов сторонних организаций.

В машинных залах дата-центра организованы холодные коридоры. Из них оборудование забирает воздух для охлаждения и выдувает его в сторону горячего коридора. Холодный коридор расположен отдельно от горячего, чтобы избежать перемешивания воздуха. Это позволяют сократить расходы на кондиционирование.

К слову, параметр энергоэффективности функционирования ЦОД DataSpace (этот параметр называется PUE) составляет 1,5. Он равен отношению общей мощности, потребляемой дата-центром, к мощности, потребляемой железом в стойках. Для сравнения, средний коэффициент PUE по Европе равняется 1,8.

Помимо кабель-менеджмента и холодных коридоров, достигнуть такого показателя энергоэффективности DataSpace помогает технология фрикулинга. ЦОД отключает чиллеры зимой и охлаждает машинные залы за счет холодного воздуха с улицы. Это позволяет значительно сократить траты электроэнергии и уменьшить счета за электричество.

Одно из наиболее заметных особенностей зала — заземление. Шина медная и подключена к внешнему контуру заземления, согласно требованиям ЦОД и стандартам безопасности труда. Работы по подключению оборудования к электросети и к шинам защитного заземления проводят только специалисты дата-центра.

Чтобы исключить перегрев оборудования из-за хаотичного распределения кабелей и просто навести порядок, кабели маркируются. Они размещаются в специальных лотках под потолком.

Часть проводов проложена под фальшполом, высота которого составляет 60 см. Фальшпол можно трансформировать, изменять расположение плит. Это позволяет при необходимости переставлять стойки с оборудованием.

В дата-центре двенадцать серверных залов площадью в 250 кв. метров каждый. Все они одинаковые и стоят на втором, третьем и четвёртом этажах. В каждом зале стоят примерно 88 стоек.

У каждого клиента дата-центра свои ключи от стоек с оборудованием. Дубликат есть у сотрудников DataSpace, поэтому если нужно сделать простую операцию с железом: заменить диск, переключить соединение, произвести реконфигурацию оборудования, необязательно направлять своего специалиста. Можно попросить об этом инженеров на месте — это нормальная практика.

На фото ниже — подъемный стол, на котором перемещают серверы, коммутаторы и другое оборудование. Без таких «тележек» никак — вес отдельных шасси с дисками может составлять десятки килограмм.

Посмотрим на само железо, чтобы понять, за что отвечает разное оборудование, как объединено между собой. Перечислим некоторые технические характеристики.

Начнем с системы хранения данных (СХД).

Это NetApp E2860. Рассчитана на 60 дисков, занято 30 слотов, сейчас там стоят 8-терабайтные накопители. Еще у нас есть более ранняя модель СХД — NetApp E2760. Это довольно медленные системы, потому они используются в качестве холодного хранилища — там лежат бекапы.

Еще одна из установленных СХД — NetApp FAS2554 с полкой расширения DS4246. В ней стоят SATA-диски в количестве 24 штук. Каждый из них имеет объем в 4 ТБ. Это хранилище тоже отведено под бекапы и «медленные» датасторы.

Сетевые коммутаторы Cisco UCS FI 6296. Это устройства, которые отвечают за подключение всех серверов в стойке к сетям 10GbE и Fibre Channel. Система имеет 48 фиксированных портов и слоты для трех расширительных модулей, каждый из которых добавляет еще 16 Ethernet-портов. Порты поддерживают технологию FCoE (Fibre Channel over Ethernet), которая позволяет переносить кадры Ethernet через FC.

К Cisco UCS FI 6296 подключаются серверные корзины Cisco UCS 5108 с блейд-серверами B200 M3, B200 M4 и B480 M5. В частности, модель B200 M3 имеет два 10-ядерных процессора Intel Xeon E5-2690 v2, а B200 M4 — два 20-ядерных процессора Intel Xeon E5-2698 v4.

СХД NetApp AFF300, специально оптимизированная для работы с SSD-накопителями. Над ней расположилась полка DS224С с двадцатью четырьмя SSD-дисками по 7,6 ТБ. Всего система NetApp AFF300 может обслуживать до 30 ПБ дискового пространства на быстрых «твердотельниках».

Управляют системой два 16-ядерных процессора Intel Broadwell-DE. Их частота составляет 1,70 ГГц. Каждый контроллер имеет четыре модуля оперативной памяти RDIMM ECC по 32 ГБ (это 128 ГБ в сумме). 120 ГБ выделено под кеш, а оставшиеся восемь — под энергонезависимую память NVRAM.

На фото выше — СХД NetApp FAS8040 с полками расширения DS2246. Это гибридные полки с SAS-дисками емкостью в 1,2 ТБ. Массивы серии FAS8000 тоже имеют многопроцессорные CPU от Intel и NVRAM. Они гарантируют уровень доступности системы не ниже 99,999%.

В этой СХД используются SSD-накопители, которые выступают в роли флеш-пула (flash pool).

И, наконец, в наших стойках стоят кластерные свитчи NetApp CN1610. Они используются для объединения контроллеров FAS8040, FAS8080, AFF300 в единый кластер СХД (Clustered ONTAP).