«Тополиный пух, жара, июль», или как этим летом работают кондиционеры ЦОДа

<i>Радиаторы и вентиляторы сплит-системы кондиционеров Stulz в ЦОДе Тушино</i> ITSOFT
Радиаторы и вентиляторы сплит-системы кондиционеров Stulz в ЦОДе Тушино ITSOFT
Иванушки International с песней “Тополиный пух, жара, июль” в этом году как никогда актуальны
Иванушки International с песней “Тополиный пух, жара, июль” в этом году как никогда актуальны

Начало заголовка статьи взято из песни группы “Иванушки International”, которая так и называется “Тополиный пух” – поставим значок авторских прав © и дадим ссылку на трек. В песне еще есть такие слова – “ночи такие теплые”.

Теплые не только ночи, но и дни. Недавно был побит температурный рекорд дня +34,8 градусов Цельсия. “Такой жары в июне за это время не было еще никогда”, – сообщили в Росгидрометцентре. Июль 2021 года не прохладнее. Так что нынешнее лето выдалось жарким, ну и тополиный пух присутствует как всегда, как же без него. В итоге центры обработки данных работают в довольно критическом режиме. Разберемся, как себя чувствует ключевое звено серверной – система охлаждения.

Итак по порядку. Сервер потребляет несколько сотен ватт энергии. Таких в телекоммуникационном шкафу десятки. Обычно расчет идет на стойку, на которую приходится в среднем 5 кВт. Хотя есть отдельные виды оборудования мощностью до 7 кВт на одно устройство. Тепла много и если есть проблемы с его отводом, то машинный зал встанет. О последствиях аварии лучше не говорить. Поэтому за кондиционированием воздуха в машинном зале система мониторинга следит очень внимательно. Датчики температуры настолько суровы чувствительны, что могут зафиксировать присутствие человека, который задержался у стойки.

<i>Температурный датчик в стойке серверной itsoft в Тушино</i>
Температурный датчик в стойке серверной itsoft в Тушино

Ниже на графике видно, что температура у конкретной стойки поднялась – это не оборудование в данный момент стало работать более интенсивно, это к стойке подошел инженер и проводит профилактические работы (он заслонил собой поток воздуха, ну и сам излучает тепло, примерно 100 Вт). Само оборудование нагревается более плавно и на графике не было бы такого скачка. Так что удаленно даже не по видеокамерам, а по диаграмме температуры можно понять – есть ли кто-то из теплокровных существ в машинном зале или нет.

<i>Диаграмма температуры одной из стоек</i>
Диаграмма температуры одной из стоек

Пример с инженером у стойки конечно же курьёзный, тем не менее он демонстрирует отношение владельца дата-центра к контролю температурных показателей.

Вот как выглядит сводка мониторинга температуры одного из участков – если нажать на изображение и увеличить его, то будет видна температура в горячих и холодных коридорах машинного зала. В холодном коридоре температура колеблется от +18 до +25, в горячем от +21 до +34 градусов Цельсия. Всё в пределах нормы.

<i>Мониторинг температуры в дата-центре ИТСОФТ в Тушино</i>
Мониторинг температуры в дата-центре ИТСОФТ в Тушино

Теперь перейдем непосредственно к кондиционерам, к жаре, июлю и пуху. Даем пример двух радиаторов, а точнее решеток воздухозаборников.

Кондиционер курильщика

«Тополиный пух, жара, июль», или как этим летом работают кондиционеры ЦОДа

Кондиционер здорового человека

«Тополиный пух, жара, июль», или как этим летом работают кондиционеры ЦОДа

Моем, чистим, драим

С тем, чтобы эффективная охлаждающая поверхность решетки радиатора соответствовала заявленным производителем параметрам требуется проводить профилактические работы. Необходимо периодически брать старый добрый Керхер и производить нехитрую операцию очистки радиатора от наслоений и пыли. Мы не подписывали рекламный контракт с этим производителем – возьмите любой другой моющий агрегат, главное – используйте обычную воду, без всяких шампуней и моющих средств, поскольку алюминий и медь, из которых изготовлены трубки и ламели (теплоотводящие пластины) радиатора не любят щелочь и со временем могут окислиться.

«Тополиный пух, жара, июль», или как этим летом работают кондиционеры ЦОДа

Ламели очень тонкие (десятые доли миллиметра), поэтому струю воды надо направлять перпендикулярно к ним, а не под углом, иначе они могут погнуться.

Процесс очистки выглядит просто, но крайне важен.

Еще немного кадров кондиционера Stulz:

<i><b>Боковина радиатора внешнего блока кондиционера Stulz</b></i>
Боковина радиатора внешнего блока кондиционера Stulz

Сбоку устройства видны 6 рядов трубок

<i><b>Вентилятор сплит-системы кондиционера ЦОДа Тушино. Горячий воздух – градусов под 45</b></i>
Вентилятор сплит-системы кондиционера ЦОДа Тушино. Горячий воздух – градусов под 45

Как работает трансформатор? – спрашивает учитель.
- У-у-у-у – отвечает ученик.

А мы покажем, как работает вентилятор.

Почему надо следить за внешней частью сплит-системы кондиционера? Все дело в том, что если она загрязнится/засорится, то давление во входном и выходном патрубках, по которым течет хладагент выйдет за пределы нормы и автоматика его отключит. Как говорится, “Аларма!”. Понятно, что система кондиционирования центра обработки данных имеет резервирование, но доводить до точки кипения (в прямом смысле до кипения хладагента) не надо.

Внутри. Машинный зал ЦОДа

Переходим с улицы в машинный зал. Вот что отображается табло. Там свежо, несмотря, что на улице “жара-июль”:

<i>Табло кондиционера</i>
Табло кондиционера
<i>Панель кондиционера Stulz</i>
Панель кондиционера Stulz

Обращаем внимание еще на пару моментов:

<i>Шторки в телекоммуникационном шкафу</i>
Шторки в телекоммуникационном шкафу

Временно незадействованные телекоммуникационные шкафы закрыты шторками дабы драгоценный холодный воздух не перетекал из соответственно холодного коридора ЦОДа в горячий коридор минуя оборудование.

А это решетки фальшполов. Обратите внимание, они имеют разный размер ячеек (назовем их так). Из-под фальшполов подается охлажденный воздух и размером ячеек можно регулировать степень охлаждения каждой зоны машинного зала. Поэтому проектирование и эксплуатация дата-центра – не тривиальная задача.

<i>Фальшпол</i>
Фальшпол
«Тополиный пух, жара, июль», или как этим летом работают кондиционеры ЦОДа

Случай из практики

В случае выхода из строя кулеров сервера его RAID-контроллер может разогреться до 75 градусов Цельсия и даже выше. Это нештатная ситуация и она случилась с оборудованием одного из клиентов. Аномальная температура блока была замечена заказчиком, поскольку он удалённо мониторил его параметр. Естественно первой реакций было недоумение – “Что у вас там, Сахара?”. Нет, не Сахара, просто вам надо отремонтировать сервер, кулеры которого не подтягивают нашу прохладу – у нас всегда 23 градуса.

Все снимки и видеоматериалы сделаны в дата-центре itsoft в Тушино в Москве. Сейчас в связи с пандемией экскурсии на объект приостановлены, но как только ограничения будут сняты – милости просим в гости. Ну, а заказчики могут прийти, как говорится без приглашения.

Мы нашли в решетке перышко. Орнитологи, что это за птица?

«Тополиный пух, жара, июль», или как этим летом работают кондиционеры ЦОДа

Дата-центр ITSOFT – размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME составляет 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.

22
18 комментариев

А можно еще добавить систему охлаждения туманом наружних блоков.

4
Ответить

Это уж слишком круто, давайте просто дешёвые шланги подключим и они просто лить на тротуар будут. Вот весело будет.

1
Ответить

Хорошее предложение.

Ответить

В иных местах есть график ППР, там кондеи выводят из эксплуатации, запускают резерв, моют, чистят и держат в резерве. Потом наоборот. А не моют на ходу керхером.

1
Ответить

Резерв есть. Это показательная порка, пардон чистка. Если вы заметили, то на решетке кондиционера нет ни одной пылинки. (Хотя вру - перышко мы нашли).

1
Ответить

Перышко, бобра.

1
Ответить

37,5 же был рекорд июня

Ответить