Фрикулинг 2.0: зачем строят дата-центры в скалах и вечной мерзлоте

Во время строительства дата-центра одна из важнейших задач — решить, как отводить тепло от серверных стоек, иначе долго ЦОД не проживет. Некоторые ИТ-компании ищут поддержку у природы — рассказываем, где и как за охлаждение серверов отвечают ледяные озера и вечная мерзлота.

Дата-центры Яндекса

Скорость и безопасность работы серверов в любом дата-центре зависят от системы охлаждения. Ее мощность должна быть выше, чем суммарная мощность всего оборудования. Стандартный показатель эффективности ЦОД — коэффициент эффективности использования энергии (Power Usage Effectiveness, PUE): отношение общей мощности, потребляемой дата-центром, к мощности, потребляемой его оборудованием. Чем ниже коэффициент — тем выше эффективность. Разберем на примерах нескольких дата-центров, как организовано охлаждение с помощью природных условий.

Дата-центр в норвежских фьордах

Норвежский Lefdal Mine Datacenter может похвастаться одним из самых низких коэффициентов PUE в мире — менее 1,1, а его суммарная потребляемая мощность при этом составляет около 200 МВт.

Построенный на месте заброшенной угольной шахты, он стал «образцово-показательным» с точки зрения экологии благодаря своему расположению рядом с холодным фьордом.

Прилегающий фьорд глубиной 565 метров обеспечивает постоянную подачу в ЦОД холодной морской воды — она забирается с глубины 80 м и откачивается на уровне моря. Температура — 7,5°С. Причем на доставку воды для системы охлаждения энергии не тратится совсем, так как штольни расположены ниже уровня моря. Нагретая до 12°С вода поступает обратно, а морские течения уносят ее, так что никакого вреда и загрязнения нет.

Схема системы охлаждения. Источник: https://www.lefdalmine.com/wp-content/uploads/2016/05/cooling.jpg

Cтабильный и достаточный запас энергии с нейтральным выбросом CO2 для дата-центра обеспечивает подключение к нескольким близлежащим гидроэлектростанциям. К тому же в Норвегии исторически были самые низкие цены на электроэнергию.

Рудник Лефдаль (Lefdal Mine) находится в Норвегии в регионе Вестланн (до 2020 года — на территории Согн-ог-Фьюране, Sogn og Fjordane, между городами Молой и Нордфьордейд). Шахта состоит из шести уровней, разделенных на 75 камер, потенциальная площадь свободного пространства —120 000 м2 .

От входа в шахту начинается «Спираль» — подъездная дорога длиной 1300 м, шириной 14 м и высотой 8,5 м. По «Спирали» можно добраться практически до каждого уровня. Центральная дорога каждого уровня называется «Авеню», а свободные площади на каждом уровне этажа являются «Улицами» и различаются по глубине (в среднем 100 метров).

В Лефдале добывали минерал оливин, но его месторождение иссякло ещё в конце ХХ века. Идею создать здесь дата-центр озвучивали много раз. Однако проект развивался медленно — менялись собственники, ответственные, партнеры. Строительство дата-центра началось только в середине 2015 года и заняло два года.

3D-тур по дата-центру. Источник: https://www.lefdalmine.com/360-tour-2/

Создатели Lefdal Mine были далеко не первыми, кто использовал фьорды для охлаждения. Ещё в 2011 году внутри горы на краю Букна-фьорд возвели ЦОД Green Mountain. Принцип работы системы охлаждения был схожим, однако показатели эффективности не столь впечатляющими.

Чем глубже — тем холоднее

В Швейцарии тоже «привлекли» природные ресурсы к охлаждению. В регионе Бернер Оберланд в Альпах в скальном массиве расположены в 10 км друг от друга два дата-центра Mount10 — Swiss Fort Knox I и Swiss Fort Knox II. Для охлаждения всего оборудования высокопроизводительная система использует здесь подземное озеро.

Серверы спрятаны в изолированном и труднодоступном месте в самом центре Европы. Имя дата-центра перекликается с названием базы в американском штате Кентукки, где находится одно из наиболее известных в мире хранилищ золота — понятный намек на то, какой ценностью являются данные.

Дата-центр в Швейцарии. Источник: https://mount10.ch/en/mount10/swiss-fort-knox/
Дата-центр в Швейцарии. Источник: https://www.mount10.ch/image/1024/1024/2/324/_MHS5084.jpg

Память в вечной мерзлоте

В 2017 году на месте отработанных угольных шахт на Шпицбергене был создан Всемирный арктический архив (Arctic World Archive). Хранилище расположено глубоко внутри горы — на глубине до 300 метров — на одном из островов архипелага. Здесь хранится коллекция цифровых артефактов и информации со всего мира, которую предоставили более 15 стран. В архиве нашлось место для рукописей из библиотеки Ватикана, шедевров живописи разных эпох, в том числе Рембрандта и Мунка, описаний научных открытий и современных культурных ценностей. Гарантом сохранности данных выступает вечная мерзлота: даже если в архив перестанет поступать электричество, температура внутри останется ниже температуры плавления — времени хватит как минимум на десятилетие.

Более того, специально для арктического дата-центра была разработана особая система хранения информации — носитель piqlFilm. Он будет доступен даже через тысячу лет, так как не зависит от текущего уровня технологий. Данные записываются на долговечную светочувствительную пленку в формате, похожем на QR-код. В будущем для чтения информации можно будет использовать специальные сканеры или иные устройства. По заверениям разработчиков, носитель на базе этой технологии может выдерживать экстремальное электромагнитное воздействие, так как прошел обширные испытания надежности и доступности информации на нем.

Среди «клиентов» арктического архива можно найти, например, GitHub, который разместил 6 тыс. своих наиболее важных репозиториев на неограниченный срок. Благодаря этим данным можно изучать эволюцию технологий и программного обеспечения: коллекция включает исходный код для операционных систем Linux и Android; языки программирования Python, Ruby и Rust; веб-платформы Node, V8, React и Angular; криптовалюты Bitcoin и Etherium; инструменты для разработки искусственного интеллекта TensorFlow и FastA.

Arctic World Archive. Источник: https://arcticworldarchive.org/assets/vault.jpg

Если нет под боком фьорда или ледника

Яндекс в своих дата-центрах тоже использует концепцию фрикулинга — то есть охлаждение происходит за счет окружающей среды. В них нет сложного холодильного оборудования: серверные стойки охлаждаются уличным воздухом круглый год благодаря особому дизайну оборудования и всего ЦОДа.

Энергия в такой системе расходуется только на работу приточных вентиляторов. Через фильтры они набирают уличный воздух в холодный коридор, затем этот воздух проходит через стойки, нагревается и собирается в коллекторе. После этого часть выводится наружу вытяжными вентиляторами, а часть смешивается с воздухом снаружи — так температура держится на стабильном уровне. При температуре выше 20°С удаляется весь горячий воздух. Между воздушными массами, чтобы они двигались в нужном направлении, создаются перепады давления — например, регулируются вентиляторы притока и вытяжки и настраиваются балансировочные клапаны между горячими коридорами и горячим коллектором.

В итоге в дата-центрах в Сасово и Владимире коэффициент PUE находится в пределах 1,05-1,07, то есть эффективность использования энергии крайне высока.

Система охлаждения в дата-центрах Яндекса

Подписывайтесь на блог Yandex Cloud, чтобы узнавать еще больше новостей и историй об IT и бизнесе.

Другие истории, которые активно читают наши подписчики:

0
33 комментария
Написать комментарий...
чертов бадминтон

... а бэкап сервер поставим здесь

Ответить
Развернуть ветку
Slava Itprofi
Ответить
Развернуть ветку
Миша Магадан

т.е. они выбрасывают тепло в атмосферу и называют это эффективным использованием?

Ответить
Развернуть ветку
Arkadiy K

Почему сразу в атмосферу? Норги со скандинавами сливают в воду 😂
А вообще да, странно что эти кейсы приводятся как что-то супер-эффективное, хотя компании всего лишь не тратятся на кондиционирование. Но как минимум можно было бы использовать дармовое тепло для подогрева горячей воды.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Arkadiy K

Возможно финны захотели поучаствовать в новомодной забаве - активы "все по 500 рублей"

Ответить
Развернуть ветку
Миша Магадан

А в воду это типа "в космос"? :)

Ответить
Развернуть ветку
Arkadiy K
А в воду это типа "в космос"? :)

Это был сарказм. Да нет, также греют планету нахаляву под зелёными флагами.

Ответить
Развернуть ветку
Игорь Субботин

В гидросферу.

Ответить
Развернуть ветку
Игорь Субботин

Я думаю этому мешает территориальное противоречие: дата-центры строят в глуши, где много свободного места, дешёвая земля и нет или почти нет людей, а люди (потребители горячей воды) живут в городах, где и стоимость земли на несколько порядков больше, и согласовать всё гораздо сложнее.

Ответить
Развернуть ветку
John Doe

Фрикулинг? 🤔 Это какой-то тег для поиска видео на Порнхабе?

Ответить
Развернуть ветку
Bublikov Anton

Фрикулинг :( боже, Яндекс очень, очень афордабл

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Российский Крым

Отапливать вечную мерзлоту в странах где отопление занимает большую часть коммунальных платежей, где ходить дома зимой в теплом свитере это норма.И мы здесь восхищаемся прекрасным инженерным решениям. Люди, у вас всё в порядке с головой? Я не понимаю.

Ответить
Развернуть ветку
Max Payne

да сколько там тепла этого выделяется в час работы серверов? ну может на сарай хватит.

Ответить
Развернуть ветку
BblCMOPK HACMOPKA

Если разносить сарай на молекулы

Ответить
Развернуть ветку
Виктор Ягодин

Россия в этом плане обладает вообще безграничными возможностями с нашими городами за полярным кругом

Ответить
Развернуть ветку
чертов бадминтон

Ну, не безграничными. Как раз сейчас реализуются планы по расширению границ

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Максим Горький

у нас уже какие-то биткойнеры в Сибири сделали инновационный центр с 0 выбросов CO2 :)

Ответить
Развернуть ветку
Bublikov Anton

Не проблемка

Ответить
Развернуть ветку
Jeliare

Т.е. они меняют температуру воды от которой зависит жизнь окружающей фауны и ее обитателей и это типо норм?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
чертов бадминтон

Надо в котельной дата-центры строить... Точнее, стоить котельные поверх дата-центров. А то получается глупо: с одной стороны глобальный энергетический кризис, с другой - не знают, куда девать излишки тепла.

Ответить
Развернуть ветку
Российский Крым

Тупо теплицы теплым воздухом обогревать.

Ответить
Развернуть ветку
Jacov Borisov

Растить коноплю, ее сжигать, нагрев в электроэнергию.. почти вечный двигатель 🐸

Ответить
Развернуть ветку
Российский Крым

Но вечная мерзлота перестает быть вечной. Как это повлияет на экологию?

Ответить
Развернуть ветку
Николай Краснов

так вот откуда на самом деле глобальное потепление

Ответить
Развернуть ветку
One Man Brand

От припекания на серверах vc

Ответить
Развернуть ветку
Brain Juice

Молодцы, восхищаюсь европейскому и американскому подходу к современному подходу в плане IT

Ответить
Развернуть ветку
Максим Степанов - You Tube

В Якутии стоит овощная теплица, там тепла тратится уйма, все закладывается в стоимость овощей и они при этом в рынке, и если уж есть такая потребность в охлаждении, почему бы не найти его применение в тех же широтах на теплицах да и просто в обогреве домов

Ответить
Развернуть ветку
чертов бадминтон

Мы когда жили в Якутии, в каждом частном доме была своя теплица. Отапливалась тупо печкой. Что только не выращивали - огурцы, помидоры, редиску, укроп...

Ответить
Развернуть ветку
bill dubai

Потом будут удивляться глобальному "потеплению" и гретте тунберг 😁

Ответить
Развернуть ветку
30 комментариев
Раскрывать всегда