Тест сервера на «Эльбрусе-8СВ»: результаты и впечатления от отечественного процессора
Сейчас как никогда важно иметь план «Б», поэтому взяли на изучение «Эльбрус-8СВ». В тексте — результаты и выводы о потенциале такого решения для наших дата-центров. С фото!
Привет! Меня зовут Максим, я работаю тестировщиком оборудования в Selectel Lab. Недавно взял на тест отечественный процессор «Эльбрус-8СВ». Он шел в комплекте с материнской платой «2Э8СВ-EATX» производства компании МЦСТ.
В рамках задачи собрал тестовый сервер произвольной конфигурации, установил операционную систему, настроил сеть и провел бенчмарк-тест. Подробнее об опыте в цифрах и нюансах рассказываю ниже. А здесь делюсь основным выводом.
Пока использовать отечественное «железо» непросто: слишком много препятствий.
Чтобы работа на «Эльбрусе» была удобной для конечного пользователя, нужно вложить много сил и времени. Например, придумать, как автоматизировать процессы, перекомпилировать необходимые программы, решить, как обойти существующие ограничения. Без катастрофической надобности эти вложения не будут оправданы.
Оговорюсь, что «Эльбрус 32-С» уже более реалистичен для использования в дата-центрах. Скорее всего, «допилят» и ПО. Но смогут ли его произвести по 7-нм процессу? Это вопрос будущего. Компания МЦСТ основана в 1992 году, а Intel — в 1968. Возможно, отечественная компания еще сможет нагнать конкурентов.
Далее будет базовый обзор. Возможно, он не такой подробный и щепетильный, каким мог бы быть. Нашей основной целью была быстрая оценка потенциала сервера на «Эльбрусе» в дата-центрах Selectel.
Навигация по обзору:
Сборка тестовой конфигурации
К нам в лабораторию приехала исключительно плата с процессором (процессор впаян в плату, без возможности апгрейда материнской платы) без радиаторов, вентиляторов и корпуса. Поэтому собирали кастомный сервер на «Эльбрусе».
В итоге тестовый конфиг выглядел так:
Корпус: 2U NVMe
- Процессор: «Эльбрус-8СВ»
- Матплата: «2Э8СВ-EATX»
- RAM: 8 шт. DDR4 32 ГБ 2933 МГц ECC Reg DIMM (MTA36ASF4G72PZ-2G9J3) Micron
- SSD: 1 шт. Micron 5300 Pro 1 ТБ
- HDD: 1 шт. ST4000NM0035 Seagate 4 ТБ
- SSD: Samsung 480 ГБ MZ7LH480HAHQ
- SSD: Intel 240 ГБ S4510
Для отвода тепла подошли радиаторы Intel BXSTS100A c активным охлаждением. Корпус взяли на два юнита от Supermicro 825TQ-R720/R740, так как изначально хотели добавить в конфиг GPU и NVMe. Правда, план не увенчался успехом.
Для тестирования показателей IOPS подключили HDD- и SSD-диски. Под руку попались ST4000NM0035 Seagate 4 ТБ и Micron 5300 Pro 1 ТБ. Эти диски проходили испытания по тестовым кейсам, поэтому были выбраны для сравнения показателей с другими тестовыми конфигами.
В надежде, что мы сможем протестировать SSD NVMe-накопители, подключили PCIe NVMe Host Bus Adapter AOC-SLG3-4E4T, но система NVMe-диски не увидела. То же самое случилось с SSD Samsung 970 EVO Plus NVMe M.2. Речь здесь об операционной системе «Эльбрус». Как работает сборка на других ОС, опишу ниже.
Установка операционной системы
Сначала решили установить нативную ОС «Эльбрус» на архитектуре e2k. Система ставится как с USB-носителя, так и c DVD. Также есть возможность установки по сети (PXE).
BIOS в системе нет, но есть его аналог — «Загрузчик», или boot. По факту, это оболочка, принимающая команды и параметры через командную строку.
Для работы в дата-центре это минус. Обычно первичная настройка платформы производится в BIOS, в том числе и Baseboard Management Controller (BMC). Операционная система устанавливается уже позже. Грубо говоря, при заказе выделенного сервера.
В случае сервера на «Эльбрусе», чтобы настроить BMC, сначала нужно установить «родную» ОС или другую систему, подходящую под архитектуру e2k.
А теперь представьте: в дата-центр поступило 100 серверов на «Эльбрусе». Как будем настраивать BMC? Правильно, сначала будем ставить ОС с флешки на каждый сервер и только потом настраивать BMC. Уйдет, мягко говоря, много времени. Есть конечно вариант с PXE-сервером, что немного облегчит задачу, но BMC придется настраивать все равно «руками» через ОС.
Остринки добавляет то, что мануалов по настройке BMC нет. И тут начинаются «танцы с бубном».
Как писал выше, настройка осуществляется только после установки ОС. Все из-за того, что в системе нет BIOS и на данной плате не реализован «мост» между интерфейсом BMC и «Загрузчиком» (аналогом BIOS). Подключение ноутбука напрямую в Ethernet-порт BMC результатов не дало. Достаю второй бубен.
После консультаций со специалистами МЦСТ получилось настроить BMC. Для этого соединил порты BMC и eth0 перемычкой патч-кордом, поднял DHCP-сервер на интерфейсе eth0 и указал пул из одного нужного нам IP-адреса. После этого BMC получил нужный нам адрес, а у нас появился доступ к веб-интерфейсу BMC.
Настройку BMC специалист дата-центра может производить только с ноутбука непосредственно в серверной, это не очень удобно. Работу системных инженеров с серверами стараемся максимально автоматизировать — так мы готовим серверы гораздо быстрее и исключаем возможные человеческие ошибки.
Настройка сети
Настройка сети схожа с настройкой в других Linux-системах.
Обзор операционных систем для e2k
Сделаю отступление и расскажу про подходящие операционные системы. Сейчас есть четыре ОС, которые поддерживают архитектуру e2k. Мы попробовали установить все.
ОС «Эльбрус». Установилась с USB, число программных пакетов — 1 256 шт., GUI неприветливый. Сетевой репозиторий отсутствует, только локальный. Тестовой версии ОС не предусмотрено — в комплекте с материнской платой и процессором не идет.
АLT Linux. Установка производилась с USB-носителя, интерфейс приятнее, чем в ОС «Эльбрус», количество пакетов — 17 211 шт. Также ограничено своим репозиторием, но уже имеет гораздо большее количество пакетов для разработки — например, Java, которого нет на ОС «Эльбрус». Также из преимуществ — наличие сетевого репозитория. Для записи на USB в комплекте к ОС идет скрипт.
Astra Linux 8.1, релиз «Ленинград». Установка не удалась. Причины уточняем у разработчиков ОС.
ЗОСРВ «Нейтрино». Дистрибутив ОС нам не предоставили, пояснив, что ЗОСРВ «Нейтрино» и ЗОСРВ «Нейтрино-Э» нечасто применяется на серверах. В отличие от, например, бортового промышленного оборудования, решающего задачи в режиме реального времени. По заявлению производителя архитектуру e2k данная ОС поддерживает.
Программы под ОС «Эльбрус»
Возвращаемся к нашей конфигурации. После настройки платформы добрались до самой ОС «Эльбрус». Здесь сразу же столкнулись с тем, что сетевых репозиториев нет, и стек скомпилированных программ под архитектуру e2k ограничивается одним DVD-диском, идущим в комплекте с операционной системой. В нашем комплекте оказалось 1 256 программ, со списком можно ознакомиться по ссылке. Все, что потребуется сверх этого списка, придется «пересобрать» или написать самим.
Для решения задачи совместимости с ПО для платформы x86 в МЦСТ разработали проприетарный бинарный транслятор. Он работает в двух режимах, чем-то напоминающих гипервизор. Первый реализован в Lintel, второй — в «RTC». Последний работает под управлением уже запущенной операционной системы.
В приложенном списке мы не увидели Docker, Prometheus, Java и еще очень многих пакетов, необходимых для нормальной работы сервера в дата-центре. На данный момент на e2k реализована только одна СУБД — PostgreSQL, которая будет работать вне режима бинарной трансляции. Остальные СУБД и ПО, которого нет в комплекте с ОС, можно запустить только через бинарный транслятор. Чтобы перекомпилировать отсутствующие инструменты для «Эльбруса», потребовалась бы целая команда.
Из плюсов: есть необходимые пакеты для разработки ПО, Python, Git, библиотеки и компиляторы от МЦСТ.
Подготовка к тестам
Для проведения тестов мы использовали бинарный транслятор приложений «RTC» и дистрибутив Ubuntu 22.04.
Существенный минус «RTC»: производительность, которой и так немного, будет ограничена. По тестам из разных источников она падает до 30% в зависимости от ПО.
С дистрибутивом тоже пришлось помучиться. После развертывания Ubuntu-server 20.04 x86 возникла проблема с системным временем. Происходит отставание системного времени от реального. Для серверного оборудования это критично. Есть предположение, что это из-за системы бинарной трансляции.
Из подключенных 32 планок RAM используется только 3. По информации от МЦСТ в режиме бинарной трансляции используется только один КПИ (можно посмотреть на схеме).
Соответственно, вся периферия, завязанная на КПИ_1, в этом режиме работать не будет.
Результаты бенчмарк-теста
Мы провели бенчмарк-тест Geekbench5 в режиме бинарной трансляции и получили такие результаты:
Видно, что пока «Эльбрус» в режиме бинарной трансляции пытается догнать по показателям AMD Ryzen 5 2400G. Но это десктопный процессор, релиз которого произошел в феврале 2018 года. О конкуренции с современными серверными процессорами речи пока не идет.
Также «Эльбрус» догоняет по бенчмаркам (и даже перегоняет по image compression) Intel Xeon E3-1225, выпущенный в 2014 году. Сравнение с ним на картинке ниже.
Более подробно по ссылке. Кстати, с каким серверным процессором сравнили бы вы «Эльбрус-8СВ»?
Эпилог
Как можно понять по результатам тестов, на данный момент препятствий для использования «Эльбрус-8СВ» в дата-центрах Selectel более, чем достаточно. В будущем постараемся протестировать «Эльбрус» другим софтом, написанным под архитектуру e2k.
Надеемся, что появится поддержка NVMe и современных GPU. И что МЦСТ будет развиваться, чтобы далее мы смогли использовать эти решения в повседневных задачах.
Подпишитесь на блог Selectel, чтобы не пропустить новые обзоры, новости и кейсы из мира IT и технологий.
Читайте также:
На мой взгляд, нет никакого смысла поддерживать ПЛОХИЕ решения.
Использование Эльбруса это усложнение разработки при прочих равных. А это вообще вектор в другую сторону, когда идёт либерализация ИТ в мире.
Более того, я считаю, что нужно рублем заставить работать наших нормально. Тупо не нужно покупать мусор.
Или делайте нормально, или не делайте вообще.
Нужно отказываться от вечных страданий по Достоевскому.
Иначе это будет длиться вечно.
Не знаю как другие, а я падать в качестве и удобстве при увеличении стоимости не хочу.
Комментарий недоступен
Скорее всего, всё придёт к банальному серому ввозу. Это выглядит пока ещё проще, чем переписывать всё под Эльбрусы.
10 серверов привезти проблемы нет. А 10 тысяч? Если по 10 серверов за раз привозить, то один датацентр придётся очень долго оснащать вычислительными мощностями .
То есть у вас есть сомнения в возможности ввоза такого количества серверов, но нет сомнений в способности отечественного производства обеспечить таким же количеством аналогов этим серверам?
С эльбрусами проблема ещё хуже. Их даже выпускать негде. Причём, вангую, что как появится возможность их таки выпускать, то и появится возможность покупать другие процессоры. Хотя бы китайские.
Я также напомню, что сервер — это не только процессор. Где-то даже видяхи с HDD нужны, а там проблемы как бы не те же были.
И закупать не обязательно новые и не обязательно Intel.
А ОС с флэшки накатывать на эти 10 тысяч?
А в чем проблема? Объявляется тендер с приятной ценой, желающие притащить через турцию пару-тройку серваков в клечатой сумке всегда найдутся
2-3 тысячи серверов в клечатой сумке, я вас правильно понял?
Да. Всего-то нужно несколько сот человек, желающих заработать
Комментарий недоступен
Запустить-то не проблема. Непонятно, что с производительностью у Java. Собственно, в этом и проблема: именно на твоём софте может падать производительность, причём в разы. Либо, что ещё хуже, в чужом софте, который ты используешь.
Скорее всего, получим ситуацию, когда один x86/arm-сервер заменяет пачку серверов на Эльбрусе.
Комментарий недоступен
Есть разница между "казусы" и "переписывать весь софт, иначе будет тормозить". Те тесты, что сейчас есть в Интернете оптимизма не внушают. Даже в этом: Эльбрус, конечно, "догоняет", но в sqlite производительность, внезапно, резко падает. Нормально, да?
Да и опять же, где их делать? 90 нм на микроне? Это абсурд, производительность будет такая, что проще делать ДЦ на RPi. Без шуток, пара ввезённых x86-серверов будет заменять небольшой ДЦ.
Комментарий недоступен
Я это не всерьёз сказал. Никто не будет делать из RPi кластер. Как и делать крупные ДЦ на Эльбрусах за пределами некоторых госконтор. Потому что это абсурд.
Собственно, любое применение Эльбруса за пределами военки/пары других штук — подбор задачи под решение. Плохое решение.
и какая у неё производительность? тоже раз в 10 меньше чем на x86?
Есть одно глобальное решения. Все остальное это показуха которые никаких результатов не принесет. Работать или не работать разницы нет, все равно результатов не будет.
Комментарий недоступен
Нет, ну вы можете объяснить, какой смысл делать плохой продукт, который снизит конкурентоспособность и ухудшит условия в разных смыслах??
Я вам уверяю, люди и компании будут искать выход на лучшее. Через серый импорт или другие варианты. Сколько такого было в СССР??
А если не будут покупать, то смысл делать??
Делать нужно нормально, а не отправлять страну в каменный век.
Комментарий недоступен
В СССР импортировали высокотехнологичные станки и всё что нужно.
Это не вопрос того, что невозможно. Это вопрос желания.
А вообще, не нужно отрываться от глобальных рынков и других стран. И все будет нормально.
Вон китайцы и фармят глобальзацию, и обеспечивают суверенитет. Одно другому не мешает.
Одни мы не хотим жить как люди.
Ну ничего, Иран и Северная Корея помогут.
Комментарий недоступен
Это лишь ваше мнение, у меня мнение иное.
Лично я привыкать к плохому не собираюсь и всех к этому призываю.
Ваше право отправляться в каменный век, но не нужно остальных брать с собой.
Да и вообще, такие как вы не понимают НА СКОЛЬКО мы завязаны на глобальные технологии.
Например, обучение нейронных сетей. Даже просто на cpu, я уже не говорю про gpu.
А сколько есть других вещей?? Тысячи.
Ну хорошо, поставили всё в стране Эльбрус.
И что дальше??
Дружно в каменный век?? ИТ это не железку поставить.
Вон в статье написано что даже nvme поставить не удалось. О чём вообще можно говорить??
Комментарий недоступен
Я ещё раз говорю, я против развала международных отношений и за возврат в русло глобализации.
Сам по себе стратегический подход ущербен
Если и делать страьегическую безопасность то в глобальном плане с созданием глобальной компании, а не жить с вечным страданием.
Комментарий недоступен
Это вы меня пытаетесь убедить в том, что у меня нет выхода, а не я вас.
Я выходы вижу.
И что самое главное, вы никак не можете успокоиться в донесении своей позиции.
Вот увидите, пойдет время и я окажусь прав. Россия не сможет уйти от глобального русла. Эльбрус будет дерьмом и так далее.
То что я говорю - неизбежные и очевидные вещи.
Комментарий недоступен
кто не хотел тогда - захочет позже. Дай бог, чтобы возможность сохранилась.
Комментарий недоступен
Импорт высоких технологий это вопрос желания, но не СССР/России, а производителя. Сейчас технологии немножко дальше шагнули, чем во времена СССР и понятие высокотехнологичного оборудования несколько изменилось. Некоторые высокие технологии вообще одна-две фирмы в мире обеспечивают.
Ничего подобного. Например, можно договориться с компанией посредником в любой стране. Тебе за процент отстегнут любое оборудование.
Провести через завод страннок.
Через ИТ компанию сервера.
Было бы желание, и способ найдется.
Это работает с грузовиком Scania, но не с оборудованием которое пару десяток в год производят строго по проекту. Удачи купить ASML станок...
Это ваше мнение, у меня иное.
Это не мнения, это факты. Загуглите как Китай пытается заполучить станки ASML. Даже у них этого не получается.
Человек просто не в курсе реальноестей :)
Вы попробуйте топовый жунипер сейчас в РФ купить, убегаетесь
А вводить в эксплуатацию его кто будет? Компания посредник отстегнет сервисных инженеров фирмы-производителя?
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Тут дело не в категоричности, дело в реалистической оценки. На данный момент невозможно достигнуть результатов в этой сфере. Сейчас закрыт доступ даже к самым базовым технологиям, без них максимум, что можно производить это утюга и пылесоса из 90х.
Комментарий недоступен
У них не случайно ASML старые? Как они их будут чинить и обслуживать? И еще вопрос какие объёмы они смогут реализовать. Мне кажется что легче закупать через серый импорт, или какой-нибудь китайский хард.
Комментарий недоступен
Комментарий недоступен
Посидим у моря, подождём погоды (с)
Ни хрена не выстрелит, мы будем возить по параллельному импорту или каким иным способом технику(большей частью устаревшую) из других стран.
То есть, ваша логика такова, что если нет ничего кроме дерьма, будем хавать дерьмо, верно??
Нет логики сделать нормальный продукт, нет логики договориться и вернутся в глобальные рынки, нет логики создания прорывного инновационного продукта. Но есть типичная логика вечно хавать дерьмо и страдать.
Я вас верно понимаю??
а разве в России не так принято?
Есть процессоры АМД, Интел уже закупленные или ввозимые по серым схемам т.д. А вот процессоров Эльбрус нет и не предвидится, так как их производство остановилось из-за санкций (да и до них особенно не продвигалось).
У Ядра есть RISCV.
есть открытые архитектуры типа risc v а vliw на котором строится Эльбрус считается тупиковой ветвью в развитии процессоров