Тест сервера на «Эльбрусе-8СВ»: результаты и впечатления от отечественного процессора
Сейчас как никогда важно иметь план «Б», поэтому взяли на изучение «Эльбрус-8СВ». В тексте — результаты и выводы о потенциале такого решения для наших дата-центров. С фото!
Привет! Меня зовут Максим, я работаю тестировщиком оборудования в Selectel Lab. Недавно взял на тест отечественный процессор «Эльбрус-8СВ». Он шел в комплекте с материнской платой «2Э8СВ-EATX» производства компании МЦСТ.
В рамках задачи собрал тестовый сервер произвольной конфигурации, установил операционную систему, настроил сеть и провел бенчмарк-тест. Подробнее об опыте в цифрах и нюансах рассказываю ниже. А здесь делюсь основным выводом.
Пока использовать отечественное «железо» непросто: слишком много препятствий.
Чтобы работа на «Эльбрусе» была удобной для конечного пользователя, нужно вложить много сил и времени. Например, придумать, как автоматизировать процессы, перекомпилировать необходимые программы, решить, как обойти существующие ограничения. Без катастрофической надобности эти вложения не будут оправданы.
Оговорюсь, что «Эльбрус 32-С» уже более реалистичен для использования в дата-центрах. Скорее всего, «допилят» и ПО. Но смогут ли его произвести по 7-нм процессу? Это вопрос будущего. Компания МЦСТ основана в 1992 году, а Intel — в 1968. Возможно, отечественная компания еще сможет нагнать конкурентов.
Далее будет базовый обзор. Возможно, он не такой подробный и щепетильный, каким мог бы быть. Нашей основной целью была быстрая оценка потенциала сервера на «Эльбрусе» в дата-центрах Selectel.
Навигация по обзору:
Сборка тестовой конфигурации
К нам в лабораторию приехала исключительно плата с процессором (процессор впаян в плату, без возможности апгрейда материнской платы) без радиаторов, вентиляторов и корпуса. Поэтому собирали кастомный сервер на «Эльбрусе».
В итоге тестовый конфиг выглядел так:
Корпус: 2U NVMe
- Процессор: «Эльбрус-8СВ»
- Матплата: «2Э8СВ-EATX»
- RAM: 8 шт. DDR4 32 ГБ 2933 МГц ECC Reg DIMM (MTA36ASF4G72PZ-2G9J3) Micron
- SSD: 1 шт. Micron 5300 Pro 1 ТБ
- HDD: 1 шт. ST4000NM0035 Seagate 4 ТБ
- SSD: Samsung 480 ГБ MZ7LH480HAHQ
- SSD: Intel 240 ГБ S4510
Для отвода тепла подошли радиаторы Intel BXSTS100A c активным охлаждением. Корпус взяли на два юнита от Supermicro 825TQ-R720/R740, так как изначально хотели добавить в конфиг GPU и NVMe. Правда, план не увенчался успехом.
Для тестирования показателей IOPS подключили HDD- и SSD-диски. Под руку попались ST4000NM0035 Seagate 4 ТБ и Micron 5300 Pro 1 ТБ. Эти диски проходили испытания по тестовым кейсам, поэтому были выбраны для сравнения показателей с другими тестовыми конфигами.
В надежде, что мы сможем протестировать SSD NVMe-накопители, подключили PCIe NVMe Host Bus Adapter AOC-SLG3-4E4T, но система NVMe-диски не увидела. То же самое случилось с SSD Samsung 970 EVO Plus NVMe M.2. Речь здесь об операционной системе «Эльбрус». Как работает сборка на других ОС, опишу ниже.
Установка операционной системы
Сначала решили установить нативную ОС «Эльбрус» на архитектуре e2k. Система ставится как с USB-носителя, так и c DVD. Также есть возможность установки по сети (PXE).
BIOS в системе нет, но есть его аналог — «Загрузчик», или boot. По факту, это оболочка, принимающая команды и параметры через командную строку.
Для работы в дата-центре это минус. Обычно первичная настройка платформы производится в BIOS, в том числе и Baseboard Management Controller (BMC). Операционная система устанавливается уже позже. Грубо говоря, при заказе выделенного сервера.
В случае сервера на «Эльбрусе», чтобы настроить BMC, сначала нужно установить «родную» ОС или другую систему, подходящую под архитектуру e2k.
А теперь представьте: в дата-центр поступило 100 серверов на «Эльбрусе». Как будем настраивать BMC? Правильно, сначала будем ставить ОС с флешки на каждый сервер и только потом настраивать BMC. Уйдет, мягко говоря, много времени. Есть конечно вариант с PXE-сервером, что немного облегчит задачу, но BMC придется настраивать все равно «руками» через ОС.
Остринки добавляет то, что мануалов по настройке BMC нет. И тут начинаются «танцы с бубном».
Как писал выше, настройка осуществляется только после установки ОС. Все из-за того, что в системе нет BIOS и на данной плате не реализован «мост» между интерфейсом BMC и «Загрузчиком» (аналогом BIOS). Подключение ноутбука напрямую в Ethernet-порт BMC результатов не дало. Достаю второй бубен.
После консультаций со специалистами МЦСТ получилось настроить BMC. Для этого соединил порты BMC и eth0 перемычкой патч-кордом, поднял DHCP-сервер на интерфейсе eth0 и указал пул из одного нужного нам IP-адреса. После этого BMC получил нужный нам адрес, а у нас появился доступ к веб-интерфейсу BMC.
Настройку BMC специалист дата-центра может производить только с ноутбука непосредственно в серверной, это не очень удобно. Работу системных инженеров с серверами стараемся максимально автоматизировать — так мы готовим серверы гораздо быстрее и исключаем возможные человеческие ошибки.
Настройка сети
Настройка сети схожа с настройкой в других Linux-системах.
Обзор операционных систем для e2k
Сделаю отступление и расскажу про подходящие операционные системы. Сейчас есть четыре ОС, которые поддерживают архитектуру e2k. Мы попробовали установить все.
ОС «Эльбрус». Установилась с USB, число программных пакетов — 1 256 шт., GUI неприветливый. Сетевой репозиторий отсутствует, только локальный. Тестовой версии ОС не предусмотрено — в комплекте с материнской платой и процессором не идет.
АLT Linux. Установка производилась с USB-носителя, интерфейс приятнее, чем в ОС «Эльбрус», количество пакетов — 17 211 шт. Также ограничено своим репозиторием, но уже имеет гораздо большее количество пакетов для разработки — например, Java, которого нет на ОС «Эльбрус». Также из преимуществ — наличие сетевого репозитория. Для записи на USB в комплекте к ОС идет скрипт.
Astra Linux 8.1, релиз «Ленинград». Установка не удалась. Причины уточняем у разработчиков ОС.
ЗОСРВ «Нейтрино». Дистрибутив ОС нам не предоставили, пояснив, что ЗОСРВ «Нейтрино» и ЗОСРВ «Нейтрино-Э» нечасто применяется на серверах. В отличие от, например, бортового промышленного оборудования, решающего задачи в режиме реального времени. По заявлению производителя архитектуру e2k данная ОС поддерживает.
Программы под ОС «Эльбрус»
Возвращаемся к нашей конфигурации. После настройки платформы добрались до самой ОС «Эльбрус». Здесь сразу же столкнулись с тем, что сетевых репозиториев нет, и стек скомпилированных программ под архитектуру e2k ограничивается одним DVD-диском, идущим в комплекте с операционной системой. В нашем комплекте оказалось 1 256 программ, со списком можно ознакомиться по ссылке. Все, что потребуется сверх этого списка, придется «пересобрать» или написать самим.
Для решения задачи совместимости с ПО для платформы x86 в МЦСТ разработали проприетарный бинарный транслятор. Он работает в двух режимах, чем-то напоминающих гипервизор. Первый реализован в Lintel, второй — в «RTC». Последний работает под управлением уже запущенной операционной системы.
В приложенном списке мы не увидели Docker, Prometheus, Java и еще очень многих пакетов, необходимых для нормальной работы сервера в дата-центре. На данный момент на e2k реализована только одна СУБД — PostgreSQL, которая будет работать вне режима бинарной трансляции. Остальные СУБД и ПО, которого нет в комплекте с ОС, можно запустить только через бинарный транслятор. Чтобы перекомпилировать отсутствующие инструменты для «Эльбруса», потребовалась бы целая команда.
Из плюсов: есть необходимые пакеты для разработки ПО, Python, Git, библиотеки и компиляторы от МЦСТ.
Подготовка к тестам
Для проведения тестов мы использовали бинарный транслятор приложений «RTC» и дистрибутив Ubuntu 22.04.
Существенный минус «RTC»: производительность, которой и так немного, будет ограничена. По тестам из разных источников она падает до 30% в зависимости от ПО.
С дистрибутивом тоже пришлось помучиться. После развертывания Ubuntu-server 20.04 x86 возникла проблема с системным временем. Происходит отставание системного времени от реального. Для серверного оборудования это критично. Есть предположение, что это из-за системы бинарной трансляции.
Из подключенных 32 планок RAM используется только 3. По информации от МЦСТ в режиме бинарной трансляции используется только один КПИ (можно посмотреть на схеме).
Соответственно, вся периферия, завязанная на КПИ_1, в этом режиме работать не будет.
Результаты бенчмарк-теста
Мы провели бенчмарк-тест Geekbench5 в режиме бинарной трансляции и получили такие результаты:
Видно, что пока «Эльбрус» в режиме бинарной трансляции пытается догнать по показателям AMD Ryzen 5 2400G. Но это десктопный процессор, релиз которого произошел в феврале 2018 года. О конкуренции с современными серверными процессорами речи пока не идет.
Также «Эльбрус» догоняет по бенчмаркам (и даже перегоняет по image compression) Intel Xeon E3-1225, выпущенный в 2014 году. Сравнение с ним на картинке ниже.
Более подробно по ссылке. Кстати, с каким серверным процессором сравнили бы вы «Эльбрус-8СВ»?
Эпилог
Как можно понять по результатам тестов, на данный момент препятствий для использования «Эльбрус-8СВ» в дата-центрах Selectel более, чем достаточно. В будущем постараемся протестировать «Эльбрус» другим софтом, написанным под архитектуру e2k.
Надеемся, что появится поддержка NVMe и современных GPU. И что МЦСТ будет развиваться, чтобы далее мы смогли использовать эти решения в повседневных задачах.
Подпишитесь на блог Selectel, чтобы не пропустить новые обзоры, новости и кейсы из мира IT и технологий.
Читайте также:
Комментарий недоступен
7нм чипы необходимы в телефонах и подобных девайсах, а для серверов и 60нм, и 90нм норм.
Тёплые ламповые сервера🤤
Для минусяторов, вот вам более профильный ресурс про даунгрейд на два поколения и повышение производительности )
https://habr.com/ru/company/ruvds/blog/679228/
Дроч на нм. ничуть не лучше сравнения камер по мегапикселям.
Конечно 60 и 90 — это перебор, но после 32 нм. прирост посредственный.
Капец даунгрейд. Был один проц с 4 ядрами и 4 потоками, стало 2(!) процессора по 4 ядра каждый, способные работать по 8 потоков. А потом и это апгрейднули до двух процов по 6 ядер и 12 потоков. При чем сравнивается десктопный процессор и серверный. Удивительно, что производительность в многопоточность режиме выросла, когда было 4 потока а в итоге стало 24, да? Магия просто.
Все равно что сравнивать условный хендай последнего года и Феррари парой поколений до. И говорить вот, дескать, раньше машины были лучше и новые технологии ничего не дают.
Офигительная логика.
Речь идёт о даунгрейде с Ivy Bridge на Westmere (с 22 нм. на 32 нм.)
Минусят то человека, который про техпроцесс интересуется.
Блин ну вы серьезно? Вы возьмите два процессора одного класса и одних параметров. Чтобы ядра совпадали и потоки. Просто условно одну и ту же модель i5 и сравнивайте производительность.
В вашем примере вы сравниваете разницу в мощности в 6 раз, а нано процесс отличается всего на 30 процентов. И этим аргументируете что последнее ни на что не влияет. Вы серьезно?
Ну я хз. Примерно как говорить вот есть Вася, он занимается боксом 3 года. Но если против него выставить 6 боксеров занимающихся по два года, они его отмудохают. Значит, занятия боксом ни на что не влияют.
Ну не мешайте людЯм быть патриотами
9 женщин не родят ребёнка за месяц, да. Но почему нельзя пользуясь опытом старых процессоров сделать на ограниченном в техпроцессе производстве аналог ксеона, а не внеутробный Эльбрус?
Да, будет плохо, но хотя бы терпимо.
И если так плохо с техпроцессом, делать платы на 2-3 процессора или масштабироваться количеством серверов.
1. Потому что цена. Эльбрусы при меньшей мощности, троттлинге стоят также как процессоры с сопоставимой или большей мощностью и отсутствием этих проблем. За два процессора вы банально будете переплачивать. Поэтому собственно хоть наши процессоры существуют довольно давно, коммерческого успеха они не сыскали. Готов спорить что и вы когда собирали или покупали себе последний стационарник Эльбрусы не искали. Не говоря о том, что если мы откатываемся на 5-10 лет назад, бы процессоры тех лет можно в Китае взять за копейки.
2. Потому что прогресс. Если будут покупать что есть, так как выбора не будет, нет никакого смысла развиваться. Ну и вы же понимаете что прогресс не будет скакать с 90нм сразу на 5? Не говоря о том, что у нас нет возможностей и технологий хоть как-то его уменьшить сейчас.
3. Потому что проблемы с ПО. Про это в статье есть. Соответственно, нельзя просто так взять и безболезненно перейти на Эльбрус и делать все то, что можешь делать на зарубежных аналогах.
Но да. Хорошо что в принципе хоть что-то есть. Плохо, что зная, как будет в феврале, не сделали нормальное производство в стране заранее.
Проблема в том что цена на трафарета для литографии одинакова а его стоимость расписывается на стоимость партии изделий, отсюда вопрос что будет стоить дороже Эльбрус/Байкал/Zhaoxin/Hygor Dhyana/POWER/SPARC с партией 10000 штук или какой-нибудь процессор на аналогичном процессе при партии в 1000000 штук?
Также достаточно давно уже освоены и 65 манометров, тех процесс в большей степени влияет на энергопакет и плотность транзисторов на одном кристалле, чем больше кристалл на пластине тем выше брак, тем выше стоимость изделия.
ASML достаточно сильно завязан на технологии. патенты и некоторые производства из РФ, тут может сложиться ситуация что компании прийдется расплачиваться своим оборудованием в обмен на технологии что используются в нем.
Трафарет да, само собой будет одинаковой стоимости.
По техпроцессу, AFAIK, всё было гладко до ±20 нм, потом уже начались ухищрения с подбором диэлектриков, что сильно удорожает разработку и производство.
К тому же, честно, не знаю как сейчас ведётся разработка процессоров, но предполагаю, что на тестовых стендах при архитектуре используется FPGA. Любой смертный может сейчас себе позволить собрать MiSTer, но в масштабах современных процессоров FPGA — нехреновая такая инвестиция, и неизвестно может ли Эльбрус себе её позволить.
По моим ощущениям, будет идеально, если смогут достигнуть 20-40 нм, и этого будет достаточно на долгое время.
нука просветите как ASML зависит от чего-то в РФ, очень инетересно :)) даже если каким-то чудом так - на бартер не рассчитывайте, обратно придут рубли как за газ :)
Да по всем пунктам согласен, особенно с 1-ым и 3-им.
По второму слишком антиутопично, хотя не забываем где мы живём, но всё же факторов много, и если более качественные потуги будут приносить прибыль, а не распил, есть вероятность что и в НИОКР будут вложения на фоне успеха. Выкарабкаться из ямы хотя бы на уровень 40 нм и уже можно что-то толковое делать, ИМХО.
По ссылке рассказ о сборке домашнего ПК на основе серерной платы. Те вместо обычного CPU вставили серверный CPU прошлого поколения и он показал схожую производительность? Но вы же в курсе что серверные CPU куда мощнее тех что нужны для домашнего использования? Может логичнее сравнивать 2 серверных CPU разных поколений а не серверный CPU с домашним?
Это уже претензии к автору статьи на хабре.
Мой посыл в том, что можно сделать что-то толковое не на 7 нм. техпроцессе и масштабировать кол-вом процессоров, а не ядер. Если, конечно, это будет экономически эффективно.
И разориться на электричестве, неплохо. Сколько там нужно 60-90 нм процессоров и по сколько вдер, чтобы догнать в многопотоке один эпик 64-ядерный?
Ну как разориться.
Мы же в РФ. Есть саяно шушенская ГЭС, куча АЭС вырабатывающих ЭЭ с избытком. Разместить там дата центр с Эльбрусами, и пусть Госуслуги хостят на них, почему нет?
У нас и дома электричество недорогое, но вы же от этого не сидите на пентиуме 4, например?
Если о моих предпочтениях, исключительно для домашнего ПК (абстрагируемся от серверов пока), мне за глаза хватает моего Intel Core i7 2700k и по сей день.
Вплоть до 6-ого поколения для старого софта он даже лучше был, т.к. многие софтины не умели в параллельность, а тактовая частота отдельно взятого ядра при разгоне была выше чем у новинок.
Все эти старые процы много жрали, потом были подвижки в сторону уменьшения энергопотребления, хотя в последних поколениях забивали (9, 10, 11 интел, 12 получше), 5 амд. Сейчас буст частоты без разгона у 12700к - 5 гигагерц против 3,9 у 2700к. И не стоит забывать про количество инструкций за такт и микроархитектуру, а так же размер кэша и скорость ОЗУ. Итого +138% однопоток и +367% многопоток в гикбенче.
Ну и мне например не хватало i5 7500.
Да, энергопотребление само собой и в Германии я бы такой комп давно сменил. Хотя тоже не сказать, что оно через чур. На SmartUps 1000 горят 2/5 светодиода при простое, розетка с замером мощности примерно также и показывает 170Вт. Нагрузка в виде прожорливых программ (очень редко) и игрушек разного плана поднимают потребление до 3/5 светодиодов и только совсем прожорливые игры в SLI поднимают до 5/5 и включают печку )) Но т.к. я не геймер, в общем то всё равно.
По тактовой частоте, интересно как там с разгоном у 12700k, т.к. мой по дефолту разогнана до 5 Ггц, держит отлично, как родную частоту.
Ну в играх обычно видяха сильно загружена и много ест, ещё и sli.
Новые процы разгогять уже не так профитно, как старые, там есть всякие турббусты на 1/2/и т.д. количество ядер. Но сейчас мало что в однопоток упирается. Если игры, то суприм коммандер, старкрафт 2 и что-то подобное. В новых, типа стеллариса, наверное получше с этим.
Ещё начиная с третьего поколения скальпирование надо делать для разгона, наверно поэтому все на разгон забили.
Ну да, оптимизация, экономичность, эффективность не про нас.
вы вижу "дилетант", не в обиду сказано если что, не забывайте что каждый скушанный Ватт нужно будет вывести во внешнюю среду. по этому кстати не выпускают "супер кора", хоть и дорого, но в 5 раз более мощного, потому что-то больше 200 Ватт с определённой площади и обычной системой охлаждения не вывести. + там кривая, а не прямая: удвоение подаваемой мощности не увеличивает производительность в 2 раза. а предел по мощности как написал существует.
Ну ок, дилетант, без обид )
Не совсем понял что Вы написали. "дорого" или "дорогого"? Как я понял Вы про энергию затраченную на процессор + охлаждение. Назовём это термином для плебсов — разгон.
Я же про экономику на масштабах. Как видно по треду, обсуждаем РФ, где ЭЭ стоит копьё, особенно если размещаться на объектах с профицитом. Тут помимо бла-бла-бла можно посмотреть предложения по размещению майнинговых ферм вблизи электростанций, там ценник разительно отличается от квартирного.
Но, абстрагируясь от РФ, на проекте в Германии, на практике, оказалось, что выгоднее параллелить на 100+ машин, чем использовать 10 продвинутых. За редким исключением, примерно 5%, когда данные, которые невозможно поделить, лучше размещать на более мощном железе. Тут же стоит учесть стоимость лицензий на отдельную машину, всё равно получается выгоднее. Иначе говоря, потребовалось 4 мощные машины для отдельно взятых случаев и остальной шлак, который неплохо справлялся при должном распределении.
Отсюда вопрос, что мешает установить кучу машин с хреновыми "Эльбрусами" для обеспечения должной вычислительной мощности и иметь несколько "нормальных" машин по параллельному импорту либо же оставшихся на рынке до СВО?
Сейчас бы в РФ разориться на электричестве. Там атомные электростанции стоят и в пустую работают, к ним майнеры подключаются чтобы хоть какой-то толк был.
кстати да, кушает такой процессор электричества возможно раза в 2 больше
вы не дядю васю читайте, а в тесты смотрите. производительность на ядро растёт с каждым годом, где-то конечно откаты случаются когда находятся уязвимости типа Spectre но тех процесс это ключевой элемент экономики при производстве. а у Ксеонов кстати слабая производительность на ядро, т.к. от них не это требуется. в принципе тех процесс позволяет вам при той же экономике поднять производительность запихнув в ядро больше "портов" выполнения инструкций.
Спору нет про ксеоны, всё же, это продукт под определённый рынок. И вот тут вопрос, а под какой рынок нужна производительность с тестов? В принципе, бенчмарки спорный аргумент. На 4PDA до сих пор в 2022 считают попугаев, а толку то? Как уже писал в треде, ранее был софт неадаптированный под многоядерные процессоры, он и до сих пор есть, правда в мизерном количестве, и на этом софте старые процессоры показывают куда более лучшие результаты чем новые.
Бесспорно, помимо тактовой частоты есть кэш и прочие показатели, но года с 2015 не вижу особой роли процессоров в бизнес задачах. Сложные вычисления переносят на видео карты, а процессорные мощности легко компенсируются добавлением новых машин на той же базе. При этом старые машины и процессоры стоят гораздо меньше чем то, что могут предложить новые. Но, опять же, зависит от применения.
Есть, правда, нюанс. Есть софт, не поддерживающий архитектуру старых процессоров, тут, конечно, облом.
Поэтому во всех дата центрах используют процессоры 2014 года выпуска /s
А что не так с процессорами 2014 года выпуска? У Селектела можно и не такое найти.
для сервака с минимальной виртуализацией — заглаза)
ну если сервер файлы раздаёт с диска, то пойдёт, хотя можно и ARM поставить и ещё на электричестве сэкономить, тут уже вопрос в доступности, наличии рук на апгрейд и возможность сплавить барахло
Тем кто минусит советую в следующий раз прочитать хоть чуть-чуть про технологии и как они применяются.
Повторять за всеми как попугай "ого 7нм" или "ого 4нм" без понимания что эти циферки значат не добавляет вам ума.
Баловство и деньги на ветер, пентиум 3 на 180нм делали, хватает за глаза
Энергопотребление.