Что март минувший нам принес в железе серверном: NVIDIA B200, ИИ-ускорители RISC-V и российские коммутаторы

Для кого-то весна ознаменована долгожданным теплом, отдыхом на природе и очередями в шиномонтаж. А для нас — 30-кратным ростом производительности GPU от NVIDIA, серверами для ИИ от ASRock, модулями RAM емкостью 256 ГБ, российскими СХД для виртуализации и другими новинками.

NVIDIA анонсировала линейку устройств на новой архитектуре Blackwell, среди которых — GPU NVIDIA B200. По сравнению с предыдущей архитектурой Hopper производитель отмечает 30-кратный рост производительности.

Устройства с умопомрачительными характеристиками могут заменить NVIDIA H100 и анонсированную, но так и не выпущенную H200. Два чиплета B200 суммарно имеют 208 млрд транзисторов, выполненных по техпроцессу TSMC 4NP. Они объединены интерконнектом NV-HBI с пропускной способностью 10 ТБ/с. А в роли памяти выступают восемь стеков HBM3e емкостью до 192 ГБ с пропускной способностью до 8 ТБ/с.

Благодаря этому в разреженных FP4-вычислениях производительность достигает 20 Пфлопс, а в FP8-вычислениях — 10 Пфлопс. Кроме того, в тензорных ядрах применено второе поколение механизма Transformer Engine, которое увеличивает скорость обучения с инференсом и максимальный объем модели в памяти ускорителя.

Естественно и то, что GPU B200 будут представлены не только в форм-факторе PCIe 6.0 (32 линии), но и в аналоге SXM с интерконнектом NVLink™ 5. По сравнению с NVLink™ 4 пропускная способность увеличили в два раза — до 1,8 ТБ/с (по 900 ГБ/с в каждую сторону). Для создания кластеров можно использовать коммутатор NVSwitch™ 7.2T, который способен объединить до 576 устройств в одном домене. Также с помощью коммутаторов 800G можно создать кластер вместимостью до 100 000 ускорителей.

В виде готовых устройств представлены следующие решения:

Среди них есть базовые устройства:

Их можно использовать с воздушным охлаждением и объединять интерконнектом 400G.

Следующие решения основываются на базе серверов GB200, которые выглядят как замена GH100 (GH200). Здесь нас встречает знакомая схема: два ускорителя Blackwell (объединены NVLink™ 5) и ARM-процессор Grace. С ускорителями процессор связан шиной NVLink-C2C с пропускной способностью до 900 ГБ/с.

Для примера разберем представленное в таблице устройство GB200 NVL72. В нем — 72 ускорителя GB200 и 18 коммутаторов NVSwitch™ 7.2T, которые провязывают все ускорители по схеме «каждый-с-каждым».

Энергопотребление такого суперкомпьютера достигает 120 кВт. Охлаждение, естественно, жидкостное. Размер GB200 равен одной серверной стойке, производительность достигает до 1,44 Эфлопс в FP4-вычислениях и до 720 Пфлопс в FP8, а общий объем памяти — более 30 ТБ.

Полноценный запуск, подробные характеристики и совместимые решения от вендров ожидаются до конца 2024 года. Мировой спрос на такие устройства будет — это безусловно. А вот на счет потребности и возможности реализации таких систем в России есть сомнения.

ASRock Rack на конференции NVIDIA GTC 2024 представили ряд серверов с GPU для задач искусственного интеллекта и высокопроизводительных вычислений.

Во-первых, есть серверы в форм-факторе 4U.

Они могут оснащаться ускорителями NVIDIA H100 NVL и H200 NVL, а в будущем — NVIDIA Blackwell. Серверы с индексом 4U8G поддерживают восемь двухслотовых карт с интерфейсом PCIe 5.0 x16, решения 4U10G — соответственно, десять.

Во вторых, есть 6U-серверы на базе процессоров Intel® Xeon® Scalable 4 и 5 поколения.

На борту все те же 32 слота DDR5. Серверы предназначены для установки восьми GPU H100 или H200. По традиции: подобные устройства питают восемь блоков на 3 000 Вт.

В-третьих, вендор представил сервер 4UMGX на модульной архитектуре NVIDIA MGX, предназначенной для создания AI-систем на базе CPU, GPU и DPU. Устройство поддерживает восемь ускорителей NVIDIA H100 NVL или H200, а также новые GPU NVIDIA Blackwell. Однако подробные спецификации не были анонсированы.

Компания Tenstorrent из Канады представила AI-ускорители Grayskull™ e75 и e150 на базе одноименных процессоров Grayskull с архитектурой RISC-V. Ускорители предназначены для экспериментов, разработок в области искусственного интеллекта и отладки приложений.

Младшее устройство содержит 96 ядер в CPU с частотой 1 ГГц, старшее — 120 ядер с частотой 1,2 ГГц. В обоих устройствах доступно 120 МБ SRAM и 8 ГБ LPDDR4 с пропускной способностью до 118 Гбит/с в старшей версии.

Стоимость в Северной Америке составляет около 600 и 800 долларов за устройство. А для использования ускорителей были представлены инструменты TT-Buda и TT-Metalium.

Заявлена поддержка PyTorch, ONNX, BERT, ResNet, Whisper, YOLOv5 и U-Net. Производители отмечают простоту программирования по сравнению с GPU. Также были анонсированы сетевые устройства Wormhole n150 и Wormhole n300 с возможностью объединения плат для масштабирования.

Компания Zotac представила серверы с GPU в форматах rack-mount и workstation tower. Платформы работают с процессорами Intel® Xeon® Scalable четвертого и пятого поколений.

Стоечное решение в формате 4U поддерживает установку до десяти GPU, на фото также видны 12 корзин для дисков с поддержкой горячей замены. 8U-решение предназначено для 12 DPU PCI-e. Блоки питания реализованы по схеме «2+2» или «4+1». К сожалению, производитель не приводит подробные характеристики.

Серверы предназначены для задач искусственного интеллекта и высокопроизводительных вычислений. Также в линейке производителя уже есть серверы с GPU для аналогов от AMD — серверной линейки процессоров AMD EPYC™ 9004.

Компания Micron анонсировала NVIDIA GTC 2024 — новые модули оперативной памяти (MCR DIMM) емкостью 256 ГБ для серверов следующего поколения, например Intel® Xeon® Granite Rapids. Устройства соответствуют стандарту DDR5-8800 и уже находятся на тестах клиентов Micron.

Продемонстрированные модули имеют нестандартно «высокий» типоразмер, однако производитель обещает и совместимые с 1U-серверами. Энергопотребление ожидаемо выше, чем у планок RDIMM, и составляет 20 Вт. Максимальный объем памяти сервера, оснащенного такой памятью, может составлять 6 ТБ.

Продолжаю традиционную ежемесячную серию новостей о российских системах хранения данных. В программе — СХД серии ENGINE AQ от российской компании «Аэродиск».

Серия включает СХД среднего класса Engine AQ 440, 450 и 460, которые основаны на платформах Aquarius FS440, FS450 и FS46 соответственно. Все оснащены процессорами Intel® Xeon® и имеют 256 ГБ оперативной памяти в базовой конфигурации. СХД выполнены в форм-факторе 2U+2U, 4U и 6U. Общая емкость может достигать 608 дисков с учетом установки в модули расширения.

Устройства предназначены для решения различных задач, включая виртуализацию, базы данных, видеонаблюдение и корпоративные приложения с высокой нагрузкой. Ожидается также модель начального уровня «Лайт» для малого и среднего бизнеса.

Редкий дайджест обходится без новостей о HDD на 24 ТБ. В марте Western Digital стартовала поставки дисков WD Red Pro. Они выполнены по технологии OptiNAND на основе встроенной флеш-памяти iNAND в формате LFF с использованием CMR, традиционной магнитной записи. Диск оптимизирован для работы в составе объемных NAS корпоративного уровня с различными RAID-массивами.

Основные характеристики:

Российская компания Yadro представила коммутаторы KORNFELD. Они производятся на заводе в Дубне и по праву считаются отечественным оборудованием.

Устройство выполнено в форм-факторе 1U для дата-центров. На борту — процессор Intel® Xeon® D-1712TR Ice Lake с четырьмя ядрами, восемью потоками и базовой частотой 2,0 Ггц. Коммутатор использует ASIC-чип с пакетным буфером в 32 МБ, а также оснащен M.2-диском на 120 ГБ и двумя модулями оперативной памяти DDR4 по 8 ГБ.

Для подключения используются 48 портов 10/25GbE SFP28 и восемь портов 25/40/100GbE QSFP28. Также на коммутаторе размещены разъемы RJ-45, два коннектора SFP+ 1/10GbE и порт USB Type-A. За питание отвечают два блока по 800 Вт с резервированием и горячей заменой.

Коммутатор поддерживает протоколы OSPF, BGP, ECMP, VRRP, MLAG, TACACS+, RADIUS, сети VLAN (802.1Q), агрегацию LACP, а также LLDP.

Март выдался довольно средним по количеству новостей, но объемным по стоимости представленных устройств. В дайджест не попали новости о таких новинках, как Supermicro SuperCluster или суперкомпьютер HPE. На мой взгляд, подобные системы в России имеют точечный спрос, а также сложности с поставками.

Продолжаю следить за более прикладными и доступными устройствами. Увидимся в мае!

Читайте также:

#selectel #дайджест #серверы