Есть ли в России рынок суперкомпьютеров

Чтобы разработать рекомендательную систему или обучить модель на основе больших массивов данных, нужны серьезные вычислительные мощности. С какими сложностями сталкиваются российские компании при построении высокопроизводительной инфраструктуры и как создать свой суперкомпьютер — в моей статье.

Интерес к разработке и внедрению ИИ-систем растет. Так, рынок искусственного интеллекта в России в 2022 году составил 650 млрд рублей — он увеличился по сравнению с 2021 годом на 18%. Внимание к ИИ объясняется экономическим эффектом, который он способен обеспечить бизнесу. К 2023 году благодаря применению этих технологий компании снизили операционные расходы на 400 млрд рублей, а к 2025 году эта сумма превысит 1 трлн рублей.

Для разработок в области ИИ нужны высокопроизводительные вычисления (High Performance Computing, HPC) — суперкомпьютеры. Мировой рынок HPC в 2023 году превысит $56 млрд, прогнозирует Mordor Intelligence, и до 2028 года будет расти средними темпами 11% в год. Российский рынок в сравнении с глобальным еще мал — не более 1% от мирового. Хотя определенные успехи в этой области есть и у нас. В 2022 году Россия заняла 8 место в рейтинге стран с самыми мощными суперкомпьютерами в мире. В топ-500 вошли машины «Яндекса», Сбербанка, МТС и МГУ.

Такая инфраструктура дает возможность разрабатывать сложные нейросети. Проекты YaLM от «Яндекса» и Kandinsky 2.1 от «Сбера» пытаются конкурировать с нашумевшей диалоговой моделью ChatGPT, распознающей естественные языки, и нейросетью Midjourney, умеющей создавать иллюстрации.

Однако не у всех игроков рынка есть ресурсы и время на разработку суперкомпьютера с нуля. Лидеры рынка ИИ строили свою инфраструктуру многие годы. А что делать компаниям, у которых возникла потребность в высокопроизводительных вычислениях только сейчас?

Получить доступ к такой инфраструктуре по щелчку пальцев не получится. Есть четыре основные проблемы, с которыми сталкиваются российские компании.

В России практически нет специализированных дата-центров, «заточенных» под HPC. Это объясняется, в том числе, высокой стоимостью строительства и обслуживания таких объектов. Чем выше производительность, тем больше энергии нужно для поддержания работоспособности всех систем, в том числе питания и охлаждения.

Первую проблему объясняет вторая: инвестиции в высокопроизводительные дата-центры нужно закладывать на несколько лет вперед. Не каждая компания или оператор ЦОДов сегодня готова строить долгосрочные планы, тем более такие дорогостоящие.

Во всем мире спрос на суперкомпьютеры формируют в том числе государственные организации — вузы, научные институты, промышленные предприятия. В России они должны использовать оборудование из реестра Минпромторга, а там нет ни графических ускорителей (GPU), ни серверов с ними. Без этого построить суперкомпьютеры нельзя. Для того чтобы получить разрешение на приобретение необходимого оборудования не из реестра, организациям приходится тратить много времени на обоснование такой необходимости.

Производитель графических ускорителей Nvidia раньше помогал российским заказчикам строить суперкомпьютерные кластеры. Однако компания ушла из России вместе со своим программно-аппаратным стеком. А решения Open Source, которые использовались при создании высокопроизводительных инфраструктур, сегодня попали в зону риска. В России приняли новый закон, который ограничивает возможности участия российских компаний в таких проектах.

В реестре Минцифры и в целом на открытом рынке программных решений для HPC нет — импортозамещения в этой сфере пока не происходит.

Для строительства инфраструктуры высокопроизводительных вычислений организациям требуется качественное «железо» и отраслевое программное обеспечение.

Сейчас существует два способа получить аппаратное обеспечение под проект:

Оборудование мировых лидеров еще доступно для заказа по схемам параллельного импорта. Например, можно попробовать привезти графические ускорители или другое высокотехнологичное оборудование.

Но важно понимать, что это нестабильные поставки. Были случаи, когда попытки ввезти графические ускорители через дружественную страну были заблокированы вендором. Кроме того, у такого оборудования нет поддержки, а ведь не все готовы разбираться с задачами эксплуатации самостоятельно. То есть параллельный импорт — это всегда риски.

В России есть производители, которые готовы обеспечить поставки импортонезависимого ИТ-оборудования с GPU на борту для высокопроизводительных инфраструктур. Например, мы в DатаРу недавно запустили производство серверов с одновременной поддержкой шести графических процессоров. Они предназначены в первую очередь для работы систем искусственного интеллекта и могут стать основой для создания суперкомпьютера.

Такой сервер построен на базе компонентов от лидеров глобального ИТ-рынка: процессора Intel Xeon 4 с поддержкой до 56 ядер на CPU, а также восьми графических процессоров NVIDIA HGX. Технологии NVMe позволяют ускорить поток данных и усилить вычислительные возможности.

Для российских суперкомпьютеров мы также поставляем многопроцессорные системы с большим количеством CPU (8-16 процессоров в одной машине). Для вычислений, требующих использования большого числа процессоров, производим одноюнитовые, двухпроцессорные системы.

«Железо» — не самая большая проблема. Значительно сложнее ситуация складывается с программным обеспечением. Нефтяные компании и другие гиганты могут позволить себе собственные разработки отраслевого специализированного ПО. Но для многих других заказчиков это слишком затратно. Остается ждать, когда на рынке появятся необходимые решения или привлечь сторонних разработчиков, которые смогут сделать программную обвязку для построения высокопроизводительной инфраструктуры.

Возможно, растущий спрос на разработки в области искусственного интеллекта будет способствовать решению проблем российского рынка HPC. Мы уже сейчас наблюдаем позитивные изменения, которые могут стать драйверами отрасли:

— Увеличивается спрос на оборудование с графическими ускорителями, которые позволяют повысить производительность вычислений и заниматься машинным обучением.

— Происходит оживление интереса к суперкомпьютерным технологиям в госсекторе. Вероятно, это зарождение тренда.

— Заметна активность со стороны вузов, разработки которых до санкций занимали первые строчки в рейтинге Топ-25 суперкомпьютеров России. Сейчас они снова вернулись к проектированию систем ИИ, машинного обучения и HPC.

Важно понимать, что без развития высокопроизводительных вычислений, аппаратного и программного обеспечения для создания суперкомпьютеров добиться существенного прогресса в области искусственного интеллекта вряд ли получится.