Гонка вооружений в ИИ: xAI Маска нацеливается на миллион GPU и заглядывает за горизонт

Мир искусственного интеллекта развивается с головокружительной скоростью, а вместе с ним растут и аппетиты ИИ-моделей к вычислительным ресурсам. В авангарде этой гонки находится xAI Илона Маска, чьи амбиции в области суперкомпьютеров поражают воображение.

Еще несколько месяцев назад стало известно об удвоении мощности суперкомпьютера xAI, собранного всего за четыре месяца. К первоначальным 100 000 H100 планировалось добавить еще 50 000 H100 и 50 000 H200. Пока официального подтверждения завершения этого этапа расширения нет, но, зная Маска, можно предположить, что он обязательно похвастается этим достижением в ближайшем будущем. Уже к лету 2024 года xAI намеревается добавить еще 300 000 ускорителей Grace Hopper Superchip (GH200), причем первые поставки ожидаются уже в январе. За приоритетный доступ к этим передовым GPU Маск, по слухам, выложил более миллиарда долларов. Это говорит о серьезности его намерений и готовности инвестировать значительные средства в развитие ИИ.

Однако и это еще не предел. Недавняя информация, опубликованная Memphis Chamber, свидетельствует о том, что xAI планирует расширить свой суперкомпьютер до более чем миллиона GPU. Для сравнения: Llama 3 405B тренировалась на 16 000 H100, Grok 2 - на 20 000. Кластеры для обучения других передовых моделей также находятся в пределах нескольких десятков тысяч GPU. Следующее поколение моделей, например, Grok 3, уже обучается на более чем 100 000 GPU, и компании активно инвестируют в инфраструктуру для еще более масштабного обучения.

Миллион GPU – это впечатляющая цифра, но, похоже, даже она не является пределом мечтаний для лидеров индустрии. Уже некоторое время ходят слухи о планируемых многогигаваттных инсталляциях стоимостью в сотни миллиардов долларов каждая, включающих в себя многие миллионы чипов. Это открывает совершенно новые горизонты для развития ИИ и позволяет задуматься о моделях будущего, сложность и возможности которых сегодня трудно даже представить.

В условиях гонки за наращиванием вычислительных мощностей, одним из очевидных инструментов для удовлетворения растущего спроса на GPU становятся сервисы децентрализованных частных GPU, такие как ExtraGPU. Предоставляя доступ к распределенной сети вычислительных ресурсов, ExtraGPU позволяет исследователям и компаниям быстро масштабировать свои ИИ-проекты, не инвестируя огромные средства в собственную инфраструктуру. Это особенно актуально при работе с моделями, требующими колоссальных вычислительных мощностей, подобными тем, что планирует xAI. Гибкость и масштабируемость ExtraGPU делают ее идеальным решением для поддержки грандиозных проектов в области искусственного интеллекта и способствуют ускорению развития всей индустрии. Децентрализованный подход также повышает устойчивость и надежность вычислений, снижая риски, связанные с отказами оборудования и централизованными точками сбоя.

#ИИ #GPU #xAI #ExtraGPU #Маск #Суперкомпьютер #ИскусственныйИнтеллект #Децентрализация #Вычисления #Технологии #Будущее