Илон Маск ворвался в гонку, у кого больше ускорителей

Вообще удивительно, как быстро все меняется. В конце зимы суперкомпьютер Маска Colossus, построенный в рекордно короткие сроки, казался рекордсменом. Сегодня он выведен на полную мощность — и со своими 230 тысячами GPU теряется на фоне OpenAI и Meta* (признана экстремистской в России), которые приближаются к 500 тысячам чипов.

Все поменяется в ближайшие недели, когда Маск запустит в Теннесси первую очередь Colossus 2 на 550 тысяч новейших чипов NVIDIA GB200 и GB300 — все с водяным охлаждением. Маск утверждает, что для питания этой махины в третьей стране купили газовую электростанцию и морем перевезли в США. Фотографий и подробного репортажа с перевозки я не видел, но зная Маска можно сказать — этот парень пойдет и не на такое.

А теперь самое интересное. X-пользователь Lisan al Gaib попробовал посчитать (а я — перепроверил с помощью двух LLM) производительность Colossus 2. Из-за сложной архитектуры подобные суперкомпьютеры редко работают на пиковой производительности, но даже на консервативных 25% за 42 дня получится выдать 10²⁸ FLOPs — объем вычислений, достаточный для тренировки модели, считающейся прорывной на текущий день.

Для сравнения, вышедший в 2023 году ChatGPT-4 тренировали на примерно 2,1 × 10²⁵ FLOPs — то есть Colossus 2 сможет обучить подобную модель всего за два-три часа (!).

Куда пойдет подобная мощь? Вариантов много. Во-первых, xAI до сих пор остается в роли догоняющего — у компании есть передовой Grok 4, но вот генерация картинок устаревшая, а модель для создания видео только начинают тренировать.

Во-вторых, текущие модели — лишь один из первых шагов в разработке ИИ. Сейчас набирают популярность агентские системы, устроенные заметно сложнее. Ну а мировые модели, которые не просто разговаривают с нами текстом и голосом, а обладают пониманием окружающего мира (реального или виртуального), ориентируются в нем, чувствуют течение времени — это вообще запредельная сложность, которой и Colossus 2 не хватит.

В-третьих, мы все ближе к регулярному обновлению ИИ. Представьте модель, которая почти каждый день становится немного лучше и учится чему-то новому. Пока звучит фантастикой, но Google уже обновляла Gemini 2.5 Pro с периодичностью раз в месяц, а тот же Илон Маск похвастался, что “Grok 4 сегодня лучше, чем был несколько дней назад”, намекая на то, что модель постоянно дорабатывается при помощи обучения с подкреплением. Не до конца ясно, справедливо ли это только для тестовой версии или для публичной — но я, например, вижу, что Grok 4 стал намного быстрее отвечать на простые вопросы (поначалу он размышлял над ними по 30 секунд) и лучше пишет творческие тексты на русском языке.

Ну и последнее. Дальнейшие планы Маска — развернуть эквивалент 50 миллионов NVIDIA H100 в ближайшие пять лет. Это меньше по физическим чипам, так как новые GPU NVIDIA значительно выросли в производительности, но все равно впечатляет.

Подписывайтесь на Telegram "сбежавшая нейросеть".