Битва титанов: TPU против GPU – кто победит в гонке за ИИ?

Google активно использует TPU (Tensor Processing Units) для обучения и развертывания больших языковых моделей, закупая их у Broadcom. Это позволяет существенно снизить TCO (Total Cost of Ownership) по сравнению с использованием GPU Nvidia. По оценкам Google, полный TCO на чип TPU v7 в полной конфигурации на 44% ниже, чем на сервер с Nvidia GB200. При этом из-за со-разработки TPU, LLM и всей системы вокруг, Google может добиться более высокой утилизации железа, что потенциально увеличивает реальные FLOPs.

Сторонние клиенты, такие как Anthropic, не имеют таких преимуществ, но даже при утилизации 15% TCO с учетом маржи Google будет сопоставим с Nvidia. SemiAnalysis прогнозирует достижение утилизации в 40%, что сделает TPU еще более выгодным (TCO меньше на 52% по сравнению с GPU).

OpenAI, несмотря на отсутствие первых TPU, уже добилась экономии в 30% на закупках у Nvidia благодаря скидкам, полученным за угрозу конкуренции. Это демонстрирует превосходство TPU по соотношению производительности на доллар TCO.

Nvidia, в свою очередь, делает ставку на открытую экосистему и широкую поддержку библиотек.