Сколько токенов мы получаем за один доллар?

В AI появилась метрика, за которой бизнесу стоит следить не меньше, чем за качеством моделей:

сколько токенов мы получаем на один доллар.

AI-чип стартап Etched только что привлёк $700 млн и получил оценку $21 млрд.

Для сравнения: меньше месяца назад его оценивали в $10,3 млрд.

Почему такой рост?

Компания делает специализированную инфраструктуру для inference.

То есть не для того, чтобы один раз обучить огромную модель.

А для того, что происходит потом миллиарды раз:

пользователь задаёт запрос → модель должна сгенерировать ответ.

Именно здесь экономика AI становится особенно интересной.

Представим компанию, которая встроила AI:

— в поддержку; — в аналитику; — в продажи; — в обработку документов; — в производство контента; — в автономных агентов.

На маленьком масштабе стоимость одного запроса почти незаметна.

На миллионах запросов — это уже полноценная статья расходов.

Поэтому рынок постепенно начинает бороться не только за:

«чья модель умнее?»

Но и за:

«кто сможет дать тот же интеллект дешевле и с меньшим энергопотреблением?»

Один из инвесторов Etched сформулировал это ещё проще:

победителей inference-рынка будут измерять в tokens per dollar и tokens per watt.

И это хорошо показывает взросление AI-рынка.

Сначала нас восхищала сама возможность получить ответ от машины.

Теперь начинается нормальная экономика:

а сколько этот ответ стоит?