💸 Uber потратила годовой бюджет на AI для разработчиков за четыре месяца. Почему агенты оказались такими дорогими?

AI должен был сокращать расходы, но у компаний постепенно появляется новая проблема: дорого обходится уже сам AI. Uber к апрелю израсходовала весь бюджет на AI-инструменты для разработчиков, запланированный на 2026 год. И это происходит на фоне снижения цены отдельных токенов. Просто теперь моделей используют намного больше, а AI-агенты могут десятки раз обращаться друг к другу, проверять результаты и передавать работу дальше.

Mostik, небольшой стартап из 15 математиков и инженеров, полез именно в эту часть расходов. Когда одна модель передаёт работу другой, она часто пишет ей обычный текст. На его создание уходят токены, хотя этот текст нужен только другой машине и ни один человек его никогда не увидит.

Представим обычную цепочку из трёх агентов. Первый нашёл информацию, второй должен её проверить, третий собрать финальный ответ. Сейчас первый агент обычно пишет второму текстовый пересказ того, что нашёл. На этот текст тратятся токены. Второй читает его, что тоже требует вычислений, а потом пишет следующий текст третьему. Человек в итоге увидит только последний ответ, но оплачивается вся внутренняя переписка.

Mostik пытается эту переписку убрать. Вместо текстового пересказа первая модель передаёт второй внутренние числовые данные, которые уже получила во время работы над задачей. Проще говоря, ей не нужно сначала превращать результат своих вычислений в предложение, чтобы другая машина снова переводила это предложение обратно в понятный ей вид. Нормальный текст появляется уже там, где он действительно нужен человеку.

В первом тесте Mostik взял две открытые модели. Одна - GLM-5.2 на 753 млрд параметров, одна из самых мощных открытых моделей своего класса. Вторая - небольшая Qwen-3.5 на 4 млрд параметров, которую можно запускать даже на относительно компактном железе. Большая модель читала задачу и передавала результат своих вычислений маленькой, а уже та писала ответ.

Получившаяся связка показала качество между двумя исходными моделями, но потребовала примерно в 2,5 раза меньше вычислений, чем отдельная модель с сопоставимым качеством. Сама большая модель вообще не тратила ресурсы на написание промежуточного текста.

Пока это ранняя технология. Для каждой пары моделей такой коннектор нужно отдельно обучать, а подключить таким способом обычные ChatGPT и Claude через их публичные API нельзя: сервисы не дают доступа к внутренним данным модели. Финальный ответ человеку тоже никуда не исчезает и всё равно генерируется обычным текстом.

Но сама проблема уже вполне актуальная. Если один AI-процесс состоит из десяти агентов, стоит смотреть не только на цену модели, но и на то, что именно они постоянно отправляют друг другу. Если следующему агенту нужны пять конкретных полей, незачем передавать ему три страницы истории разговора. Простые промежуточные задачи можно отдавать дешёвой модели, а общий контекст не загружать заново там, где без него можно обойтись.

Подобная оптимизация постепенно превращается в самостоятельное направление. В начале года компании фактически поощряли сотрудников как можно активнее использовать самые мощные модели. Но уже через несколько месяцев некоторые из них начали вводить ограничения, подбирать модели под конкретные задачи и оценивать, какую отдачу приносит каждый потраченный токен.

Следующий этап оптимизации AI, похоже, будет связан уже со всей цепочкой работы. Сколько раз модель вызывается ради одной задачи, какой объём контекста ей каждый раз отправляют, сколько промежуточных ответов генерируется и какая часть этих вычислений действительно влияет на качество результата. В системе из нескольких агентов даже небольшой лишний пересказ быстро умножается на тысячи запросов.

И здесь идея Mostik выглядит очень своевременной. Чем сложнее становятся AI-системы, тем больше будет цениться не только качество моделей, но и то, сколько вычислений требуется, чтобы это качество получить. Значительная часть экономии может появиться в тех местах, которые пользователь вообще никогда не видит: агенты будут меньше пересказывать друг другу уже обработанную информацию, реже повторять одну и ту же работу и тратить токены только там, где они действительно что-то добавляют к результату.

Если вам интересны такие истории, подписывайтесь на мой Telegram-канал «Ещё не единорог». Там я разбираю растущие стартапы, необычные продукты и механики, за которыми может оказаться что-то большее, чем очередной хайп.