Панель показала 96,2 млн сэкономленных токенов. Счёт за те же прогоны вырос на 7,6%

Есть инструменты, которые продают одну простую мысль: сожмём контекст, агент будет стоить дешевле.

20 июля JetBrains проверили один из них на парных прогонах. rtk обещает сократить расход токенов на 60-90%. В тесте было 86 задач, одинаковая модель, закреплённые версии и 425 оплаченных запусков. Один набор запускали с инструментом, второй без него.

На низком reasoning effort версия с rtk оказалась на 7,6% дороже. У неё было на 13,8% больше шагов и на 14,3% больше cache reads. Качество решения задач не изменилось.

Панель rtk в это же время показывала 96,2 млн "сэкономленных" токенов, 99,8% всего, чего она коснулась.

Счёт вырос. Панель празднует экономию.

Это не обязательно ложь в интерфейсе. Просто дашборд отвечает на другой вопрос.

Авторы сформулировали его лучше всего: "a tool's self-reported savings are a claim about its counterfactual, not about your bill".

Панель оценивает, сколько токенов инструмент якобы убрал из сырого вывода. Ваш счёт зависит ещё от того, что реально увидела модель, что уже обрезал Claude Code, сколько контекста перечитали из кэша и сколько лишних шагов спровоцировало сжатие.

В этом эксперименте hook затрагивал лишь часть Bash-вызовов. Встроенные Read и Grep обходили его. До запуска авторы посчитали верхнюю границу эффекта: даже 70% сжатия всего доступного rtk вывода дало бы около 3% входных токенов. Реклама обещала 60-90%.

Потолок иногда можно увидеть ещё до покупки.

На высоком reasoning effort заметного штрафа не нашли: медианная разница составила +0,1%. Но это не стало экономией. Сам тест был одиночным для этого режима, и авторы не делают из него сильного вывода.

Это исследование JetBrains, не независимый аудит рынка. Методика и исходные условия открыты, поэтому полезен именно как кейс: красивый счётчик в продукте не заменяет парное сравнение реальных счетов.

Возьмите сопоставимые задачи и два периода: с инструментом и без него. Считайте деньги, длительность и качество результата. Скриншот панели оставьте приложением, не доказательством.

До внедрения прикиньте, какой кусок расхода инструмент вообще может затронуть. Если он видит только вывод shell, а ваш агент читает код встроенными инструментами и много работает с кэшем, 90% экономии уже выглядят странно.

И не принимайте решение по одному запуску. В тесте JetBrains одинаковые попытки одной задачи различались по стоимости с медианой 22%. Один прогон легко продаёт вам шум как открытие.

Теги: ИИ, экономика, автоматизация

💬 Ещё про AI без рекламных цифр: https://t.me/+jFWyx5jrqls0NzIy