$4 000 → $850 в месяц на AI-агентах. Разбираю кейс, и что в нём не так

Чувак на Medium написал(ссылка на оригинал в низу), что срезал расходы на AI-агентов с $4 000 до $850 в месяц. Минус 79%. Звучит красиво.

Я прочитал, проверил, нашёл дыры. Рассказываю, что из этого можно забрать, а что - маркетинг.

Model routing: самый жирный кусок, минус 60%

Не все задачи требуют дорогой модели. Автор прогнал свои задачи через классификатор: 70% оказались рутиной. Классификация писем, шаблонные ответы, простая сортировка. Перевёл их на дешёвую модель, разница в цене 12x.

Это реально работает. Haiku стоит в 60 раз дешевле Opus. На рутине разницу в качестве не увидите. Я сам так делаю с scheduled tasks: тяжёлое на Opus, всё остальное на Haiku. Экономия ощутимая.

Context window discipline: минус 45% токенов

Каждые 4-5 ходов диалога, суммаризация. Дальше агенту уходит только саммари плюс последние 2 хода. У автора медианный контекст был 120K токенов, пики до 400K. После сжатия, кратно меньше.

Работает. Но автор сам проговорился: "теряется нюанс". Какой нюанс? В каких задачах? Насколько критично? Молчит. Это важно, потому что на сложных задачах (разбор контракта, анализ кода) потеря контекста = потеря качества. На рутине - пофиг.

Prompt caching: ещё минус 25%

Системный промпт в 3 000 токенов кэшируется. Не пересчитывается каждый вызов. Стандартная фича, у Anthropic есть, у OpenAI есть. Включается одной строкой. Тут без вопросов, просто включите, если ещё нет.

Убрал reflection loops: минус 20%

Агент перестал перепроверять себя на задачах, где "уверенность выше порога". Какого порога? Как измеряет уверенность? Не раскрыто. Принцип верный: не трать токены на второй круг, если первый ок. Но без метрики это пальцем в небо.

Автор - noname. Два фолловера на Medium, пушит свою "RapidClaw" экосистему. Статья по сути рекламный пост.

Кода ноль. Ни строчки. Обещает "one-line config change", но не показывает какой. Повторить по статье нельзя.

Куда делись $850? Стартовые $4 000 расписаны по месяцам (январь $400, февраль $1 100, март $4 000). А финальные $850, просто "примерно столько". Разбивки нет.

Качество никто не мерил. "Качество не упало", но ни одного A/B теста, ни метрики, ни даже скриншота. Self-reported.

И мой любимый момент. Автор между делом упоминает: "making maybe a tenth" от $4 000. Это $400 выручки в месяц. При расходах $850. Чувак оптимизировал расходы бизнеса, который в минусе. Красиво, но контекст меняет всё.

Методы рабочие. Автор сомнительный. Отделяем одно от другого.

Если тратите $1 000+ в месяц на API, начните с аудита: какие задачи сидят на дорогой модели? Если больше половины - рутина (а скорее всего так), переводите на Haiku или аналог. Разница в цене 60x, на шаблонных задачах разницу не заметите.

Prompt caching включите прямо сейчас, если ещё нет. Это бесплатная оптимизация.

Context window, аккуратнее. На длинных диалогах суммаризация экономит, но на сложных задачах режет качество. Тестируйте на своих данных, а не верьте на слово.

Reflection loops, тоже тестируйте. Идея здравая (не гонять модель по второму кругу на простом), но порог "простого" у каждого свой.

Грубая прикидка: routing плюс кэширование дадут 40-70% экономии. Не 79% как в статье, но $400-700 в месяц при расходах от $1 000, вполне реально.

Источник: Medium, Tijo Bear. Self-reported, неаудированный. Методы подтверждены документацией Anthropic, OpenAI и личным опытом

Больше разборов, кейсов и AI-инструментов для бизнеса: t.me/gorilla_under_hood