Оптимизация расхода токенов Грок Бота, как снизить затраты
⚪ Оптимизация расхода токенов агентом (Grok Bot)
👉 Простая бытовая заметка, но, возможно, кому то будет актуально.
Если у клозедов их Dots пока не считаются на расходы лимитов подписки, то у Маска с его Грок Ботом на днях уже был легкий скандал с использоваием - когда квоты использования агента порезали и Маск даже отдельно прокомментировал - неустойчивая схема вышла, слишком дорого гонять агента в сравнении с выручкой от него.
Поэтому щедрот квоты не ждем, пошел смотреть квоту - и удивился.
▶ Бота я юзаю не так интенсивно, и в свете последних изменений на своей мелкой подписке за $30 (Premium) обнаружил то, что мне не очень понравилось: набежало потраченных 48% недельной квоты всего за 2.5 дня использования. Несложные подсчеты говорили, что в недельную квоту никак не вписываемся, а тратить кредиты на бота не хотелось.
▶ Вариантов нет - надо погружаться в ситуацию: взял перечень его задач, попросил проанализирвоать сколько сенсов/сессий в сутки он работает. Получилось 91 "пробуждение" по разным расписаниям. omfg, когда я успел надавать столько поручений?!
👉 Как оптимизировть? Решил сначала пойти самым простым способом: батчинг. Вместо запуска всех поручений по индивидуальному расписанию (из было штук 6 разного рода) завел 3 временных слота (утро/день/вечер), и раскидал задачи по ним. Сами задачи при этом не менял, как оно делало работу, так и делало. Вся разница - в периодичности запусков, но тут несущественные опоздания в уведомлении о некоторых вопросах были мне приемлемы, хотя дневной запуск думал сделать двойным. Потом решил что сделаю если будут основания, а пока ограничился единственным дневным запуском! Жизнь покажет что будем менять.
Первые результаты весьма удивили - среднее использование в день упало с 21% до 9% недельной квоты, что уже нормально и на бота хватает на все 7 дней работы в неделю.
👉 Следующая оптимизация - попробовать перевести часть задач на скрипты, чтобы вместо агентной сессии работал детерминированный код, что сильно экономичнее. Благо, облачный комп у грок-бота имеется, не нужно даже мощности ему выделять. Это уже сложнее: некоторые задачи связаны с браузером, и без агента выглядят хрупкими. Думаю, скриптовать буду только то, что совсем просто скриптуется.
Еще одной разумной оптимизацией было бы выбрать модель по задачу, но грок бот так не умеет, да и нету особого выбора у Маска (пока ?). Пригодился бы ему тут нормальный быстрый и дешевый флеш, а нету! Зря они композёра у курсора не перебрендировали/адаптировали. В подобной ситуации клозеды для своих Дотов думают часть задач запускать вместо астры на терре. На их масштабах экономия будет колоссальная.
(ц) так и живём