Полезное в эстафете Codex: бесконечный кеш в приложениях и API
В эстафете 26 дней от Тибо приятное обновление. Сегодня в OpenAI анонсировали, что теперь в Codex и Work у нас будет бесконечный кеш.
Пожалуй это самый крупный релиз всей серии. Расскажу почему.
⚙ Раньше было дорого
Было такое, что ночная задача могла стать лотереей по расходам. Ты отправлял агента выполнять какой-то долгий цикл с кучей текстов, а утром приходил и у тебя заканчивались лимиты даже на GPT Sol. Чаще всего это происходило из-за инвалидации кеша между подходами.
В Anthropic кеш живёт один час. Я очень расстраивался, когда приходилось прерваться от работы с большим проектом на 500к токенов контекста и вернуться под предупреждение внутри Claude Code о том, что новая сессия сэкономит столько то токенов.
В общем теперь больше нет штрафа за возвраты к старым чатам.
🤷 ♂ У меня возникает логичный вопрос — где хранится этот кеш и откуда у OpenAI мощности.
Сегодня гоняю Astra на большой задаче с подготовкой скилла + эвалов — если честно старт этой задачи скушал 85% недельных лимитов за ночь три дня назад.
После обновления у меня расход 6% за день — кажется механика реально полезная.
⚙ Разработчиков тоже не забыли
В АПИ появился 12-часовой кеш. Запись за 2,5 цены (это в 2 раза дороже стандартного 30 минутного) с другой стороны в пет-проектах вашего покорного слуги это кажется более применимой историей, чем 30-минутный — так как маленький кеш работал как монетка и давал незначительный прирост.
Заметили сокращение потребеления токенов? Пишите в комментариях
----