Где ставить cache_control в Claude, чтобы повторно использовать кеш

Кеширование Claude помогает повторно использовать инструкции и контекст, которые вы отправляете с каждым запросом. Параметр cache_control отмечает конец сохраняемого префикса: в него входит всё от начала запроса до отмеченного блока включительно.

Как пишет Anthropic в документации, префикс собирается в порядке tools → system → messages. Поэтому я бы вынесла постоянные определения инструментов, инструкции и примеры в начало, а новое сообщение пользователя оставила после точки кеширования. Если перед ней меняется хотя бы один блок, хеш уже другой и прежняя запись не совпадёт.

Конкретная настройка: cache_control с полем type со значением «ephemeral» на последнем блоке постоянных инструкций. Метку времени и контекст конкретного запроса лучше расположить дальше. Через шлюз Kosareva Cloud параметр cache_control передаётся в Claude без изменений.

Для автоматического выбора точки cache_control задаётся на верхнем уровне тела запроса: система отметит последний пригодный блок. Я бы начала с явной точки, если у запроса меняется хвост: так граница остаётся перед ним. Автоматический режим можно сочетать с явными точками, но он занимает один из 4 слотов. Если все заняты, добавление автоматического кеширования вернёт ошибку 400.

Отдельная ловушка: короткий префикс не кешируется, даже если метка стоит правильно. Минимальная длина зависит от модели, а запрос ниже порога выполнится без ошибки. Запись кеша становится доступна только после начала первого ответа, поэтому одновременная отправка одинаковых запросов ещё не гарантирует попаданий.

Первый шаг — отметить конец постоянной части и посмотреть usage при повторном запросе после начала первого ответа. Если cache_creation_input_tokens и cache_read_input_tokens оба равны 0, кеширования не было; проверку я бы начала с длины префикса. Если запись создаётся заново, следующим шагом будет сравнение содержимого до метки, включая отмеченный блок.