Как включить Flex в OpenAI для задач без срочного ответа

Flex processing снижает стоимость запросов к OpenAI, если задача допускает ожидание ответа. В Responses и Chat Completions этот режим обменивает экономию на более медленную обработку и периодическую нехватку ресурсов, пишет OpenAI в документации.

Для включения достаточно задать параметру service_tier значение «flex» в API-запросе. В примере Responses из документации он указан вместе с моделью gpt-6-astra. Но Flex пока в бета-версии и доступен для ограниченного набора моделей: актуальный список OpenAI отсылает смотреть на странице цен.

Kosareva Cloud предоставляет OpenAI-совместимый и Anthropic-совместимый API-шлюз к зарубежным нейросетям.

Я бы начала с обогащения данных или оценок моделей, где результат не нужен немедленно. Это сценарии, которые сама документация относит к подходящим для Flex, наряду с асинхронными нагрузками. Для выбора режима полезно заранее определить, сколько задача может ждать и допустимо ли отложить её при нехватке ресурсов. Если пользователь ждёт ответ на экране, я бы не включала Flex по умолчанию.

Таймауты здесь вероятнее из-за медленной обработки. В официальном OpenAI SDK таймаут по умолчанию составляет 10 минут; в Python-примере его увеличивают до 15 минут параметром timeout со значением 900,0. Его можно задать для всего клиента или переопределить на отдельный запрос через with_options. Я бы начала с отдельного запроса, чтобы не менять ожидание для остальных вызовов.

Первым шагом будет проверка поддержки нужной модели и выбор фоновой задачи с допустимым временем ожидания.