Очередь сохранила AI-задачу. Но выполнять её уже поздно
Worker получил свободный слот и отправил запрос в модель. Технически всё правильно — кроме того, что пользовательская задача потеряла смысл ещё в очереди. Разберу, как отделить надёжную доставку от полезного выполнения и не обновлять срок жизни задачи при каждом retry.
Приняли запрос — ещё не значит, что его нужно выполнять вечно
Представим помощника оператора: он готовит подсказку для текущего обращения. Запрос поставили в очередь, провайдер замедлился, накопился backlog. Когда worker добрался до задачи, оператор уже закрыл обращение.
Модель может успешно ответить, а система — аккуратно сохранить результат. Но своевременной помощи не получилось.
Это учебный сценарий, не описание моего production-инцидента. Здесь интересен контракт: обещали ли мы пользователю обязательно выполнить работу или подготовить результат, пока он ещё полезен?
Для выгрузки архива ожидание может быть приемлемым. Для подсказки к текущему экрану — нет. Поэтому я бы не назначал одинаковую политику всем сообщениям в очереди.
Три времени, которые нельзя смешивать
В такой системе я бы разделял:
- Срок полезности задачи: до какого момента результат нужен продукту.
- Таймаут одной внешней попытки: сколько worker готов ждать конкретный запрос.
- Срок хранения сообщения в брокере: как долго инфраструктура сохраняет возможность доставки.
Последние два параметра не заменяют первый. Короткий HTTP timeout не мешает запустить давно устаревшую задачу. А длительное хранение сообщения не делает результат актуальным.
В Amazon Builders’ Library отдельно разбирается, как backlog увеличивает задержку и время восстановления. Среди вариантов — изоляция старого трафика и отказ от сообщений, потерявших полезность. Это не универсальный совет удалять накопленные задачи: допустимость такого поведения зависит от назначения системы.
Для интерактивной AI-подсказки я бы сохранял время создания и абсолютный срок полезности на сервере при приёме запроса. При повторной доставке они не меняются.
Проверка перед стартом: осталось ли достаточно времени
Пример политики: задача полезна в течение минуты, а для старта мы хотим иметь минимум восемь секунд оставшегося бюджета. Это условные настройки учебного примера, не измеренная скорость модели и не готовый SLO.
Ниже — проверенная локально функция. Она принимает объект Task с целочисленными полями created_ms, expires_ms, min_start_budget_ms. Все времена — миллисекунды Unix epoch, заданные доверенной серверной стороной.
Здесь start означает только «локальная политика разрешает начать попытку». Это не обещание успеть к сроку: задержка модели остаётся переменной.
min_start_budget_ms — порог допуска, а не гарантированная длительность. Его стоит подбирать по профилю задачи и наблюдаемому распределению задержки; даже высокий перцентиль не даёт гарантии для каждого вызова.
margin_ms — дополнительный запас. Он может учитывать ограниченную неопределённость часов и накладные расходы, но не исправляет произвольный сдвиг времени между хостами.
Где именно проверять
Проверки при извлечении сообщения недостаточно. После этого worker может долго ждать семафор, токен rate limiter или освобождение соединения.
Я бы делал проверку после получения необходимых разрешений, непосредственно перед внешней отправкой. Если подготовка занимает заметное время — повторял бы её и после подготовки.
Внутри одного процесса оставшийся бюджет можно перевести в локальный монотонный дедлайн. Но такое значение нельзя сериализовать как общий срок для другой машины. Для сохранённого межсервисного срока нужны согласованная серверная шкала времени, контроль часов и явная политика на случай неопределённости.
Если часы worker показывают время раньше серверного создания задачи, функция возвращает clock_uncertain. Это не команда удалить сообщение. Я бы выделял такое состояние в метриках и останавливал автоматический допуск до выяснения причины.
Почему retry не должен дарить задаче новую жизнь
Опасный вариант выглядит так: при каждой повторной доставке мы ставим expires_at = now + TTL. Тогда задача, которая должна была потерять актуальность, получает новый срок после каждой ошибки.
Я бы сохранял исходный expires_at для всей логической задачи. Новая попытка получает новый attempt_id, но не новый продуктовый дедлайн.
Если срок уже истёк до внешней отправки, можно завершить задачу отдельным состоянием not_started_deadline. Если времени ещё немного осталось, но порог старта не выполнен, — not_started_budget.
Это не ошибки провайдера и не повод бесконечно отправлять сообщение на повтор. В интерфейсе полезнее написать: «Не начали обработку: время ожидания превысило допустимое». Для новой попытки нужна понятная продуктовая операция с новым сроком, а не незаметное продление старой.
Граница, после которой локальная отмена ничего не доказывает
Вся эта политика относится к моменту ДО отправки внешнего запроса.
Если запрос уже ушёл и его исход неизвестен, нельзя присвоить not_started_deadline задним числом. Истечение нашего срока не доказывает, что провайдер ничего не сделал или не учёл расход.
Нужно отдельно сверять состояние внешней операции, если API позволяет это сделать. Аналогично, закрытие вкладки не равно подтверждённой отмене задачи.
Проверка из примера также не захватывает сообщение атомарно, не защищает от двух worker и не обеспечивает однократное выполнение. Для production нужны согласованные переходы состояний, lease/claim, защита от повторных эффектов и определённый порядок завершения сообщения в брокере.
Сначала сохраняем итоговое продуктовое состояние, затем подтверждаем обработку сообщения. Повторная доставка уже завершённой задачи не должна начинать генерацию заново.
Что действительно проверили тесты
Локально прошли 14 unit-тестов на искусственных временах, без запросов к модели.
Проверяются свежая задача, точная граница допуска, истечение срока, запас времени, некорректные параметры, часы раньше создания и сохранение исходного срока при повторе.
Отдельный сценарий моделирует ожидание:
- При получении сообщения политика возвращает start.
- Пока worker ждёт ресурс, срок проходит.
- Повторная проверка возвращает expired.
Это проверка чистой функции допуска, а не нагрузочный тест очереди, платёжного учёта или распределённого исполнения.
Что смотреть в эксплуатации
Одной длины очереди мало. Я бы отдельно наблюдал:
- время от создания до первой попытки;
- оставшийся бюджет в момент внешней отправки;
- долю not_started_deadline и not_started_budget;
- долю результатов, пришедших после продуктового срока;
- неопределённость часов и причины повторных доставок.
Для обязательных фоновых операций нужна другая политика: не отбрасывание по краткому TTL, а выполнение с честным статусом ожидания. Для интерактивных и фоновых задач полезно разделять очереди или классы обслуживания. Иначе старый backlog будет конкурировать за ресурс со свежими запросами.
При этом приоритет новых задач может привести к голоданию старых. Разделение очередей требует квот и справедливого распределения, а не просто правила «всегда брать самое новое».
Мой практический вывод: сначала определите, что продукт обещает сохранить — саму работу или её своевременную полезность. Затем зафиксируйте исходный срок в задаче, проверьте его перед внешней отправкой и не обновляйте на retry.
Надёжно доставленная задача и полезно выполненная задача — не одно и то же.
А у вас срок полезности проходит через очередь до worker — или каждый повтор получает новый полный timeout?
Архитектурный источник: Amazon Builders’ Library, «Avoiding insurmountable queue backlogs». Материал проверен 8 ноября 2026 года. Описанная функция допуска — самостоятельный учебный пример, а не код AWS.