Два одинаковых ключа в LLM-ответе: ошибка, которую поздно искать в dict

В ответе модели дважды встретился mode: сначала preview, затем apply. Обычный JSON-парсер Python оставит последнее значение — и валидатор схемы получит уже не исходный ответ. Разберу этот учебный сценарий: где ловить неоднозначность, почему strict=True не решает задачу и что проверить до вызова инструмента.

Иллюстрация сгенерирована в GPT Image 2. Абстрактный образ проверки неоднозначной команды, не схема работы парсера.
Иллюстрация сгенерирована в GPT Image 2. Абстрактный образ проверки неоднозначной команды, не схема работы парсера.

Схема проверяет уже изменённое представление

Представим интеграцию: модель предлагает параметры операции, а бэкенд проверяет их перед исполнением. Входной текст выглядит так: {"mode":"preview","mode":"apply"}. Это синтетический пример, не запись реального инцидента и не результат измерения какой-либо модели.

При стандартном json.loads в Python получаем {"mode": "apply"}. Такой объект вполне может пройти схему, в которой mode допускает preview и apply. Проблема не в том, что схема неверно проверила объект: к моменту проверки информация о первом значении уже исчезла.

Поведение с повторяющимися именами прямо описано в документации Python: по умолчанию используется последняя пара. Для изменения этого поведения предусмотрен object_pairs_hook. Это свойства конкретного декодера, а не обещание, что любой SDK или другой язык обработает текст так же.

И важная граница: даже единственное mode="apply" не является разрешением выполнить операцию. Режим, доступный пользователю, и необходимость подтверждения определяет доверенный код. Парсер устраняет неоднозначность, но не заменяет авторизацию.

Проверка нужна до превращения в dict

Я бы ставил такой контроль на границе, где ещё доступен полный текст JSON-аргументов конкретного вызова инструмента. Не на весь HTTP-ответ вслепую: у внешнего ответа своя оболочка, а у аргументов — свой контракт.

Если SDK уже вернул готовый словарь, проверять уникальность его ключей поздно. Стоит выяснить, предоставляет ли он исходный текст аргументов или возможность настроить декодирование. Обратная сериализация словаря потерянный ключ не восстановит.

Для потокового ответа я бы не исполнял команду по частично накопленным аргументам. Сначала нужно собрать завершённое значение в соответствии с протоколом провайдера, затем проверить его. Фрагмент, который пока выглядит корректно, не равен завершённой команде.

Небольшой барьер на стандартной библиотеке

Ниже самостоятельный учебный пример для небольшого, уже полученного текста. Он запрещает повтор имени внутри одного объекта, требует объект на верхнем уровне и отклоняет нечисловые константы и переполнение float. Это не полноценный безопасный JSON-парсер и не валидатор схемы.

"""Teaching boundary for a small, complete JSON text; not a schema validator.""" import json import math def unique_object(pairs): obj = {} for key, value in pairs: if key in obj: raise ValueError("duplicate JSON member") obj[key] = value return obj def reject_constant(_value): raise ValueError("non-standard JSON number") def finite_float(text): value = float(text) if not math.isfinite(value): raise ValueError("non-finite JSON number") return value def parse_object(text): if type(text) is not str: raise ValueError("expected JSON text") if len(text) > 16_384: raise ValueError("JSON text too long") value = json.loads( text, object_pairs_hook=unique_object, parse_constant=reject_constant, parse_float=finite_float, ) if type(value) is not dict: raise ValueError("expected JSON object") return value

object_pairs_hook позволяет проверить пары до окончательной сборки словаря; проверка срабатывает и во вложенных объектах. Одинаковое имя id в двух разных объектах при этом допустимо. Последовательность \u006dode декодируется в mode, поэтому такое экранирование не обходит проверку.

Я намеренно не добавляю имя проблемного поля или сам ответ модели в текст наших исключений. В рабочем обработчике стоит также не отправлять пользователю внутреннюю трассировку и не складывать исходный документ в общий лог: стандартные исключения парсинга могут хранить исходный текст в атрибутах.

Почему одного strict=True мало

У JSONDecoder параметр strict относится к управляющим символам внутри строк. Это не переключатель «запретить все расширения и неоднозначности». В документации отдельно описаны повторяющиеся имена, NaN и Infinity и отдельные способы изменить их обработку.

parse_constant закрывает NaN, Infinity и -Infinity, но не числовую запись 1e400. В моём локальном тесте преобразование такого числа в float даёт бесконечность, поэтому есть дополнительная проверка math.isfinite в parse_float.

Это выбранная политика приложения, не утверждение, что любая большая экспонента синтаксически запрещена в JSON. Для денежных значений я бы отдельно проектировал точность и диапазон: Decimal либо целые минимальные единицы по контракту. Подмена float на Decimal сама по себе не задаёт бизнес-ограничения.

Что проверено локально

На синтетических данных выполнены 14 unit-тестов, все прошли. Проверены потеря первого значения стандартным декодером, дубли на верхнем и вложенном уровнях, экранированное имя, одинаковые имена в соседних объектах, NaN и бесконечности, переполнение float, обычные числа и null, неподходящий верхний тип, лишний документ, Markdown-ограда, лимит длины и неподходящий тип входа.

Ещё два существенных контроля входят в этот набор: объект с mode="apply" и лишним полем проходит парсер — значит, схема и разрешения всё ещё нужны; визуально похожие Unicode-имена без нормализации остаются разными. Тесты не обращаются к LLM и не показывают частоту подобных ответов у моделей.

Повторяющийся ключ здесь отклоняется даже при одинаковых значениях. Это осознанный строгий контракт: не пытаться угадать, был ли повтор безвредным. Если старый клиент так отправляет данные, сначала нужны наблюдение и исправление клиента, а не незаметная смена семантики в продакшене.

Границы, которые нельзя спрятать за короткой функцией

Лимит 16 384 в примере — число символов уже созданной строки, выбранное для демонстрации, а не универсальная безопасная настройка. Сетевой слой должен отдельно ограничивать байты и распаковку до накопления большого ответа. Здесь нет отдельного лимита глубины вложенности, времени CPU или количества элементов; короткий глубоко вложенный документ всё ещё может упереться в ограничения интерпретатора.

Имена не приводятся к нижнему регистру и не нормализуются. Если следующая система это делает, она может создать новую коллизию. Для аргументов инструмента я бы использовал фиксированный набор ожидаемых имён, отклонял неизвестные поля и проверял все преобразования между границей и исполнителем.

Ветка ошибки не должна автоматически превращаться в «починить текст и выполнить». Выбрать одно из двух значений, вырезать ограду или попросить другую модель исправить команду — значит принять новое решение. Для операции с последствиями безопаснее не выполнять неоднозначную команду, а восстановление оформить отдельным ограниченным этапом.

Практический вывод

Я бы разделял четыре рубежа: однозначное декодирование, проверка схемы, проверка бизнес-состояния и разрешений, затем исполнение с предусмотренной защитой от повторов. Успех предыдущего рубежа не отменяет следующий.

Начать можно с одного теста на реальном пути от текстовых аргументов до обработчика: передать два одинаковых имени и убедиться, что инструмент не вызывается. Тест только на готовом dict такой дефект уже не увидит. А отклонения полезно учитывать отдельной метрикой без сохранения полного содержимого ответа.

Где у вас проходит граница проверки LLM-аргументов: ещё на исходном JSON-тексте или только после декодирования SDK? И можете ли вы доказать тестом, что неоднозначная команда не дошла до инструмента?

Источник и границы материала

Документация Python: json — разделы Repeated Names Within an Object, Infinite and NaN Number Values и JSONDecoder. Проверено 11 ноября 2026 года. Код и тестовые сценарии — самостоятельный локальный учебный пример, без запросов к моделям, производственных замеров и обещания полной защиты.