Олег Линьков

Проверяем факты в ИИ-карточке товара: Python-валидатор и ошибка, которую он пропускает

Проверяем факты в ИИ-карточке товара: Python-валидатор и ошибка, которую он пропускает

В карточке средства защиты растений указаны правильные идентификатор, культура и единица измерения. В описании добавлено: «Средство подходит для любой культуры, ограничений нет». Если программа сравнивает только поля JSON с каталогом, такая карточка пройдёт проверку.

Именно это получилось в небольшом стенде для этого разбора. На 16 учебных карточках валидатор отметил все 12 намеренных ошибок в структурированных данных, принял три корректных варианта и пропустил одну неверную фразу в описании. Результат не измеряет качество какой-либо языковой модели: карточки составлены вручную, а ошибки специально внесены в копии утверждённых данных. Здесь испытывается проверяющий код.

Разберём, что такой код может взять на себя и почему его результат нельзя назвать ready_to_publish.

Что считаем источником

В стенде три позиции: учебный препарат, партия семян и запасная часть. Все идентификаторы начинаются с DEMO-; регистрационные сведения, документы, модели и числа вымышлены. Они не описывают товар на рынке и не предназначены для выбора препарата или нормы применения.

Для каждой позиции подготовлены facts и sources. Первое содержит утверждённые значения, второе — идентификатор версии документа для каждого поля. Код не читает оригинальные документы и не определяет, правдивы ли они. Эталон должен быть утверждён до проверки карточек; иначе программа будет последовательно воспроизводить ошибку в самом каталоге.

{ "DEMO-P1": { "facts": { "registration_id": "DEMO-REG-01", "registration_status": "действует", "crops": ["DEMO-CROP-A"], "rate_value": "1.20", "rate_unit": "л/га" }, "decimal_fields": ["rate_value"], "sources": { "registration_id": "DEMO-REGISTRY@1", "registration_status": "DEMO-REGISTRY@1", "crops": "DEMO-DOC-DEMO-P1@1", "rate_value": "DEMO-DOC-DEMO-P1@1", "rate_unit": "DEMO-DOC-DEMO-P1@1" } } }

Источник привязан к полю, а не ко всей карточке. Ссылка на верную этикетку рядом с неверной культурой не должна скрыть несовпадение значения. Обратная ситуация тоже требует внимания: значение совпало, но указан документ старой версии. Это отдельное замечание source_mismatch.

Для семян в примере проверяются гибрид, партия и идентификатор документа качества; для детали — артикул и список совместимых моделей. Здесь нет попытки свести отраслевые требования к одной универсальной государственной системе.

Какие сравнения допустимы

Для артикулов и идентификаторов используется точное равенство. В учебной детали буква I заменена цифрой 1: DEMO-17I превратился в DEMO-171. Исправлять это автоматически опасно. В реальном каталоге оба артикула могут существовать.

У списка моделей порядок несущественен, но состав важен. ['DEMO-M1', 'DEMO-M2'] и переставленный список равны; появление DEMO-M3 — изменение совместимости. Дубли элементов тоже отмечаются, чтобы случайное повторение не терялось при превращении списка в множество.

Десятичное число передаётся строкой. 1.20 и 1.2 сравниваются через Decimal, поэтому разное оформление не считается изменением значения. При этом единица измерения хранится отдельным полем: совпадение числа не оправдывает замену л/га на мл/га. Валидатор не выполняет пересчёт единиц. Булево true, NaN и бесконечность десятичным значением не признаются.

Вот используемая логика сравнения:

from decimal import Decimal, InvalidOperation def compare_value(expected, actual, decimal_field=False): if decimal_field: if type(actual) is not str: return "type_mismatch" try: left, right = Decimal(expected), Decimal(actual) except (InvalidOperation, ValueError): return "invalid_decimal" if not left.is_finite() or not right.is_finite(): return "invalid_decimal" return None if left == right else "value_mismatch" if type(actual) is not type(expected): return "type_mismatch" if type(expected) is list: if not all(type(item) is str for item in actual): return "type_mismatch" if len(set(actual)) != len(actual): return "duplicate_list_value" return None if sorted(expected) == sorted(actual) else "value_mismatch" return None if expected == actual else "value_mismatch"

В этом маленьком примере type(...) выбран намеренно: в Python bool является подклассом int, и слишком широкая проверка числового типа может принять его за число. Для рабочего каталога типы и ограничения удобнее описывать отдельной схемой. Это проверит форму входа; сравнение с актуальным эталоном всё равно понадобится.

Проверка карточки

Функция ниже возвращает список замечаний, а не разрешение на публикацию. Все поля из эталона обязательны. Неизвестный SKU и новое поле останавливают проверку. Смысл произвольного описания не анализируется.

def validate_card(catalogue, card): if type(card) is not dict: return [{"field": "card", "code": "invalid_object"}] sku = card.get("sku") if type(sku) is not str: return [{"field": "sku", "code": "type_mismatch"}] reference = catalogue.get(sku) if reference is None: return [{"field": "sku", "code": "unknown_sku"}] facts = card.get("facts") sources = card.get("sources") if type(facts) is not dict: return [{"field": "facts", "code": "invalid_object"}] issues = [] for field in sorted(set(facts) - set(reference["facts"])): issues.append({"field": field, "code": "unknown_field"}) if type(sources) is not dict: issues.append({"field": "sources", "code": "invalid_object"}) sources = {} for field, expected in reference["facts"].items(): if field not in facts: issues.append({"field": field, "code": "missing_field"}) continue error = compare_value(expected, facts[field], field in reference.get("decimal_fields", [])) if error: issues.append({"field": field, "code": error}) if field not in sources: issues.append({"field": field, "code": "missing_source"}) elif sources[field] != reference["sources"][field]: issues.append({"field": field, "code": "source_mismatch"}) return issues

Минимальный пример можно запустить без библиотек и обращения к ИИ-сервису: сохранить приведённый JSON как approved.json, а оба определения функций и следующий фрагмент — в Python-файл рядом с ним.

from copy import deepcopy from pathlib import Path import json catalogue = json.loads(Path("approved.json").read_text(encoding="utf-8")) reference = catalogue["DEMO-P1"] card = { "sku": "DEMO-P1", "facts": deepcopy(reference["facts"]), "sources": deepcopy(reference["sources"]), "description": "Средство подходит для любой культуры, ограничений нет." } print(validate_card(catalogue, card)) # [] — поля совпали, текст не проверен card["facts"]["rate_unit"] = "мл/га" print(validate_card(catalogue, card)) # [{'field': 'rate_unit', 'code': 'value_mismatch'}]

Что получилось на 16 случаях

Для полного прогона использованы файлы approved.json, candidates.json, validator.py и run_demo.py. Результаты записываются в CSV и JSON, поэтому замечания можно посмотреть по каждой карточке, а не только по итоговому счётчику.

Проверяем факты в ИИ-карточке товара: Python-валидатор и ошибка, которую он пропускает

Вывод запуска:

cards: 16 needs_review: 12 structured_fields_match: 4 C16: structured_fields_match (free-text claim is not checked)

К стенду добавлены 14 тестов: они проверяют эти границы и некорректные типы входа. Все прошли. Число 12 из 12 здесь не следует превращать в «точность 100%». Ошибки выбраны самим разработчиком теста; неизвестных типов ошибок и реальных ответов моделей в наборе нет. Набор подтверждает поведение функций на перечисленных случаях, включая их известный пропуск.

Что делать с пропущенной фразой

Самый узкий вариант — не разрешать генератору писать произвольные заявления о применении и совместимости. Такие предложения собираются шаблоном из утверждённых полей. Модель может готовить общий вводный текст, но поля с последствиями для покупателя остаются вне свободной генерации.

Если свободное описание нужно, его следует проверять отдельно. Сравнение текста второй моделью может помочь найти спорные фразы, но её согласие не является подтверждением. Для публикации критичного утверждения нужны источник, понятная связь с товаром и решение ответственного специалиста.

В результате процесса полезно сохранять три разных состояния: поля сопоставлены; описание проверено; публикация утверждена. В стенде реализовано только первое. Название structured_fields_match оставлено длинным именно затем, чтобы его не приняли за итоговый статус карточки.

У кода есть ещё несколько границ. Он не узнает, что документ отозван: актуальность эталона должна обновляться отдельным процессом. Не проверит, что поставляемая партия соответствует карточке. Не распознает корректный синоним модели и не пересчитает единицы. Не рассчитает предельно допустимый размер входного файла и права доступа. Эти задачи нужны рабочей системе, но добавлять их незаметно в обещание «проверили ИИ» нельзя.

Для каталога такой валидатор — небольшой, понятный участок проверки. Он полезен тем, что одинаково обнаружит подмену поля, пришедшую от модели, из импорта CSV или после ручного редактирования. Случай C16 показывает, где этот участок заканчивается.