Крупная модель выдумала мне клиента. Как я выбирал ИИ для агента заявок по эталону, а не по рейтингам

В заявке был только вопрос: ни названия компании, ни контакта, ни суммы. Модель на 30 миллиардов параметров всё равно заполнила поле «контрагент». Модель в два с лишним раза легче оставила его пустым. Так я и выбрал, какая модель будет работать в моём агенте приёма заявок.

Агент разбирает входящие заявки: письмо и вложения — Word, Excel, сканы — превращаются в одну карточку с полями. Контрагент, бюджет и валюта, срок, количество, контактное лицо, ИНН, почта. Дальше правила оценки, которые менеджер меняет сам, ставят вердикт «браться / не браться / нужна проверка». В CRM ничего не уходит, пока человек не одобрит заявку. Каждый шаг пишется в журнал.

Самое дорогое место — извлечение. Если модель ошиблась в бюджете, правила честно посчитают вердикт по неверной цифре, и менеджер будет решать по ней же. Поэтому модель я выбирал не по рейтингам, а по тому, как она справляется именно с этой работой.

Всё работает локально на одном ноутбуке: модель, распознавание текста, база. Заявки синтетические.

Я написал эталон: 10 заявок и 67 фактов, которые из них должны быть извлечены. Ответы записал руками до первого прогона — иначе легко подогнать ожидания под то, что выдала модель.

В эталон специально положил ловушки, потому что ошибки живут в них:

Результат считает скрипт: сравнивает каждое поле с ответом. Каждую модель прогонял дважды и считал второй, тёплый проход. Перед следующей моделью предыдущая выгружалась из памяти.

Модель заполняет поля по JSON-схеме. В первой версии схемы поля были необязательными — и модель просто пропускала часть из них: контрагента, предмет заявки, позиции. Не ошибалась, а молча не заполняла.

Когда я сделал все поля обязательными, на той же заявке все поля стали верными, а ИНН и почта, которых в тексте не было, остались пустыми, а не выдуманными.

Вывод простой: если поле необязательное, модель имеет право его не заполнить — и пользуется этим правом.

Перед замером проверил, что нового вышло в библиотеке локальных моделей: за месяц список обновляется заметно, и вчерашний лидер может оказаться не лучшим. Отобрал модели, которые помещаются в 24 ГБ памяти вместе с распознаванием текста и базой.

Первый прогон — на пяти заявках, 37 фактов:

qwen3.8 шла параллельно со сборкой фронтенда и браузером, часть замедления — от этого. Но и без поправки плотная модель на 17 ГБ не быстрее 12-миллиардной и не точнее её на этом наборе.

Ловушка с бюджетом — это та самая прошлогодняя цена из старого письма. Две модели взяли её вместо актуальной.

Во второй прогон оставил двух финалистов и расширил эталон до 10 заявок и 67 фактов:

Третья ошибка и стала решающей. В заявке-вопросе нет ни названия, ни контакта, а qwen3:30b заполнила поле «контрагент». Это ровно то, чего агент делать не должен: пустое поле человек заметит и уточнит, а правдоподобное выдуманное название пройдёт дальше.

qwen3:30b при этом быстрее: у неё 30 миллиардов параметров, но в каждом ответе работают около 3 миллиардов. Только скорость в этой задаче — не главное. 18 секунд вместо 23 на заявку ничего не меняют, когда заявок десятки в день. А выдуманный клиент в CRM стоит дороже.

Память. Пока qwen3:30b держала в памяти 18 ГБ из 24, распознавание документов на видеокарте упало с нехваткой памяти. Перевёл его на процессор — это стоит примерно секунду на документ, зато больше не зависит от того, сколько памяти занимает модель.

Кириллица в сканах. Без явно заданного языка распознавание прочитало «Счёт № 2026-0912 Итого 48 500 руб.» как «Cuët Ne 2026-0912 Nτoro 48 500 py.». Одна настройка языка — и тот же скан читается верно. Если бы я не смотрел на сырой текст, списал бы такие ошибки на модель.

Первый выбор оказался неверным. После первой проверки на одной заявке по умолчанию стояла qwen3:30b — на той заявке она была точнее и быстрее меньшей qwen3.5:9b. Решение отменил только эталон на нескольких заявках. Одна заявка — не статистика.

По умолчанию в агенте gemma4:12b: 67 из 67 фактов, 7,6 ГБ памяти, около 23 секунд на заявку на ноутбуке с Apple M4 Pro и 24 ГБ.

Эталон пригодился и дальше. Когда я менял промпт, чтобы защитить агента от инструкций, спрятанных в документах, прогнал его снова: 67 из 67, качество не упало. На отдельном наборе из пяти английских заявок — 43 из 43 фактов, и 5 из 5 вердиктов совпали с посчитанными вручную.

Модель в агенте можно заменить на облачную или другую локальную. Но менять её я буду так же: сначала прогон эталона, потом решение.

Заявки синтетические и написаны одним автором, «сканы» — сгенерированные изображения. Модели локальные, облачные не проверялись. Замеры на пяти заявках — один прогон на модель, разброс не оценивался; температура 0. Прогон qwen3.8 шёл параллельно с другими задачами на машине. Время на длинных вложениях не мерилось. Агент — мой демо-проект, все цифры — из файлов замеров.

А вы по чему выбирали модель для своей задачи — по рейтингам, по цене или по своему набору примеров?