Хорошая нейросеть должна уметь говорить «не знаю»
Корпоративный ИИ не должен отвечать на каждый вопрос. Если информации недостаточно, источники противоречат друг другу или цена ошибки слишком высока, безопаснее отказаться от ответа и передать задачу человеку.
Обычный чат старается быть полезным при любых обстоятельствах. Даже когда данных мало, нейросеть может построить логичное предположение и сформулировать его настолько уверенно, что пользователь примет догадку за факт.
Для обсуждения идеи это не всегда критично. В рабочем процессе такой ответ может привести к неверному платежу, пропущенному сроку или ошибке в документе.
Когда система должна остановиться
Причины для отказа можно определить заранее:
- в корпоративных источниках нет ответа;
- необходимые поля не заполнены;
- документы противоречат друг другу;
- формат входных данных не распознан;
- значение выходит за допустимый диапазон;
- обнаружен новый тип обращения;
- действие имеет юридические или финансовые последствия;
- результат не прошёл автоматическую проверку.
В этих ситуациях ИИ не должен пытаться закончить задачу любой ценой.
«Я уверен на 95%» недостаточно
Можно попросить модель самостоятельно оценить уверенность в ответе. Но нейросеть способна одинаково убедительно оценить и правильный вывод, и собственную ошибку.
Поэтому порог уверенности лучше определять по нескольким признакам:
- найден ли проверенный источник;
- достаточно ли данных для вывода;
- совпадают ли сведения в разных документах;
- прошёл ли ответ проверку по справочникам;
- соответствует ли результат заданной структуре;
- встречался ли похожий случай при тестировании.
Чем выше цена ошибки, тем больше должно быть независимых проверок.
Отказ тоже должен быть полезным
Плохой вариант:
Не удалось обработать запрос.
Хороший вариант:
В договоре не найден срок оплаты. Автоматическое решение невозможно. Проверьте разделы 3 и 5 или запросите недостающую информацию у контрагента.
Во втором случае система не выдумывает ответ, но помогает человеку продолжить работу.
Человеку нужно передавать контекст
Специалист не должен начинать проверку с нуля.
Вместе с задачей полезно показать:
- исходный запрос;
- найденные документы;
- извлечённые данные;
- причину остановки;
- результаты автоматических проверок;
- предполагаемые варианты решения.
Так отказ нейросети не останавливает процесс, а переключает его на безопасный ручной маршрут.
Ценность рабочей системы определяется не только количеством выполненных задач. Иногда лучший результат ИИ заключается в том, что он вовремя перестал импровизировать.