Полезность объяснений работы ИИ

Хотелось бы, чтобы ИИ был более прозрачным, и чтобы мы как пользователи знали, почему инструмент предлагает тот ответ, который предлагает, правда? То есть, чтобы было какое-то объяснение: вот модель взяла такие-то данные, вот так их обработала, вот это оказалось важным и поэтому вы получили такую рекомендацию. Но не любое объяснение будет полезным.
О том, как должно выглядеть полезное объяснение и как его составить, рассуждают авторы статьи «On Evaluating Explanation Utility for Human-AI Decision Making in NLP» («Оценивая полезность объяснений для принятия решений командой из человека и ИИ»). Сегодня мы как раз эту статью обсудим.

Статья написана про ИИ, который используется для обработки естественного языка (Natural Language Processing, NLP). Авторы указывают на следующую проблему: способы объяснить работу такого ИИ есть, но они скорее технические и ориентированы скорее на разработчиков, чем на пользователей. Рекомендаций по написанию хороших и качественных человекоориентированных объяснений вообще нет, и это следует исправить.
Чтобы оценить, насколько хорошо составлено объяснение, существуют свои методы. Их можно разделить на три группы:

Последний вариант лучше всего, однако он же самый дорогой и трудозатратный. На начальных этапах разработки технологии в его использовании нет большого смысла, однако для запуска продукта на рынок он как раз подходит.
Хорошее объяснение должно решить проблему чрезмерного доверия или недоверия к ИИ (про чрезмерное доверие был у меня один пост) и сформировать у пользователей адекватное реальности понимание того, что ИИ может и чего не может и как его использовать.
По поводу предыдущего поста, кстати: мы там рассматривали статью, в которой авторы привели разные подходы к оценке чрезмерного доверия к ИИ. Один из вариантов – посчитать, сколько раз человек соглашается с неверными рекомендациями ИИ. «А что если, – говорят авторы той статьи, которую мы читаем сегодня, – они не соглашаются с ИИ, а самостоятельно пришли к неверному решению?» Аргумент.

В других исследованиях людям предложили сначала принять решения самостоятельно, а потом посмотреть рекомендации ИИ. И посчитали, как часто люди решение меняют под влиянием рекомендаций. Такие оценки показывают эффективность командной работы человека и ИИ. В идеале, эффективность команды должна быть выше, чем эффективность человека и ИИ, работающих по отдельности, иначе зачем это все? Хорошие, качественные объяснения должны работать в эту сторону.
Довольно неплохо показали себя комбинации из двух моделей и человека:

Для проведения экспериментов с объяснениями, авторы отобрали задачи, которые

Последний пункт о том, что в случае принятия неверного решения должны наступить негативные последствия.
Кроме того, авторы проверяли эффективность модели при решении задач: если она слишком низкая, ее нет смысла использовать, если слишком высокая – нет смысла привлекать человека.
Затем взяли множество наборов данных, которые используются для проверки качества объяснений. Такие наборы данных обычно содержат описание задачи и ожидаемое «правильное» объяснение решения. После сверки с приведенными выше критериями, оставили только наборы данных, которые описывали реальные задачи, были сложными для людей и несли в себе риск в случае принятия ошибочного решения.
На отобранных наборах данных дообучили несколько моделей-кандидатов – подготовка завершена.

Для проведения эксперимента участникам предложили задачу из области юриспруденции:

Пример задачи (таблицы 5 – 9 из приложений к статье):
Участнику эксперимента дали роль помощника юриста в юридической компании. Задача – проверить контракт одного из клиентов компании на предмет противоречия или соответствия соглашению о неразглашении (каждому из шести). Ошибка приведет к потерям для клиента и нанесению ущерба репутации компании. В прошлом участник якобы уже совершал подобные ошибки, потерял клиентов и нарвался на суд. Далее предлагаются соглашения, судебный иск и ряд вопросов к ним.
Все участники были достаточно подготовлены, чтобы дать правильный ответ, но им поставили ограничение по времени, чтобы в применении ИИ был смысл.
Чтобы избежать влияние рекомендаций ИИ на ответы, участник сначала должен был дать свой ответ, и только потом ему предоставлялась возможность посмотреть, что предлагает ИИ.
В конце все участники указывали, насколько уверены в своем решении. Там были еще некоторые модификации, они описаны в разделе 4 статьи.

В комбинации «модель + человек» модель без человека справлялась лучше, чем команда из модели и человека, хотя люди давали среднюю или высокую оценку своей уверенности в правильном выполнении задания.
В комбинации «предсказывающая модель + проверяющая модель + человек» теоретически получается заметно лучше. «Теоретически», потому что авторы признали свои проверяющие модели недостаточно качественными и подсчитали оценку исходя из числа ошибок предсказывающей модели и числа ошибок экспертов.
То есть, предсказывающая модель сделала n% ошибок, идеальная проверяющая модель все их нашла и передала экспертам-людям, люди исправили k% ошибок, и получился финальный хороший результат.
Таким образом, проверяющая модель должна здорово помочь в деле совершенствования командной работы ИИ и человека.
А куда там делись объяснения? Их участники эксперимента сочли не слишком полезными. Во многих случаях модель, например, находила нужную информацию, но делала из нее не те выводы.
Авторы предлагают коллегам провести подобные эксперименты, используя описанную методику, чтобы оценить, насколько полезны те объяснения, которые предлагает их ИИ.

В разделе «Ограничения» авторы пишут: «У нашего исследования есть ряд проблем [приводят ряд проблем], но мы старались». Это правильно, я считаю, потому что идеальные и надежные исследования не рождаются сами по себе, а строятся на косточках вот таких вот местами субъективных и местами недостаточно масштабных работ.
Что касается проверяющей модели, мы с коллегами еще до того, как мне попалась эта статья, пришли к тому, что ее неплохо бы использовать. Теперь мы сами проводим эксперимент на собственных сотрудниках и, надеюсь, в одном из следующих постов смогу поделиться результатами. Скорее всего, это произойдет у меня в телеграме, так что жду вас там.