Если ИИ-агенты договорились, это ещё не значит, что они правы

Почему мультиагентной системе нужен проверяющий, с которым нельзя договориться

На недавней конференции я выступал с мыслью, что ускорение отдельных операций ещё не создаёт автоматизированного процесса.

Можно научить систему быстро выполнять отдельные действия. Но если человек по-прежнему вручную связывает их, проверяет весь результат и исправляет последствия, экономический эффект останется локальным. Нужен другой принцип: формализуемую работу выполняет система, результат проходит независимую машинную проверку, а человек получает только настоящие исключения.

Позже профессор МГУ с кафедры искусственного интеллекта говорил о следующем этапе развития этой технологии. Смысл его тезиса был примерно таким: создавайте мультиагентные системы и учите агентов договариваться между собой.

Мысль сильная.

Один агент ищет решение. Другой критикует. Третий предлагает альтернативу. Четвёртый сравнивает варианты. Вместо одного ответа появляется коллективная работа, в которой участники распределяют роли, спорят и исправляют друг друга.

Сначала мне показалось, что мы говорим о разных подходах. На самом деле профессор отвечал на вопрос, как организовать совместную работу агентов. Я — на вопрос, как получить надёжный конечный результат.

И пока я слушал выступление, эти две мысли соединились в один вопрос:

Если агенты договорились, как доказать, что они договорились правильно?

Когда одна система выдаёт ответ, мы ещё помним, что она может ошибаться.

Но если несколько агентов независимо пришли к общему выводу, доверие возрастает. Кажется, что решение прошло обсуждение: один предложил, другой проверил, третий нашёл слабые места, а четвёртый вынес итоговый вердикт.

Проблема в слове «независимо».

Агенты могут использовать одну и ту же модель, получать одинаковый контекст, опираться на общий набор данных и оценивать результат по одному критерию. Формально они исполняют разные роли. Фактически — смотрят на задачу из одной точки.

Десять агентов способны очень качественно проверить рассуждения друг друга и не заметить, что исходная предпосылка была неверной.

Их вывод будет согласованным. Последовательным. Убедительным.

И неправильным.

Представим, что система должна определить, какие элементы проекта нужно обработать автоматически.

Первый агент находит все объекты нужной категории. Второй проверяет полноту списка. Третий распределяет работу. Четвёртый оценивает результат.

Все действуют безупречно — но исходят из предположения, что техническая категория объекта полностью определяет его реальную функцию.

Если это предположение неверно, каждый следующий агент не исправит ошибку, а укрепит её. В финале система получит не случайный сбой, а аккуратно организованный неправильный результат.

Похожее происходит и в обычных управленческих командах. Единогласное решение ещё не доказывает правоту. Иногда оно говорит лишь о том, что все участники получили одинаковую вводную, разделяют одну установку или не имеют полномочий поставить под сомнение исходное условие.

Из этого не следует, что мультиагентные системы бесполезны.

Наоборот, способность агентов договариваться решает очень важные задачи:

Но согласование и проверка результата — разные функции.

Агенты могут договориться, кто выполняет работу. Они могут поспорить о способе решения. Могут выбрать лучший вариант из предложенных.

Однако правильность конечного результата должна определяться не количеством согласившихся агентов, а независимой проверкой относительно фактов и требований задачи.

Поэтому коллективное согласование должно дополняться независимой проверкой. Её задача — не предложить ещё один вариант ответа, а установить, соответствует ли итоговый результат реальным требованиям.

Такую проверку тоже можно автоматизировать. Но она не должна превращаться в ещё один голос внутри того же обсуждения. Иначе система будет подтверждать сама себя, а внешне это станет выглядеть как объективный контроль.

На том же выступлении прозвучал показательный пример. Можно сократить работу ста бухгалтеров до нескольких секунд, но не получить ожидаемого эффекта, если затем придётся нанимать контролёров, обслуживать сложную систему и вручную перепроверять каждый результат.

Локальная операция ускорилась в сотни раз. Стоимость надёжного конечного результата могла почти не измениться.

С агентными системами возникает тот же риск. Если коллективный ответ нельзя проверить иначе, кроме как заново повторить всю работу человеком, автоматизировано производство черновика — но не получение результата.

Поэтому независимая проверка — не дополнительная функция «для надёжности». От неё зависит сама экономика внедрения. Система начинает приносить масштабируемый эффект только тогда, когда человеку передаются исключения и настоящие конфликты, а не весь объём на повторную проверку.

Обычно поставщику задают вопросы о скорости, количестве агентов и автоматизируемых операциях.

Я бы добавил ещё один: каким независимым способом подтверждается конечный результат и сколько работы после этого всё равно должен повторить человек?

Если ответ сводится к тому, что один агент проверяет другого, перед нами пока не независимый контроль. Это ещё один участник того же обсуждения.

Главный вывод, который я вынес из выступления, звучит так:

Чем лучше агенты умеют договариваться и совершенствовать себя, тем важнее независимый проверяющий, с которым они договориться не могут.

Мультиагентная система может быть умнее отдельного агента. Но коллективный интеллект становится надёжным не тогда, когда все пришли к согласию, а тогда, когда согласованный результат выдержал независимую проверку.

А вы стали бы больше доверять ответу, если бы его единогласно подтвердили десять агентов?