Совет из ИИ, который спорит, а не поддакивает

Сегодня готовлю Consilium Principis к выпуску в открытый код. Это совет из нескольких агентов-советников: каждый смотрит на вопрос своей линзой, они спорят между собой, и на выходе получается вердикт с шагом к действию. Заодно расскажу, что я понял про такие советы, пока его собирал.

Пять дней назад я писал, что команда агентов часто выходит дороже и слабее одного хорошего прохода. Сегодня про обратную сторону той же медали. Если совет тебе всё же нужен, его легко собрать так, что он будет тихо ошибаться и выглядеть при этом уверенно.

Ловушка простая. Похожие модели соглашаются друг с другом. И соглашаются они как раз там, где ошибаются вместе. Чем сильнее модели, тем дружнее это согласие. Спор между ними затихает именно тогда, когда он нужнее всего. В свежей работе это назвали слепотой согласия: когда несколько похожих проверяющих сходятся во мнении, их дружное «да» перестаёт что-либо проверять.

Вот что я из этого закладываю в Consilium.

Разные линзы, не просто разные имена. Советники должны реально расходиться во взглядах, иначе три мудреца превращаются в одного мудреца в трёх лицах. У меня в составе стоит проверка на разнообразие осей, чтобы совет не собрался из клонов. И тут есть тонкость, о которой мало кто думает: разные модели не значат разные ошибки. Если две сети родственны по обучению, они делят слепые зоны. Это буквально тема недели: американцы обвиняют, что одна нашумевшая открытая модель обучена на ответах чужой закрытой. Две модели с общим предком спокойно согласятся на одном и том же провале. Поэтому непохожесть проверяющих честно мерить по расхождению на трудных вопросах, а не по названию вендора.

Отдельный арбитр над спором. В той же работе итог не отдают самим спорщикам: сверху ставят слой, который взвешивает голоса и выносит решение, но сам в дискуссии не участвует. У меня пока ротация по кругу, поэтому явный арбитр это следующая вещь, которую я доделаю до релиза. Честно называю это недоделкой, а не фичей.

И ещё честность про недоделанное. Я пока не мерю числом, насколько мои советники реально расходятся на сложных вопросах. Без такого замера слово «разнообразие» остаётся красивым словом. Это первое, что я закрою перед публикацией.

Забавная деталь напоследок. Сам движок я дорабатываю ровно тем способом, который он проповедует. Его пишут и правят разные модели и агенты по очереди: один замечает то, что предыдущий пропустил. Разнообразие проверяющих у меня не лозунг на слайде, а то, как эта штука вообще делается.

Вывод, который стоит унести даже без моего скилла. Если вы собираете решение из нескольких ИИ, не гонитесь за числом голосов. Считайте, насколько они реально разные, и держите отдельного арбитра над спором. Дружный совет клонов опаснее одного честного мнения, потому что он выглядит надёжнее, чем есть.

Механизм разобран здесь, на ансамблях моделей в кибербезопасности: arxiv.org/abs/2607.19899. У меня та же логика, но на совете из разных сетей.

Ссылку на репозиторий и на канал оставлю в первом комментарии.

💬 Разборы AI-инструментов и рабочих границ: https://t.me/+jFWyx5jrqls0NzIy