LLM Council мертв: почему совет из нескольких моделей работает в 3 раза лучше

LLM Council сейчас на пике хайпа. Статья Оле Лемана набрала 1.3 миллиона просмотров, тысячи людей уже используют эту штуку для реальных бизнес-решений. Идея красивая: вместо того чтобы задать вопрос одной нейросети и слепо довериться ответу, вы заставляете несколько "экспертов" спорить, проверять слепые зоны друг друга и выдавать вердикт, с которым сложно не согласиться. Но Alex Prompter нашел способ выжать из этого подхода в три раза больше пользы.

Андрей Карпати (сооснователь OpenAI, бывший глава AI в Tesla) построил оригинальный LLM Council в ноябре 2025. Его схема: один и тот же вопрос отправляется одновременно в GPT, Claude, Gemini и Grok. Каждая модель отвечает независимо, потом анонимно рецензирует ответы других, а модель-председатель синтезирует финальный ответ. Проект набрал 17 тысяч звезд на GitHub.

Оле Леман перестроил совет целиком внутри Claude, заменив четыре модели на пять "стилей мышления". Для быстрого мозгового штурма это работает. Но реальное разнообразие моделей исчезло, зато появились настраиваемые аналитические линзы.

Три работы с топовых конференций (NeurIPS 2024, ICLR 2025, arXiv 2026) показали self-preference bias: LLM-ки оценивают свои ответы выше, чем ответы других моделей, даже когда люди считают их равными по качеству. Claude, рецензирующий пять ответов Claude, не может их по-настоящему различить. Вывод: используйте несколько разных моделей.

Alex Prompter собрал три слоя в один стек. Первый - мультимодельное разнообразие через Model Council (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro одновременно). Второй - настраиваемые линзы анализа под задачу. Третий - техника Verbalized Sampling из Стэнфорда, которая заставляет модели выдавать нетипичные ответы из "хвостов" распределения, увеличивая разнообразие в 1.6-2.1 раза без потери качества.

Для быстрого мозгового штурма подойдет совет Лемана. Для серьезных решений - мультимодельный стек с кастомными линзами и Verbalized Sampling.

Ссылки на исследования:

NeurIPS 2024, self-preference bias: https://arxiv.org/abs/2404.13076

ICLR 2025, механизм знакомости: https://arxiv.org/abs/2410.21819

arXiv 2026, bias при объективных критериях: https://arxiv.org/abs/2604.06996

Stanford, Verbalized Sampling: https://arxiv.org/abs/2510.01171