"Стратегическая игра вместо теста: как Dominion Rift раскрывает реальные способности LLM"

Разработчик два месяца не выходил из квартиры и создал бенчмарк, который тестирует языковые модели не вопросами, а войной. Текстовая стратегия, где две LLM управляют королевствами из четырёх провинций. Строят, торгуют, шпионят, колдуют, воюют. И главное — анализируют свои ошибки после каждого хода, перестраивая стратегию на лету.

Проект называется [Dominion Rift](https://dominionrift.ai), и его результаты — не то, что показывают стандартные бенчмарки.

Каждая модель контролирует четыре провинции с разными ролями (экономика, армия, разведка, магия) и один Суверенный домен. На каждом ходу — десятки решений: что строить, кого обучать, с кем торговать, какие заклинания кастовать, куда направить шпионов.

Критическая механика — рефлексия. После каждого хода модель получает отчёт об ущербе и сама формирует промпт для следующего хода. Это повторяется 20+ раз за матч. По сути, тестируется не «знание», а способность учиться по ходу игры.

Каждой модели дали ~60 секунд на размышление. Без этого GPT-5.4 думал бы 10 минут, а Claude — меньше двух. Автор принципиально уравнял «время на мышление», а не количество токенов.

| Место | Модель | ELO | Win Rate | |-------|--------|-----|----------| | 1 | GPT-5.4 | 1604 | 100% | | 2 | **Qwen3.5-122B AWQ 4bit** | 1529 | 62% | | 3 | Claude Opus 4.6 | 1500 | 50% | | 4 | Grok-4.20 Reasoning | 1444 | 25% | | 5 | Gemini-3.1 Pro | 1421 | 12% |

GPT-5.4 — бесспорный лидер. Но сюрприз номер два.

Qwen3.5-122B запущена в 4-bit квантизации на локальном железе. Не облако, не API за $15 за миллион токенов — обычный пользовательский сервер. И эта модель обошла Claude Opus (Anthropic), Grok-4 с reasoning (xAI) и Gemini-3.1 Pro (Google).

Координация провинций у Qwen — 9/10. Модель выстраивала сложные торговые маршруты, синхронизировала удары из нескольких провинций (137 координированных атак за 8 матчей), адаптировала тактику в зависимости от ситуации.

При этом у неё обнаружилась характерная слабость: «планируй, потом голодай». Qwen строила бастионы в 48 раз чаще, чем зернохранилища. В рефлексивных заметках регулярно писала «исправить проблему с едой» — и не исправляла. Диагноз верный, лечение отсутствует.

Gemini-3.1 Pro лидирует на многих академических тестах. В Dominion Rift — последнее место с 12% побед. Grok с reasoning — предпоследнее. Корреляции со стандартными бенчмарками практически нет.

Стандартные тесты проверяют ответ на вопрос. Dominion Rift проверяет другое: - Принимаешь ли ты правильные решения в цепочке из 20+ ходов? - Корректируешь ли стратегию, когда она провалилась? - Управляешь ли несколькими сущностями одновременно? - Эффективно ли используешь ресурсы под давлением?

Ни MMLU, ни HumanEval, ни GPQA этого не тестируют.

8 матчей на модель — мало для статистической достоверности. ELO при таком объёме имеет широкие доверительные интервалы. Уравнивание по времени, а не по токенам — тоже спорное решение.

Но как proof of concept — работает. Игровые сценарии обнажают поведение модели так, как это не может сделать ни один тест с множественным выбором.

Если вы выбираете модель для агентной задачи — забудьте про MMLU. Посмотрите, как модель ведёт себя под давлением, с ограниченными ресурсами, в условиях неполной информации. Dominion Rift — один из первых инструментов, который это показывает.

А ещё это аргумент в пользу локальных моделей. Qwen3.5-122B в 4-bit квантизации конкурирует с топовыми облачными API — без подписки, без задержки, без отправки данных на сторонние серверы.

Какой бенчмарк, по-вашему, лучше предскажет поведение модели в реальном проекте?