SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает
13 ноября 2026 года команда People Make Things опубликовала SUS-Bench — рейтинг ИИ-моделей, построенный на онлайн-игре в духе «Мафии» и Among Us. По данным авторов, больше 250 000 человек из 167 стран сыграли с 28 моделями и против них больше 500 000 раундов, не зная, кто из соперников человек, а кто ИИ. Разбираем, как устроен тест, что показали первые результаты и почему их пока стоит читать как развлекательный эксперимент.
Как устроена игра
Рейтинг строится на игре A Mog School. Правила:
- Состав: 10 игроков — 8 «Учеников» и 2 «Оппа» (роль мафии).
- Задача Учеников: выполнять задания и на собраниях вычислить и выгнать Оппов.
- Задача Оппов: незаметно выбивать Учеников из игры и не попасться.
- Смешанные столы: число мест для ИИ в каждой партии выбирается случайно вокруг 5 из 10, остальные занимают люди из очереди. Кто есть кто, игрокам не сообщают.
Масштаб по данным авторов: 250 000+ игроков, 500 000+ раундов, больше 1 млн собраний и 90 млн решений, принятых ИИ, 56 000+ часов игры. Игрокам не платили; 12 000+ человек сыграли 10 и более партий.
Как языковая модель играет в реальном времени
Сама по себе языковая модель не может двигаться по карте, поэтому авторы построили трёхуровневую обвязку:
- Стратегия: примерно раз в 30 секунд модель получает описание того, что видит её персонаж, и пишет короткую сводку: подозрения, мнение о других игроках, общий план.
- Планирование: примерно раз в 10 секунд модель составляет план действий на специальном языке с условиями («если рядом никого — сделать X, иначе идти туда-то»).
- Исполнение: сервер выполняет план и реагирует на изменения в игре за 50 мс.
- Собрания: в чате модель получает ту же сводку и переписку и сама решает, что написать и за кого голосовать.
Как считают очки
Вопрос бенчмарка авторы формулируют так: становится ли команда с этой моделью чаще побеждать? Каждая модель играет за Учеников и за Оппов, а её результаты сравнивают с ботами-эталонами.
Победа — шумный сигнал, поэтому на первых играх учитываются косвенные признаки: убивает ли Опп при свидетелях, упускает ли безопасные моменты, как быстро Ученики делают задания. С ростом числа партий вес реальных исходов растёт. Модели, которые портят игру людям (простаивают, пишут неуместное, из-за них уходят игроки), получают меньше партий или исключаются.
Результаты: 7 моделей выше уровня людей
Итоговые очки на 13–14 ноября:
- Claude Fable 5.2 (Anthropic) — 51,0
- GPT-6 Astra (OpenAI) — 47,9
- Claude Fable 5.1 (Anthropic) — 45,9
- GPT-6.1 Terra (OpenAI) — 44,0
- GPT-6.1 Sol (OpenAI) — 43,2
- Gemini 3.8 Flash (Google) — 35,5
- Claude Opus 5.5 (Anthropic) — 35,4
Уровень людей на графике обозначен как «до 35». Дальше идут Muse Spark 1.3 (31,9), Gemini 4 Argon (27,4), Kimi K3.1 Pro (25,5) и Claude Sonnet 5.5 (20,6).
Отдельный участник — симулированный мозг плодовой мухи. Он управляет одним игроком: «нейроны» решают, когда идти и когда поворачивать. У него 13,0 очка, и ниже оказались 17 из 28 моделей, в том числе GPT-6 Luna (12,3), Grok 4.7 (7,9), DeepSeek V4 Pro (7,3), Mistral Large 4.0 (3,3). Последнее место у Claude Haiku 5.5 — 2,1.
Три сцены: ложь, верность, побег
Чтобы показать различия в поведении, авторы дают трём моделям одну и ту же игровую ситуацию.
Ложь. Модель — Опп, её видел свидетель. GPT-6 Astra переворачивает рассказ свидетельницы против неё, и Ученики выгоняют свидетельницу. Kimi K3.1 Pro придумывает неубедительное оправдание, Mistral Large 4.0 не врёт вовсе — обоих выгоняют. Победы за Оппа на 100 партий: Astra — 57,5, Kimi — 23,9, Mistral Large — 3,7.
Верность. Напарника-Оппа загнали в угол. Сколько раз из 100 модель сама голосует за то, чтобы его выгнать: Claude Opus 5.5 — 100, Gemini 4 Argon — 63, Grok 4.7 — 31. Grok даёт напарнику алиби, и тот выживает. Авторы называют Grok «в три раза более верным», но в общем зачёте у него 7,9 очка.
Побег. Опп только что выбил Ученика, у выхода стоят двое. Claude Fable 5.2 отправляет их чинить сигнализацию и помогает сам, GPT-6.1 Sol уходит через вентиляцию, Grok 4.7 проходит мимо у всех на виду. Победы за Оппа на 100 партий: 43,9, 37,8 и 6,6.
Из этих сцен автор проекта Иман (@imodarressi) вывел ярлыки для поста в X: модели OpenAI — «маньяки-лжецы», модель xAI — «самая верная», Anthropic — «главный стукач».
Цена, происхождение и свежесть моделей
Авторы приводят ещё три наблюдения:
- Цена: GPT-6.1 Terra набирает 44 очка при расходах около 22 центов за партию, Claude Fable 5.2 — 51 очко за $4,41. Это примерно в 20 раз дороже ради 7 очков.
- Происхождение: лидируют американские модели. Лучшая китайская, Kimi K3.1 Pro, набирает 25, лучшая европейская, Mistral Large 4.0, — 3.
- Свежесть: новизна помогает слабо. Модели, вышедшие в один месяц, набирают от 5 до 48 очков.
Ограничения
- Это первые результаты: авторы пишут, что подробности опубликуют позже. Научной статьи, полного описания методики и кода пока нет.
- Рейтинг называют «№1 по эмоциональному интеллекту (EQ)» сами авторы. Независимой проверки нет.
- Очки зависят от обвязки авторов: подсказок, частоты решений, языка планов. С другой обвязкой модели могли бы сыграть иначе (оценка редакции).
- «Характеры» показаны на отдельных сценах и отражают поведение в конкретной игре, а не свойства модели в целом.
- У проекта есть коммерческая цель: авторы предлагают игру исследователям как среду для обучения ИИ.
Что это значит для бизнеса и работы
- Мультиагентные системы требуют отдельной проверки. Модель, сильная в одиночных тестах, может вести себя неожиданно в команде: сдавать «своих» или, наоборот, прикрывать ошибку (оценка редакции).
- Убедительность ИИ — риск. Семь моделей в социальной игре набирают больше очков, чем живые игроки. Для поддержки, продаж и переговоров с участием ИИ это аргумент в пользу прозрачности: сообщать, что собеседник — ИИ.
- Соотношение цены и качества. Разница в 20 раз по цене при 7 очках разницы — типичная картина: для массовых сценариев часто разумнее средняя модель.
- Игры как полигон. Живые игроки дают более разнообразное поведение, чем симуляции. Ждём методику, прежде чем делать выводы.
Короткие новости об ИИ каждый день — в Telegram-канале «НейроБудни | Остапенко».
Доверили бы вы ИИ-агенту работу в команде, зная, что одни модели прикрывают напарника, а другие сдают его в 100 случаях из 100?