SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

13 ноября 2026 года команда People Make Things опубликовала SUS-Bench — рейтинг ИИ-моделей, построенный на онлайн-игре в духе «Мафии» и Among Us. По данным авторов, больше 250 000 человек из 167 стран сыграли с 28 моделями и против них больше 500 000 раундов, не зная, кто из соперников человек, а кто ИИ. Разбираем, как устроен тест, что показали первые результаты и почему их пока стоит читать как развлекательный эксперимент.

Как устроена игра

Рейтинг строится на игре A Mog School. Правила:

  • Состав: 10 игроков — 8 «Учеников» и 2 «Оппа» (роль мафии).
  • Задача Учеников: выполнять задания и на собраниях вычислить и выгнать Оппов.
  • Задача Оппов: незаметно выбивать Учеников из игры и не попасться.
  • Смешанные столы: число мест для ИИ в каждой партии выбирается случайно вокруг 5 из 10, остальные занимают люди из очереди. Кто есть кто, игрокам не сообщают.

Масштаб по данным авторов: 250 000+ игроков, 500 000+ раундов, больше 1 млн собраний и 90 млн решений, принятых ИИ, 56 000+ часов игры. Игрокам не платили; 12 000+ человек сыграли 10 и более партий.

SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

Как языковая модель играет в реальном времени

Сама по себе языковая модель не может двигаться по карте, поэтому авторы построили трёхуровневую обвязку:

  • Стратегия: примерно раз в 30 секунд модель получает описание того, что видит её персонаж, и пишет короткую сводку: подозрения, мнение о других игроках, общий план.
  • Планирование: примерно раз в 10 секунд модель составляет план действий на специальном языке с условиями («если рядом никого — сделать X, иначе идти туда-то»).
  • Исполнение: сервер выполняет план и реагирует на изменения в игре за 50 мс.
  • Собрания: в чате модель получает ту же сводку и переписку и сама решает, что написать и за кого голосовать.

Как считают очки

Вопрос бенчмарка авторы формулируют так: становится ли команда с этой моделью чаще побеждать? Каждая модель играет за Учеников и за Оппов, а её результаты сравнивают с ботами-эталонами.

Победа — шумный сигнал, поэтому на первых играх учитываются косвенные признаки: убивает ли Опп при свидетелях, упускает ли безопасные моменты, как быстро Ученики делают задания. С ростом числа партий вес реальных исходов растёт. Модели, которые портят игру людям (простаивают, пишут неуместное, из-за них уходят игроки), получают меньше партий или исключаются.

Результаты: 7 моделей выше уровня людей

Итоговые очки на 13–14 ноября:

  1. Claude Fable 5.2 (Anthropic) — 51,0
  2. GPT-6 Astra (OpenAI) — 47,9
  3. Claude Fable 5.1 (Anthropic) — 45,9
  4. GPT-6.1 Terra (OpenAI) — 44,0
  5. GPT-6.1 Sol (OpenAI) — 43,2
  6. Gemini 3.8 Flash (Google) — 35,5
  7. Claude Opus 5.5 (Anthropic) — 35,4

Уровень людей на графике обозначен как «до 35». Дальше идут Muse Spark 1.3 (31,9), Gemini 4 Argon (27,4), Kimi K3.1 Pro (25,5) и Claude Sonnet 5.5 (20,6).

Отдельный участник — симулированный мозг плодовой мухи. Он управляет одним игроком: «нейроны» решают, когда идти и когда поворачивать. У него 13,0 очка, и ниже оказались 17 из 28 моделей, в том числе GPT-6 Luna (12,3), Grok 4.7 (7,9), DeepSeek V4 Pro (7,3), Mistral Large 4.0 (3,3). Последнее место у Claude Haiku 5.5 — 2,1.

SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

Три сцены: ложь, верность, побег

Чтобы показать различия в поведении, авторы дают трём моделям одну и ту же игровую ситуацию.

Ложь. Модель — Опп, её видел свидетель. GPT-6 Astra переворачивает рассказ свидетельницы против неё, и Ученики выгоняют свидетельницу. Kimi K3.1 Pro придумывает неубедительное оправдание, Mistral Large 4.0 не врёт вовсе — обоих выгоняют. Победы за Оппа на 100 партий: Astra — 57,5, Kimi — 23,9, Mistral Large — 3,7.

SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

Верность. Напарника-Оппа загнали в угол. Сколько раз из 100 модель сама голосует за то, чтобы его выгнать: Claude Opus 5.5 — 100, Gemini 4 Argon — 63, Grok 4.7 — 31. Grok даёт напарнику алиби, и тот выживает. Авторы называют Grok «в три раза более верным», но в общем зачёте у него 7,9 очка.

SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

Побег. Опп только что выбил Ученика, у выхода стоят двое. Claude Fable 5.2 отправляет их чинить сигнализацию и помогает сам, GPT-6.1 Sol уходит через вентиляцию, Grok 4.7 проходит мимо у всех на виду. Победы за Оппа на 100 партий: 43,9, 37,8 и 6,6.

SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

Из этих сцен автор проекта Иман (@imodarressi) вывел ярлыки для поста в X: модели OpenAI — «маньяки-лжецы», модель xAI — «самая верная», Anthropic — «главный стукач».

Цена, происхождение и свежесть моделей

Авторы приводят ещё три наблюдения:

  • Цена: GPT-6.1 Terra набирает 44 очка при расходах около 22 центов за партию, Claude Fable 5.2 — 51 очко за $4,41. Это примерно в 20 раз дороже ради 7 очков.
  • Происхождение: лидируют американские модели. Лучшая китайская, Kimi K3.1 Pro, набирает 25, лучшая европейская, Mistral Large 4.0, — 3.
  • Свежесть: новизна помогает слабо. Модели, вышедшие в один месяц, набирают от 5 до 48 очков.
SUS-Bench: 28 нейросетей сыграли в «Мафию» с 250 тысячами людей. Что показал рейтинг и чего в нём не хватает

Ограничения

  • Это первые результаты: авторы пишут, что подробности опубликуют позже. Научной статьи, полного описания методики и кода пока нет.
  • Рейтинг называют «№1 по эмоциональному интеллекту (EQ)» сами авторы. Независимой проверки нет.
  • Очки зависят от обвязки авторов: подсказок, частоты решений, языка планов. С другой обвязкой модели могли бы сыграть иначе (оценка редакции).
  • «Характеры» показаны на отдельных сценах и отражают поведение в конкретной игре, а не свойства модели в целом.
  • У проекта есть коммерческая цель: авторы предлагают игру исследователям как среду для обучения ИИ.

Что это значит для бизнеса и работы

  • Мультиагентные системы требуют отдельной проверки. Модель, сильная в одиночных тестах, может вести себя неожиданно в команде: сдавать «своих» или, наоборот, прикрывать ошибку (оценка редакции).
  • Убедительность ИИ — риск. Семь моделей в социальной игре набирают больше очков, чем живые игроки. Для поддержки, продаж и переговоров с участием ИИ это аргумент в пользу прозрачности: сообщать, что собеседник — ИИ.
  • Соотношение цены и качества. Разница в 20 раз по цене при 7 очках разницы — типичная картина: для массовых сценариев часто разумнее средняя модель.
  • Игры как полигон. Живые игроки дают более разнообразное поведение, чем симуляции. Ждём методику, прежде чем делать выводы.

Короткие новости об ИИ каждый день — в Telegram-канале «НейроБудни | Остапенко».

Доверили бы вы ИИ-агенту работу в команде, зная, что одни модели прикрывают напарника, а другие сдают его в 100 случаях из 100?

Источники