Бенчмарк MTGBench для оценки нейросетей от Яндекса

Студенты Школы анализа данных Яндекса вместе с исследователями компании создали бенчмарк MTGBench, который проверяет умение нейросетей рассуждать при выполнении многоэтапных задач. В основе оценки семь текстовых игр, среди них Wordle, «Поле чудес», «Элиас» и «Данетки».

Такой тест позволяет оценить сразу несколько навыков модели: как она выстраивает логику и планирует ходы, как учитывает новые данные и подсказки и за какое количество шагов доходит до цели. Разработка пригодится командам, которые встраивают нейросети в свои продукты и хотят снизить расходы на «дорогие» режимы в ИИ.

Специалисты уже прогнали через бенчмарк 16 популярных моделей. Один из выводов касается режима глубоких рассуждений: он может увеличивать стоимость обработки более чем в 9 раз, а качество ответов при этом растёт далеко не всегда.