Я попросил ИИ пройти игру про создателя Codex

49,3 секунды, ноль смертей и около $0,008\0.69 Рублей за учтённые ответы API. Так закончилась одна попытка пройти Rooftop Reset на сложности Nightmare.

Но между моделью и кнопками оказались прогноз прыжков, проверка опасности и память о прошлых попытках.

Rooftop Reset — браузерный платформер про Тибо, связанного с разработкой Codex в OpenAI. По сюжету он заперт в подвале, а кнопка Reset находится на крыше. Нужно пройти шесть этажей с платформами, пилами и другими ловушками.

Тибо поделился игрой с просьбой вытащить его из подвала. Я решил попробовать пройти её с помощью модели OpenAI.

Победное прохождение на сложности Nightmare. Перед ним система уже накопила память предыдущих попыток.

Игра не останавливается, пока модель думает. За время ответа персонаж может упасть, а препятствие — сменить положение.

Поэтому программа получала скриншот и данные игры, локально прогнозировала ходы и перед нажатием проверяла, не устарело ли решение. Браузером управлял Playwright. В срочных ситуациях контроллер мог действовать без ожидания модели.

Модель не проходила игру только по картинке: ей помогали данные состояния и код вокруг неё.

В одной серии агент добрался до крыши и пытался нажать Reset, стоя слишком далеко. В двух попытках команда повторилась 254 и 171 раз. Потом мы добавили проверку расстояния до кнопки.

В другом варианте контроллер предпочитал ждать, хотя один безопасный ход уже приводил к победе. Эту ошибку исправили отдельно и проверили на воспроизведённой позиции.

В журнале победной попытки: 49,3 секунды, 0 смертей, 16 ответов API и 79 750 входных токенов. Расчёт по тарифу, заложенному в программе, — около $0,008 за учтённые ответы.

Это оценка одной попытки, а не счёт OpenAI и не стоимость всего проекта. Отменённые запросы и возможные надбавки не учтены.

Память содержала опыт предыдущих запусков.

Ишу Агравал тоже запустил модели OpenAI в игре. По его данным, Astra прошла за 25,6 секунды без смертей с расходом API $2,24, а Sol — за 21,3 секунды и $1,30; для Sol автор отдельно упомянул один повтор. Terra в его эксперименте остановилась после 22 смертей.

Это не прямое сравнение: автор не указал сложность и полный состав расходов, а в нашем случае использовались данные состояния, локальный прогноз и накопленная память. Наша сумма — расчёт по учтённым ответам одной попытки, а не общий счёт за разработку и эксперименты.

При этом другой участник сообщил о двух победах Terra с другими настройками, но не указал стоимость. По отдельным прохождениям нельзя надёжно ранжировать модели.

Победа получилась благодаря связке модели, прогноза, проверок и управления. Память сохраняла прошлые действия и результаты, но модель на них не дообучалась.

Мы пробовали реже спрашивать модель и чаще выбирать ход локально. Один небольшой тест показал меньший расход запросов, но после него код менялся. Утверждать, какой вариант надёжнее, пока нельзя.

А как бы вы назвали такую систему: ИИ играет сам или помогает контроллеру играть?