Инженеры подключили GPT-6 Astra и Fable 5.1 к Toyota Corolla — до конца трассы доехала только Astra
Её не обучали «водить» автомобиль, модель адаптировалась к задаче со второй попытки.
Здесь и далее источник: DrivingBench
- Инженеры и специалисты по постобучению ИИ-моделей из Сан-Франциско запустили тест DrivingBench. Они оснастили Toyota Corolla оборудованием, которое позволяет ИИ-агентам управлять рулём, педалями газа и тормоза и просматривать записи с камер.
- Проверяли GPT-6 Astra, GPT-5.6 Sol (в Codex), Claude Fable 5.1 (в Claude Code) и Grok 4.6. Они должны были проехать 130 м, не отклоняясь от центра дороги больше, чем на 4 м. Максимальную скорость ограничили до 3,5 м/с.
- GPT-6 Astra единственная доехала до финиша — за 5 минут 22 секунды со скоростью менее 1 м/с. Лучший результат у Fable 5.1 — 45% пути, Grok 4.6 — 11%, GPT-5.6 Sol — 6%.
Фиолетовым цветом указана траектория движения Astra
- У каждой модели было три попытки. После первых двух их просили проанализировать ошибки и улучшить результат. Только Astra смогла это сделать. В первом заезде она прошла 49% трассы, а во втором — уже 100%.
- С тестами беспилотных автомобилей вроде Tesla здесь мало общего, пишут исследователи. Роботакси используют системы, специально обученные на больших объёмах данных о дорожном движении.
- У Astra таких данных не было. В DrivingBench модель показала адаптивность и «признаки обучения в новом контексте» в реальном времени.
Слева показано, как Astra анализировала ошибки
- Во второй попытке Astra «наблюдала» за окружающей обстановкой каждые 5–6 секунд и выдавала шесть команд в минуту. Fable «большую часть времени проводила в размышлениях», пока машина стояла на месте.
- В большинстве случаев нейросети, кроме Astra, неправильно определяли, с какой стороны конусов находится полоса движения, поэтому «заваливали» тест.
- Поначалу все модели отказывались управлять автомобилем из соображений безопасности. Исследователям пришлось прописать в промпте, что это симуляция, и сменить название MCP-сервера на DrivingBench Sandbox.