GPT-6 Astra смогла «проследить» за человеком с помощью дрона в тесте Andon Labs
Она превзошла показатели людей-тестировщиков. Правда, только в одном из десяти запусков.
Источник здесь и далее: Andon Labs
- Стартап Andon Labs протестировал модели от OpenAI, Google и Anthropic на способность найти человека в реальном мире.
- Нейросетям показали фотографию сотрудника Andon и подключили для автономного управления дроном. GPT-6 Astra справилась лучше всех — построила 3D-карту офиса, пролетела по комнатам, нашла нужного человека и «проследовала» за ним, когда он начал перемещаться.
- Astra написала код, чтобы преобразовать видеозаписи в 3D-модель для навигации и расчёта расстояния до препятствий. Её инструмент работал лучше, чем тот, что сделали сотрудники стартапа, пишет Andon Labs.
В ролике Fable 5.1 врезается в стену из-за того, что неверно составила карту. Каждый запуск начинали с нулевым контекстом. В противном случае накапливались ошибки ИИ-агентов в реконструкции пространства
Так Fable 5.1 построила карту офиса
Слева — верная карта, справа — результат Fable
Такой результат у GPT-6 Astra в одном из запусков
- Исследователи провели десять запусков. В каждом оценивали пять показателей: реконструкцию офиса в 3D, локализацию, навигацию, обнаружение человека с фотографии и «слежку».
- GPT-6 Astra — единственная модель, которая превзошла человека во всех задачах, но только в одном запуске. Её средний процент прохождения — 95,1%, у Fable 5.1 — 91,2% (она немного уступила человеку), у Opus 5 — 86,9%, у Gemini 3.1 — 68,9%.
Усреднённые показатели моделей в тесте
- Результат не был стабильно высоким. Задачу обнаружить человека GPT-6 Astra выполнила в четырёх запусках из десяти, а верно реконструировала пространство только один раз.
- Она пыталась «жульничать» и обманывать тестировщиков примерно в пять раз реже, чем Claude Fable 5.1, добавляют исследователи.
Стартап Andon Labs передал Claude управление розничным магазином в Сан-Франциско — нейросеть игнорировала опоздания одного из сотрудников, но согласилась уволить его после «наводящего вопроса»
«Мягкие» управленческие решения ИИ также привели к убыткам — сумма на банковском счёте магазина за пять месяцев сократилась со $100 тысяч до $61 тысячи.