Компания Figure отправила робота убираться в 30 незнакомых домов
Гуманоиду поручили три вида работы: складывать полотенца, застилать кровати и собирать игрушки. Американская компания Figure сообщила, что её модель Helix 2.5 полностью справилась с 237 из 420 заданий.
Испытания проходили в 30 домах в районе залива Сан-Франциско. До теста компания не собирала в них данные. Во всех помещениях работала одна и та же версия модели: её не дообучали на месте и не меняли по результатам предыдущих попыток.
В названии эксперимента компания использует термин zero-shot — в данном случае это выполнение без дополнительного обучения на примерах из проверочных домов. Однако новыми для робота были дома и предметы, а не сами виды работы. Складывать полотенца, застилать кровати и собирать игрушки систему заранее учили на материалах, записанных в других помещениях.
Успех засчитывали только при полном завершении задания. Роботу нужно было убрать в корзину все 13–15 игрушек, сложить все полотенца или положить на кровать две подушки, подтянуть верхние углы одеяла и разгладить его. Частичных баллов не было, а вмешательство человека ради безопасности означало неудачу.
Лучше всего Helix 2.5 справлялся с кроватями: 94 успешные попытки из 140, или 67%. Полотенца робот сложил в 87 случаях из 140, или 62%. С игрушками результат оказался ниже — 56 из 140, или 40%.
Для сравнения Figure обучила такую же систему на тех же специализированных данных, но начала со случайных настроек вместо предварительного обучения на Index. Эта версия завершила только 35 из 420 заданий. Диаграмма компании показывает 8%, хотя в сопроводительном тексте указан результат 9%.
Index — собственный массив Figure с записями человеческих действий. Предварительное обучение на нём должно дать модели общие представления о движениях, предметах и пространстве ещё до освоения конкретного навыка. Данные для каждого из трёх домашних заданий занимали не более 1,9% этого массива.
Оценивание проводила сама Figure, независимого воспроизведения результатов пока нет. В публикации компания не называет ни срока выхода домашней версии, ни допустимой для неё частоты сбоев. При 183 неудачах из 420 оставлять такого робота убираться без присмотра пока рано.