Помощь роботам в самостоятельной отработке навыков для адаптации к незнакомой среде

Новый алгоритм помогает роботам отрабатывать такие навыки, как подметание и расстановка предметов, что в перспективе поможет им лучше справляться с важными задачами в домах, больницах и на фабриках.

Фраза «практика делает совершенным» обычно относится к людям, но она отлично подходит и для роботов, только что попавших в незнакомую среду.

Представьте себе робота, прибывшего на склад. Он получил навыки, которым его обучили, например, размещать предметы, и теперь ему нужно выбрать предметы с незнакомой полки. Поначалу робот не справится с этой задачей, так как ему необходимо освоиться в новом окружении. Чтобы совершенствоваться, робот должен понять, какие навыки в рамках общей задачи ему необходимо улучшить, а затем специализировать (или параметризовать) это действие.

Человек мог бы запрограммировать робота, чтобы оптимизировать его работу, но исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Института искусственного интеллекта разработали более эффективную альтернативу. Доклад был представлен на конференции Robotics: Science and Systems Conference в прошлом месяце, их алгоритм «Estimate, Extrapolate, and Situate» (EES) позволяет этим машинам тренироваться самостоятельно, что потенциально может помочь им улучшить выполнение полезных задач на заводах, в домах и больницах.

Чтобы помочь роботам лучше справляться с такими задачами, как подметание полов, EES работает с системой технического зрения, которая определяет местоположение машины и отслеживает ее окружение. Затем алгоритм оценивает, насколько надежно робот выполняет то или иное действие (например, подметание) и стоит ли ему еще потренироваться. EES прогнозирует, насколько хорошо робот сможет выполнить общую задачу, если отточит этот конкретный навык, и, наконец, практикует его. После каждой попытки система технического зрения проверяет, правильно ли был выполнен навык.

EES может пригодиться в таких местах, как больница, завод, дом или кофейня. Например, если бы вы хотели, чтобы робот убирал вашу гостиную, ему бы понадобилась помощь в отработке таких навыков, как подметание. По словам Нишанта Кумара SM '24 и его коллег, EES может помочь роботу совершенствоваться без участия человека, используя всего несколько пробных попыток.

Способность EES к эффективному обучению стала очевидной, когда его применили на четвероногом роботе Spot компании Boston Dynamics во время испытаний в Институте искусственного интеллекта. Робот, у которого к спине прикреплена рука, выполнял манипуляционные задачи после нескольких часов тренировок. В одной из демонстраций робот научился надежно размещать мяч и кольцо на наклонном столе примерно за три часа. В другом случае алгоритм подсказал машине, как лучше сметать игрушки в корзину, примерно за два часа. Оба результата являются улучшением по сравнению с предыдущими разработками, которые, скорее всего, потребовали бы более 10 часов на выполнение каждой задачи.

В конечном итоге EES может помочь оптимизировать автономную практику роботов в новых условиях развертывания, но пока она имеет ряд ограничений. Для начала они использовали столы, расположенные низко к земле, что облегчало роботу наблюдение за объектами. Кумар и Сильвер также напечатали на 3D-принтере прикрепляемую ручку, чтобы Споту было легче захватывать щетку. Робот не обнаруживал некоторые предметы и определял объекты в неправильных местах, поэтому исследователи засчитали эти ошибки как неудачи.

Исследователи отмечают, что скорость отработки навыков, полученных в ходе физических экспериментов, можно еще больше ускорить с помощью симулятора. Вместо того чтобы физически отрабатывать каждый навык в автономном режиме, робот может сочетать реальную и виртуальную практику. Они надеются сделать свою систему быстрее и с меньшей задержкой, разработав EES для преодоления задержек при визуализации, с которыми столкнулись исследователи. В будущем они могут исследовать алгоритм, который будет рассуждать о последовательности попыток тренировки вместо того, чтобы планировать, какие навыки нужно отточить.

«В будущем домашние роботы будут продаваться в самые разные семьи и должны будут выполнять широкий спектр задач. Мы не можем заранее запрограммировать все, что им нужно знать, поэтому важно, чтобы они могли учиться в процессе работы».

Однако предоставление роботам возможности исследовать и учиться без руководства может быть очень медленным и привести к непредвиденным последствиям. Исследование Сильвера и его коллег представляет алгоритм, который позволяет роботам автономно отрабатывать свои навыки в структурированном виде. Это большой шаг на пути к созданию домашних роботов, которые могут постоянно развиваться и совершенствоваться самостоятельно».

Соавторами Сильвера и Кумара являются исследователи The AI Institute Стивен Проулкс и Дженнифер Барри, а также четыре члена CSAIL: аспирант Северо-Восточного университета и приглашенный исследователь Линфенг Чжао, аспирант MIT EECS Вилли МакКлинтон и профессора MIT EECS Лесли Пак Келблинг и Томас Лозано-Перес. Их работа была частично поддержана Институтом искусственного интеллекта, Национальным научным фондом США, Управлением научных исследований ВВС США, Управлением военно-морских исследований США, Управлением исследований армии США и MIT Quest for Intelligence, а также высокопроизводительными вычислительными ресурсами MIT SuperCloud и Суперкомпьютерного центра Лаборатории Линкольна.

ps. Комментируйте и лайкайте, пожалуйста! Это помогает продвижению статьи.

Ну и как положено, канал тг))) Канал и чатик

Там в закрепленном боты KolerskyAi для генерации видео в Stable Video, а так же для доступа в Chat GPT+4 и Dalle-3, Midjourney без VPN и другие нейросети.