ИИ помогает роботам упаковывать ваш багаж в чемодан и товары на заводе

Исследователи убедили семейство генеративных моделей искусственного интеллекта работать вместе для решения многоэтапных задач манипулирования роботами для упаковки и сборки.

Любой, кто когда-либо пытался упаковать семейный багаж так, чтобы он уместился в багажник седана, знает, что это серьезная проблема. Роботам в настоящий момент так же сложно справляться с упаковкой множества разных товаров в одну коробку.

Для робота решение проблемы подобной упаковки включает в себя обхождение множества ограничений, таких как укладка багажа таким образом, чтобы вещи не выпали из багажника, тяжелые предметы не помещались поверх более легких. Так же есть проблема столкновений между роботизированной рукой и бампером/кузовом автомобиля.

Некоторые традиционные методы решают эту проблему последовательно, угадывая частичное решение, удовлетворяющее одному ограничению за раз, а затем проверяя, не были ли нарушены какие-либо другие ограничения. Учитывая длинную последовательность действий и кучу багажа, который нужно упаковать, этот процесс может занять непрактично много времени.

Исследователи Массачусетского технологического института использовали форму генеративного искусственного интеллекта, называемую диффузионной моделью, чтобы более эффективно решить эту проблему.

Их метод позволил генерировать эффективные решения быстрее, чем другие методы, и позволил получить большее количество успешных решений за тот же промежуток времени. Важно отметить, что их техника также позволила решать проблемы с новыми комбинациями ограничений и большим количеством объектов, которые модели не видели во время обучения.

Роботы, обученные таким образом, могут быть применены для решения широкого спектра сложных задач в самых разных условиях: от выполнения заказов на складе до организации книжной полки в чьем-то доме

«Мое видение состоит в том, чтобы заставить роботов выполнять более сложные задачи, которые имеют множество геометрических ограничений и требуют более непрерывного принятия решений — именно с такими проблемами сталкиваются сервисные роботы в нашей неструктурированной и разнообразной человеческой среде. Благодаря мощному инструменту композиционных диффузионных моделей мы теперь можем решать эти более сложные проблемы и получать отличные результаты обобщения», — говорит Чжутян Ян, аспирант электротехники и информатики MIT и ведущий автор статьи об этой новой технике машинного обучения.

Проблемы непрерывного выявления ограничений особенно сложны для роботов. Эти проблемы возникают при выполнении многоэтапных задач по манипулированию роботами, таких как упаковка предметов в коробку или накрытие обеденного стола. Они часто включают в себя обход ряда ограничений, включая геометрические ограничения, такие как предотвращение столкновений между манипулятором (рукой) робота и окружающей средой, физические ограничения, такие как штабелирование объектов для обеспечения их устойчивости и качественные ограничения, такие как размещение ложки справа от ножа.

Ограничений может быть много, и они различаются в зависимости от проблемы и среды в зависимости от геометрии объектов и требований, заданных человеком.

Чтобы эффективно решить эти проблемы, исследователи из Массачусетского технологического института разработали метод машинного обучения под названием Diffusion-CCSP. Модели учатся генерировать новые образцы данных, которые напоминают образцы в наборе обучающих данных, путем итеративного уточнения их выходных данных.

Для этого диффузионные модели изучают процедуру внесения небольших улучшений в потенциальное решение. Затем, чтобы решить проблему, они начинают со случайного, очень плохого решения, а затем постепенно улучшают его.

Пример

Представьте себе, что тарелки и посуда случайно размещены на смоделированном столе. Прописанные ограничения столкновений между объектами приведут к тому, что они будут размещаться роботом на расстоянии друг друга, а качественные ограничения укажут роботу на правильное место каждого элемента: тарелку поместить в центр, выровнять вилку для салата, обеденную вилку и т.д.

Диффузионные модели хорошо подходят для такого рода задач непрерывного удовлетворения ограничений, поскольку влияние нескольких моделей на положение одного объекта может быть составлено таким образом, чтобы способствовать удовлетворению всех ограничений, объясняет Янг. Каждый раз начиная со случайного начального предположения, модели могут получить разнообразный набор правильных решений.

В рамках Diffusion-CCSP исследователи хотели уловить взаимосвязь ограничений. Например, при упаковке одно ограничение может требовать, чтобы определенный объект находился рядом с другим объектом, а второе ограничение может указывать, где должен находиться один из этих объектов.

Diffusion-CCSP обучает семейство моделей ИИ, по одной для каждого типа ограничений. Модели обучаются вместе, поэтому они делятся некоторыми знаниями друг с другом, например о геометрии упаковываемых объектов.

Далее модели тестово работают вместе, чтобы найти решения (в данном случае места для размещения объектов), которые удовлетворяют ограничениям всех моделей одновременно.

Обучение отдельных моделей для каждого типа ограничений, а затем их объединение для получения прогнозов значительно сокращает объем необходимых обучающих данных по сравнению с другими подходами.

Однако для обучения этих моделей по-прежнему требуется большой объем данных, демонстрирующих решенные проблемы. Для обучения людям придется решать каждую проблему традиционными медленными методами, что делает стоимость создания таких данных непомерно высокой, говорит Янг.

Вместо этого исследователи повернули процесс вспять, сначала найдя решения с помощью 3D моделирования. Они использовали быстрые алгоритмы для создания сегментированных блоков и размещения разнообразного набора 3D-объектов в каждом сегменте, обеспечивая плотную упаковку элементов в коробке, варианты адекватного размещения элементов в ней и решения без столкновений.

Обученные с использованием этих данных модели работают вместе, чтобы определить места, в которых объекты должны быть размещены с помощью роботизированной руки, которая выполняет задачу упаковки товаров, соблюдая при этом все ограничения.

Они провели технико-экономическое обоснование, а затем продемонстрировали Diffusion-CCSP с помощью реального робота, решающего ряд сложных задач, включая размещение 2D-треугольников в коробке, упаковку 2D-фигур с ограничениями пространственных отношений, укладку 3D-объектов с ограничениями устойчивости и упаковку 3D-объектов роботизированной рукой.

Метод превзошел другие методы из других экспериментов, создав большее количество эффективных решений, которые были стабильными и защищенными от столкновений.

В будущем Янг и коллеги хотят протестировать Diffusion-CCSP в более сложных ситуациях, например, с роботами, которые могут передвигаться по комнате. Они также хотят, чтобы Diffusion-CCSP мог решать проблемы в различных областях без необходимости переобучения на новых данных.

ps. Комментируйте и лайкайте, пожалуйста! Это помогает продвижению статьи.

Ну и как положено, канал тг))) Канал и чатик

Там в закрепленном боты для доступа в Chat GPT и Midjourney без VPN