«Управление ногами бывает гораздо удобнее и логичнее»

Материал написан при поддержке Сколтех

Рассказ разработчика сенсорного интерфейса управления дронами LightAir Евгения Цыкунова об инструменте и его коммерческих перспективах.

Управление дроном — процесс сложный, но, в целом, понятный. С помощью джойстика по радиоканалу передаются команды, которые «слышит» и выполняет беспилотный летательный аппарат. Но «общение» с дроном можно сделать куда более живым и интерактивным.

Концепция взаимодействия человека и дрона, представленная лабораторией Интеллектуальной космической робототехники «Сколтеха», предполагает «общение» с помощью жестов. Причем для подачи команд предлагается использовать ноги. Нужно «тапнуть» стопой по интерактивному спроецированному на пол изображению — и команда будет выполнена.

Проект LightAir успел поучаствовать в престижных международных выставках. В команду проекта вошли Евгений Цыкунов, Михаил Матросов и другие разработчики. В первый же выезд за рубеж, на конференцию по компьютерной графике и интерактивным технологиям SIGGRAPH, проект оказался в списке «Перспективных зарождающихся технологий» и попал на демонстрацию вместе с проектами топовых университетов и компаний.

В итоге проект получил специальный приз Laval Virtual Award, а команда «Сколтеха» была приглашена на крупнейший европейский форум по виртуальной и дополненной реальности Laval Virtual.

Руководитель проекта Евгений Цыкунов, выпускник МГТУ им. Н. Э. Баумана, окончил двухлетнюю магистерскую программу в «Сколтехе», а сейчас проходит там же обучение в аспирантуре. Он рассказал, какими проектами занимается группа по беспилотным летательным аппаратам в «Сколтехе», и как дроны могут помочь бизнесу.

Что привлекло вас к теме беспилотных летательных аппаратов?

Возможность делать что-то новое, используя небольшие ресурсы. Около 80% нашей работы связано с разработкой программного обеспечения. Мы берем готовые летающие платформы и разрабатываем для них софт, «мозги», которые помогают применять дроны в различных индустриях.

Чем конкретно занимается группа по беспилотным летательным аппаратам?

У нас несколько подгрупп, в каждой есть люди, которые занимаются своими направлениями. Например, один из аспирантов ведет проект по разработке трехосевого манипулятора для дрона. Это роборука, которая крепится на летательный аппарат и, соответственно, может перемещаться в пространстве и добираться в труднодоступные места.

Таких проектов в мире всего несколько. Самый известный — в Германии — там роборуку крепили на вертолет. Мы начали с небольших легких дронов. Руку, точнее компоненты, распечатали на 3D-принтере.

Зачем нужна роборука?

Для манипулирования различными объектами. Дрон очень мобилен — он может подлететь, что-то схватить, забрать и перенести. Мы активно работаем с различными партнерами, в том числе из индустрии логистики. Так вот, им было бы интересно переносить некие объекты внутри складов — с полок хранения на средство транспортировки, а затем в другие помещения. Например, можно сделать так, чтобы коробка со смартфоном сама могла доехать или долететь с полки на складе в магазин или сразу к конечному потребителю.

Мы реализовали прототип роборуки, но её можно масштабировать как угодно — сделать из любых материалов манипулятор такого размера, который необходим для задачи. Соответственно, он сможет работать с более тяжелыми предметами.

Самое интересное, что в этой системе есть компьютерное зрение — чтобы можно было автоматизировать процесс распознавания объектов. Допустим, надо распознать коробку, примериться, как ее лучше схватить. Робот подлетает, определяет нужный груз, «придумывает», как его лучше взять, и несет. Это исключает промежуточные операции по перемещению груза с полки на зону погрузки.

Есть ли у вас уникальные разработки?

Наш последний проект — LightAir, автором идеи которого был профессор «Сколтеха» Дмитрий Тетерюков. Мы участвовали с ним в нескольких тематических конференциях. Проект интересен тем, что позволяет обычному пользователю без специальных знаний и дополнительных устройств в виде смартфона или пульта — взять и пообщаться с дроном.

Наша задача заключалась в создании нового интерфейса взаимодействия между человеком и дроном. В основу идеи лёг дисплей обычного смартфона. Мы создали дисплей прямо под ногами: проектор проецирует изображение на пол или на любую твердую поверхность. Картинка становится интерактивной за счет того, что мы используем трехмерный 3D-сканер на борту дрона. Человек может взаимодействовать с изображением жестами ног.

Тема интерактивных проекций сейчас вообще очень востребована — к нам часто обращаются компании из разных сфер, чтобы обсудить возможности применения таких систем.

Для чего могут применяться подобные разработки?

Дрон может передвигаться в пространстве и отображать нужную информацию. Например, вы идете по улице, а перед вами высвечивается карта и дополнительные данные о месте, в которое вы направляетесь.

В целом, можно реализовывать много различных сценариев в виде приложений. У нас сейчас создано шесть таких приложений. Часть из них игровые — например, пианино. Или футбол в дополненной реальности. Конечно же, карта — навигация. И еще приложение для сервиса доставки — дрон высвечивает меню, вы выбираете, что хотите заказать, он доставляет и предлагает ввести данные банковской карты. К тому же, фото — на дроне расположена обычная — как в смартфоне — камера, с помощью которой можно, например, сделать селфи. Ногой.

В чем новизна проекта?

Мы сами написали софт по распознаванию жестов. Сам концепт тоже новый — интерактивные проекции есть много где, но вот реализации с помощью дрона — не было.

В марте этого года мы были на европейском форуме компьютерной графики Laval Virtual, собрали фидбек и будем дорабатывать проект. Мы хотим сделать так, чтобы пользователю было интересно и удобно взаимодействовать с дроном. Планируем проводить исследование на тему, какие жесты управления пользователю наиболее удобно совершать ногами.

Почему вы реализуете управление именно ногами, ведь жесты рукой — проще?

Давать дрону простые команды, например, «Остановись», «Следуй за мной», «Сделай селфи» действительно удобнее руками, такие разработки уже реализованы даже в потребительских дронах. Но если мы говорим о двустороннем взаимодействии (дрон-человек, человек-дрон) и о передаче графической информации, то жестами рук здесь не обойтись.

Такого еще никто не делал — то есть, в проекте есть та самая новизна. Плюс управление ногами с помощью изображения на полу иногда гораздо удобнее и логичнее — в тех же играх.

Сценарии, которые вы перечислили, можно реализовать и без дрона — карта есть в смартфоне, игры — на приставке. Зачем нужен летательный аппарат?

У дрона много преимуществ. Он может нести дополнительный груз на борту, может освободить руки пользователю, сопровождая его. Например, дрон доставил пиццу — нужно же как-то оплатить ее. А пользователи часто не хотят платить заранее — они хотят платить по факту доставки. Дрон проецирует на пол платежные данные, человек вводит карту и оплачивает.

Управление дронами — непростой процесс. Сложно впервые взять в руки джойстик и не довести аппарат до крушения. Вы не работаете над упрощением управления?

Как раз в проекте LightAir мы работаем и над этим вопросом. У дрона есть четыре степени свободы, которыми можно управлять: вверх-вниз, вправо-влево, вперед-назад. Плюс разворот. В то же время есть несколько уровней управления: самый низкий — это управление непосредственно всеми моторами по отдельности, а самый высокий — это управление какой-то степенью свободы или их комбинацией.

Джойстики позволяют контролировать все степени свободы одновременно, они действительно сложны, особенно для новичка. Высокоуровневое управление — это когда можно просто сказать дрону: «лети от меня», «лети ко мне», «лети на север». В LightAir мы думаем, как можно реализовать простое управление с помощью жестов. Например, тройным «тапом» ноги приказать дрону облететь вокруг человека и заснять видео.

Еще одна нерешенная задача — аккумуляторы. Дроны по-прежнему недолго летают автономно. «Сколтех» занимается решением этого вопроса?

Именно наша лаборатория — нет, но у нас есть Центр электрохимического хранения энергии — там профессора и студенты занимаются подобными вопросами. Ну а мы тестируем их разработки.

Что еще в теме беспилотных летательных аппаратов сейчас наиболее интересно?

Лично мне интересна тема роя дронов — это тема моей диссертации. Я сделал несколько академических проектов, будучи еще магистрантом. В основном — это проекты связанные с поиском наиболее оптимального распределения функций между несколькими дронами.

Например, есть задача по доставке некоего груза. И есть подзадача — нужно определить, куда лететь. Получается, что помимо того, что дрон несет груз, ему надо также использовать бортовые сенсоры и компьютер, чтобы понимать, куда он летит, куда надо доставить посылку. В условиях ограниченной грузоподъемности и времени полета выполнение такого рода комплексных задач становится довольно затруднительным.

Для уменьшения нагрузки на один дрон я распределил эти задачи на двух дронов. Один из них облетает территорию и исследует ее на предмет необходимого места доставки и опасных препятствий, а второй дрон просто несет на борту груз и безопасно доставляет его в необходимое место, координаты которого получены с первого дрона.

Все эти эксперименты мы поставили на улице, с использованием GPS. Недавно у нас появилась система захвата движения — она очень точно отслеживает движение объекта. С ее помощью без GPS можно точно видеть, где находится дрон в помещении и соответственно контролировать его положение и ориентацию.

Данные на дрон передаются по радиоканалу 2,4 ГГц (этого хватает для коротких расстояний). Таким образом у нас появилась возможность ставить эксперименты с дронами в помещении. В частности мы планируем реализовать взаимодействие человека с группой дронов размером с ладонь. Это еще одно интересное направление для изучения.

Для чего еще могут применяться дроны с практической точки зрения?

Часть нашей группы сейчас работает над созданием дрона для инвентаризации — для подсчета складских запасов. Склады обязаны проводить регулярную инвентаризацию, да и просто хорошо бы знать, где что лежит. Дрон может выполнять эту работу автономно — летать, считывать, записывать нужные данные.

Операторы крупных складов очень ждут готовых решений — мы регулярно с ними общаемся и точно знаем потребность.

Когда этот проект будет доведен до коммерческой стадии?

Около полугода осталось до выхода первой коммерческой версии дронов, которые будут тестироваться на складах. С ними в комплекте будет поставляться софт для интеграции с системами управления складами. Также системы навигации — сенсоры, маяки, маркеры для ориентации дронов. Плюс базовые станции, где дроны будут заряжаться.

#Сколтех