Как хакатонная команда DeepThought получила предложение на разработку софта для автомобилей Aurus и причём здесь манипуляторы TAU tracker.
Наша компания «Настэк» работает над человеко-машинным интерфейсом TAU tracker, это модульная система захвата движений и определения положения предметов, она идеальна в сочетании с VR/AR и может применяться в трёхмерном проектировании, обучающих системах, медицинских операциях, реабилитации и, не в последнюю очередь, для игр. Основные преимущества – высокая интегрируемость, компактность модулей, отсутствие необходимости в камерах.
В прошлом году мы с шестью другими сколковскими стартапами придумали проводить совместный хакатон. Все эксперты, с которыми мы общались предварительно, нас активно отговаривали. Им не нравилось буквально всё – от дат, до адреса страницы – hktn.ru. Но мы решили, что риск адекватный и в конце декабря всё провели в модульных залах Технопарка «Сколково».
«Настэк» взял себе два трека (из девяти) – распознавание жестов и управление на платформе Unity. Истоки этих задач легко понять.
Сегодня система TAU tracker скорее инструмент для разработчиков, чем готовый продукт для пользователя. Прежде чем выходить на потребительский рынок, нужно обрасти инфраструктурой. Представьте себе мышку до появления графических интерфейсов. Приходит человек: «Я мышку разработал»! А ему говорят: «Класс, что она умеет делать?» – «Можно тут нажимать, и тут» – «Отлично, у нас вот консоль, командная строка, как она нам поможет?».
TAU сегодня на аналогичной стадии: мы сделали первую промышленную поставку, решение работает, но потенциальным пользователям необходимо увидеть, где технологию применять и как она действует, не концепт, не презентация «мы тут придумали», а уже реальный пример. Это большой шаг для компании.
Мышка обретает смысл тогда, когда у тебя есть чем рулить.
Соответственно на хакатоне оба наших трека концептуально были направлены на поиски проекта, который на потребительском уровне продемонстрирует возможности манипулятора. В первом мы просили написать демо-приложение, распознающее четыре жеста на основе потока данных от перчатки. Грубо говоря, ты делаешь жест – приложение показывает тебе цифру жеста. Если 8 из 10 подходов распознаёт – задача считается выполненной.
Ограничение в количестве жестов мы сделали чисто для хакатона. Посчитали и поняли, что четыре жеста – необходимый минимум, с которым можно чем-то управлять (например, домашней автоматикой): включить, выключить, кликнуть, отменить, выбрать, двинуть в одну сторону, в другую. Вместе с тем это то количество, на которое за 48 часов можно набрать минимальную базу и обучить, если надо, нейросеть.
Рассказывает технический директор TAU tracker Александр Борисенко: "Честно говоря, мне с первых минут бросилась в глаза разница в настрое двух участников трека. В первой команде к вечеру первого дня дошёл только один участник и, когда я предложил, не теряя времени, подключить и настроить трекер, он отреагировал без энтузиазма и предпочёл дождаться, пока все соберутся.
Зато их конкуренты, DeepThought оказались заряженными (в хорошем смысле) ребятами. Сходу всё настроили и включились в работу. На хакатоне очень важно какой темп ты берёшь. Но ещё важнее выбранный командой подход к задаче. DeepThought сразу решили, что будут работать с нейросетью, но одного желания тут мало, как в спорте – можно очень хотеть, но если у тебя нет адекватного уровня подготовки, ничего не получится. Построить нейронку можно тысячей и одним способом, тысячей и одним способом натренировать и примерно столькими же способами представить данные.
Как я уже упоминал, базы для проверок и обучения команды собирали вручную сами. Всю первую ночь бегали, прыгали, махали руками, кукарекали. Небольшая выборка накладывала большой коэффициент ошибок, поэтому в финале было бессмысленно передать устройство другому человеку повторить движения. Если всё работает на том, на ком обучалось – уже успех. Ну мы и не ставили задачи за 48 часов выкатить решение индустриального уровня, достаточно было показать, что подход работающий. Обе команды это продемонстрировали и прошли в финал, но какие разные у них были подходы!
У первой команды вышла самая примитивная вещь: мы знаем, что эта конечность должна смотреть вверх, эта влево, эта вправо, выстраивается гора if-ов и просто проверяются условия. Эвристика не эвристика, брутфорс не брутфорс, но работает! Помимо этого, они предложили набор дополнительных идей, априори сложных в реализации, на которые ушло слишком много времени и ресурсов.
Кто-то скажет, что набором условий задача тоже решается, да и стек if-ов быстрее работает, чем нейросеть. Но если захардкодил количество жестов, то тебе до конца с ними жить. Появился пятый жест? Нужна новая программа! А если добавился не один жест, а много – большое количество if-ов неизбежно приведут к путанице. Нейросети же всё равно четыре жеста, восемь или сколько угодно, её достаточно дообучить по привычной схеме.
Поэтому победили DeepThought, за счёт более взрослой, взвешенной и цельной технологии, даже если её, строго говоря, сегодня уже не назвать какой-то суперинновационной.
По итогам этого трека мы получили идеи, алгоритмы и людей, которые их придумали. Сам код – написанный с недосыпа за двое суток – стоит стереть и забыть. Для хакатона это нормально. Когда торопишься в программировании, обычно в каких-то моментах «срезаешь углы», хардкодишь кучу всего, что по уму вынести в конфиг, какие-то переменные появляются магическим образом, потом смотришь и думаешь: «как это вообще могло работать?» В промышленном решении такое недопустимо.
Кроме того, в данном случае, быстро стало понятно, что команду мы будем выдёргивать на другой проект.
Дело в том, некоторое время назад к нам обратились производители бронированных представительских лимузинов Aurus. В России у этого бренда пока не слишком большая популярность, но в Китае и арабских странах у них обширная клиентура.
Часть их сервисного функционала – техобслуживание, которое компания осуществляет in-house. В силу высокотехнологичной специфики автомобиля, это очень диджитализированный процесс и механику нужно с одной стороны иметь дело с автомобильными деталями, с другой – постоянно взаимодействовать с цифровой аппаратурой. Всякий раз снимать перчатки и браться за мышку – не слишком удобно, поэтому управление жестами позволит добиться серьезной экономии времени.
Для TAU Tracker это сравнительно простой кейс, кроме того, он максимально приближен к задаче хакатона. Когда мы это поняли, решение ангажировать под эту задачу DeepThought пришло само собой.
И представьте себе, прошло чуть больше месяца (и какого – половина выпала на праздники), а ребята уже обсуждают ТЗ с заказчиком.
Во втором нашем треке мы просили команды реализовать управление в одной из микро-игр на платформе Unity.
Использование манипулятора для управления играми с первого дня было одним из наиболее очевидных векторов развития TAU.
Другое дело, что трекинг для игр неразрывно связан с VR, а его развитие пока, увы, происходит сильно медленнее, чем все ожидали. Кроме того, переход на трекинговые манипуляторы связан с серьезным сдвигом в сознании потребителя. Сегодня мы играем, чтобы отдохнуть, а тут ты нацепил на себя это всё, надо активно двигаться, махать руками, и пользователь быстро устаёт, от VR начинает кружиться голова. Понятно, что потенциал огромный и за этим будущее, но по факту все ждут пока кто-то другой сделает первый шаг.
Тем не менее, думать в направлении игр мы не перестаём. Потому и попросили участников хакатона подумать вместе с нами, проявить некоторую креативность и что-то в области игрового управления показать. То есть задача была сложной не столько технически, сколько идейно: есть акселерометр угловых скоростей, ты знаешь ориентацию трекера в пространстве – что напрашивается? По аналогии со смартфонами, игры, где ты чем-то рулишь, катаешь шарик. Только это очевидные решения, напрашивающиеся, а нам хотелось чего-то поинтереснее, и в принципе ребята нас не разочаровали.
У нас есть плагин для Unity, есть и для Unreal Engine, но первая для хакатона подходит больше, как более простая и распространённая. Как Tilda для сайтов, Unity минимизирует возню с тем, что напрямую не связано с игрой. Нужно меньше усилий, чтобы игра заработала: можно целыми кусками брать готовые ассеты – модели, текстуры, шейдеры, рэгдоллы – с маркетплейса.
Победители трека, TAUiteasy так и сделали: вместо того, чтобы выбирать готовую игру, собрали набор ассетов, какой-то рэгдолл и сделали управление им по принципу марионетки. К каждому пальцу как бы присоединена ниточка, соединённая с одним из узлов на кукле – пользователь двигает пальцами, кукла двигается по сцене. По сути они связали координаты пальца с координатами суставов марионетки. Два пальца отвечают за ноги, ещё два – за руки и палец-голова. Смотрится забавно и свежо.
Если для DeepThought сразу нашёлся конкретный проект, то с TAUiteasy мы пока общаемся. Возможно будем делать на основе их решения демо-приложение, показывающее возможности наших трекеров – управление марионеткой будет частью возможностей – или что-то другое. Всё-таки рабочий проект меньше, чем через месяц после хакатона, скорее исключение, чем правило.
Параллельно команда думает о заданиях на второй хакатон, который состоится . Хочется чего-то с одной стороны, амбициозного, чтобы привлечь побольше действительно интересных участников, с другой – выполнимого в ограниченное время и в перспективе полезного для компании и партнёров".
Комментарий недоступен