Проектирование зданий, операции на сердце, обучение сотрудников: какие задачи помогает решать Microsoft HoloLens Статьи редакции

Дополненной реальностью пользуются автопроизводители, врачи, строители и инженеры NASA.

Высокая стоимость гарнитуры Microsoft стала препятствием для массовой аудитории, но возможности устройства компенсируют затраты на его покупку на предприятиях. В сентябре 2018 года Microsoft анонсировала поддержку HoloLens в приложениях Dynamics 365 — CRM- и ERP-сервисах, которые помогают эффективнее организовать бизнес-процессы.

HoloLens может применяться во многих сферах: от медицинских приложений до производства деталей и ремонтных работ. К примеру, эксперт на производстве или опытный врач может удаленно подключиться к устройству новичка, выводить на экран приложения, видео, документы, давать указания и контролировать выполнение работы.

HoloLens использовали и ранее — с 2016 года устройство тестируют в медицине, производстве, автомобильной промышленности и других сферах.

После анонса HoloLens в 2015 году NASA и Microsoft договорились о сотрудничестве в сфере изучения космоса. Первым шагом стал проект Sidekick с двумя режимами: Remote Expert Mode и Procedure Mode. В первом инженеры на Земле могут с помощью Skype видеть то, что видят космонавты, давать указания и советы. Во втором — поверх реальных объектов и оборудования накладывается голограмма с подсказками и комментариями.

Также сотрудники NASA используют HoloLens, чтобы искать на голографической карте Марса оптимальные места для строительства базы. Эксперты могут использовать данные, собранные во время других миссий по изучению Марса, загружать в HoloLens и «ходить» по поверхности планеты, не покидая офиса.

В октябре 2018 года стало известно, что HoloLens используется подрядчиками NASA для сборки элементов космического аппарата Orion, предназначенного для транспортировки людей к Луне и Марсу и обратной доставки на Землю.

С помощью гарнитуры специалисты видят голографические модели и схемы компоновки элементов корабля — они накладываются на реальные части конструкции, а над отверстиями для затяжки соединений появляется необходимая инструкция. Также специалист видит, как должна выглядеть готовая конструкция после сборки.

Элементы и определенные узлы окрашиваются в разные цвета — для каждого инженера подсвечиваются только те детали, которые соответствуют его специализации.

В компании отмечают хорошие результаты, полученные во время тестирования. По словам представителей Lockheed Martin, инженерам требуется гораздо меньше времени, чтобы подготовиться к выполнению задач и выполнять действия как простые, так и сложные.

Japan Airlines использует HoloLens в обучении: инженеры-стажеры изучают в гарнитурах голограммы реактивных двигателей. Это позволяет упростить процесс обучения. По словам представителей компании, стажёрам теперь не нужно посещать отдельный ангар и работать с дорогостоящими рабочими компонентами, которые можно вывести из строя. Обучение происходит как в классе, так и через Skype.

Развитие очков дополненной реальности идёт в сторону работников «первой линии» — людей, в чьи задачи входят диагностика оборудования и поиск проблем на месте происшествия. Затем они могут передавать задачу более опытным специалистам. HoloLens позволяет удалённо вызвать квалифицированного инженера и сделать работу «руками» специалиста первой линии.

Менеджер Microsoft GM Studio Лоррейн Бардин на презентации новых возможностей HoloLens рассказал журналистам, что работники «первой линии» составляют 80% рабочей силы в мире, их более 2 млрд человек. И они не могут пользоваться всеми современными технологиями, так как ограничены в своих действиях.

Microsoft разработала приложение Dynamics 365 Remote Assistant, которое позволяет сотруднику удаленно вызвать эксперта, чтобы решать возникшие проблемы. Эксперт появляется в отдельном окошке, которое находится в поле зрения рабочего.

Консультант видит мир «глазами» сотрудника через камеры, расположенные на очках. Оба могут совместно работать с документами и «рисовать» в пространстве. К примеру, эксперт может прямо в воздухе нарисовать инструкцию: какой рычаг нажимать, в каком порядке подключать провода.

Второе приложение Dynamics 365 Layout предназначено для планирования пространства в производстве, розничной торговле и складах. Оно помогает проектировать витрины, склады и заводские помещения. Бардин говорит, что грамотное расположение объектов в пространстве (например, на складах) становится конкурентным преимуществом, которое влияет на эффективность производства.

Текущие двухмерные чертежи не позволяют работать команде совместно и оперативно вносить изменения в план. Макеты из картона наглядные, но их нельзя быстро изменить. По словам Бардина, смешанная реальность позволяет использовать цифровой контент в реальном мире, используя те данные, которые нужны для решения проблемы.

MIcrosoft заключила контракт с нефтяным гигантом Chevron, которая использует HoloLens для вызова удаленных экспертов и трансляции видео с объяснением инженерных процессов. Инспекторы нефтяной компании проводят через HoloLens ежемесячные проверки сингапурского завода из Техаса вместо авиаперелётов. Приложения дополненной реальности используются для удаленного выявления потенциальных проблем и принятия изменений.

В апреле 2017 года Microsoft заключила партнерство с промышленной компанией по производству лифтов ThyssenKrupp. HoloLens используется в разработке перил для домашних лестниц людям с ограниченными возможностями

Каждая лестница в доме уникальна по размерам, потому нельзя поставить универсальные перила. Каждую ступеньку необходимо измерить, настроить и изготовить подходящую часть перил — для этого инженер компании использует HoloLens. Гарнитура захватывает размеры лестничного пролёта, величину ступеньки и сохраняет записи в облаке Microsoft в режиме реального времени. Производство начинается ещё до того, как замерщик возвращается в офис.

Также HoloLens рисует предварительную версию перил с помощью анимаций. Руководитель отдела управления жизненным циклом продукта Саймон Фейсманн считает, что HoloLens позволил ускорить процесс производства в четыре раза.

Компания Trimble разработала программную платформу для HoloLens, которая помогает в работе архитекторам и инженерам-строителям. Они могут просматривать голографические модели конструкций как на стадии проектирования, так и во время строительства.

Trimble и Microsoft создали универсальное ANSI-решение для работы гарнитуры в строительной сфере, объединив HoloLens с промышленным стандартом защиты головы. Инженеры в HoloLens с каской будут допускаться в соответствующих отраслях — строительных площадках, горнодобывающих компаниях и на море.

Эту технологию использует корпорация Aecom для проектирования и строительства. По словам президента Aecom Стефена Каденаси, HoloLens помогает получить больше ясности на раннем этапе анализа проекта, чем при использовании двухмерных эскизов или 3D-моделей на экране. Сотрудники компании могут одновременно изучать голографическую проекцию, находясь на большом расстоянии друг от друга.

Один из первых проектов Aecom — проектирование четырех летних домов с нестандартной архитектурой.

Компания BAE Systems разрабатывает системы электрической тяги для автобусов. Она заключила сотрудничество с PTC, которая разработала платформу PTC ThingWorx Studio для создания решений на основе смешанной реальности. Решения повышают производительность работников «первой линии».

BAE и PTC разработали обучающую программу для HoloLens, которая показывает, как собирать аккумуляторы для электроавтобусов. Инженеры видят трехмерное изображение-шаблон, по которому собирается аккумулятор из материалов.

По словам представителей Microsoft, инструменты позволяют BAE за несколько часов создавать инструкции для рабочих, затрачивая при этом только 10% прежней стоимости и повышая эффективность обучения нового персонала на 30-40%.

В августе 2018 года Microsoft объявила, что врачи британской больницы Alder Hey будут использовать гарнитуры HoloLens и интерактивный дисплей Surface Hub во время критических операций, к примеру, на сердцах детей. На Surface Hub врачи пишут заметки, прикрепляют изображения, МРТ и другую информацию, в реальном времени отправляют её на HoloLens.

С помощью HoloLens врачи в реальном времени смогут видеть 3D-модель сердца, на котором идёт операция. Кардиохирург Рафаэль Герреро считает, что изображение сердца снаружи и изнутри поможет в проведении операций, так как смешанная реальность позволяет быстрее анализировать пациента.

По его словам, во время критических операций на сердце нельзя уйти от пациента, чтобы получить дополнительную информацию.

В январе 2018 года компания CAE вместе с Microsoft разработала симулятор LuciaAR. Его задача — помогать врачам тренироваться в случае осложнений при родах. Основа симулятора — гарнитура HoloLens и детальные модели матери и ребенка. С помощью HoloLens можно увидеть движение плода и оценить эффективность действий врача.

Одна из основных задач симулятора — отработка действий при плечевой дистоции. Это редкое осложнение, которое может встречаться один раз на 1000 случаев. Если акушер умеет высвобождать плечо младенца, шанс успешных родов значительно увеличивается.

В июле 2017 года Microsoft HoloLens впервые использовали в хирургической операции. Компания Novarad разработала программное обеспечение для визуализации трехмерных внутренностей пациентов, которые точно накладываются на тело реального больного. В качестве устройства использовали HoloLens.

Генеральный директор Novarad, нейрорадиолог Вендел Гибби провёл автоматизированную чрескожную поясничную дискэктомию — операцию по облегчению боли в спине и ногах, связанной с грыжей поясничного диска.

По мнению разработчиков, OpenSight поможет уменьшить число ошибок при операциях, повысить точность выполнения задач и эффективность лечения. По словам Гибби, бывает сложно найти что-то хирургическим способом, а возможность видеть пациента изнутри устраняет большинство проблем.

HoloLens с OpenSight используют МРТ и другие снимки тела пациента в режиме реального времени, позволяя видеть пациента с динамически изменяемыми голограммами их внутренней анатомии в натуральную величину.

В июне 2016 года Ford совместно с Microsoft запустила пилотный проект по оптимизации логистических процессов с помощью гарнитуры HoloLens. На заводах Ford Sollers сотрудники на складе получали на дисплее HoloLens список деталей, количество, их местонахождение, а навигационная стрелка показывала направление поиска ячейки. Взятие детали подтверждалось голосом и жестами.

Технология цифровой комплектации получила название Pick by vision. По задумке Microsoft и Ford, она ускоряет процесс сборки автомобилей и помогает сотрудникам быстрее адаптироваться к запуску в производство новых моделей автомобилей. На первом этапе технологию тестировали на заводе в Набережных Челнах, где производят Ford EcoSport и Ford Fiesta.

В сентябре 2017 года Microsoft и Ford заключили соглашение о внедрении на производство гарнитуры дополненной реальности HoloLens. С её помощью дизайнеры Ford наносили декоративные голографические элементы на физическую модель машины, чтобы оценить её внешний вид. Инженерам не требовалось создавать боковые зеркала, бампера, решетки и другие детали, чтобы «примерять» их на макет. Время оценки сократилось с нескольких дней до минут.

Вице-президент Ford говорил, что HoloLens — мощный инструмент для дизайнеров, который позволяет экспериментировать и быстрее эволюционировать в производстве автомобилей. Также HoloLens стал инструментом совместной работы — над проектом могла одновременно работать группа дизайнеров и инженеров.

Компания использует более 100 гарнитур HoloLens в глобальной образовательной программе Mercedes-Benz Global Training для быстрого и интерактивного обучения. Основная задача HoloLens — упростить обучение визуализируя сложные задачи.

Учебный центр в Штутгарте ежедневно посещают около 450 сотрудников. В гарнитуре они рассматривают и изучают трехмерные цифровые модели машин, их внутреннее строение и конструкции деталей, к примеру, тормозов или коробки передач. За один урок используется от пяти до 15 устройств одновременно.

Конструктор Mercedes-Benz Ральф Кригер говорит, что некоторым ученикам теперь достаточного одной машины в выставочном зале, чтобы полноценно рассказать о всей линейке. Также HoloLens используется в демонстрационных целях: клиенты могут физически потрогать автомобиль, а затем в дополненной реальности оценить её в другой комплектации.

Также HoloLens может демонстрировать клиентам различные функции Mercedes-Benz A-класса — для этого разработано специальное приложение.

Автопроизводитель использует HoloLens для моделирования и дизайна. Для этого создана специальная студия Volkswagen Virtual Engineering Lab в Вольфсбурге.

Сотрудники лаборатории с помощью голограмм изменяют цвет модели автомобиля, зеркала, задние фары, колёса, и проверяет её работу. Управление происходит как голосом, так и с помощью жестов.

HoloLens помогает работать над одним проектом одновременно нескольким командам из разных городов — все сотрудники получают изменения модели в реальном времени. Пока что компания работает над опытной моделью Volkswagen Golf R-Line, о других линейках автомобилей пока заявлено не было.

Различные утечки указывают на то, что в 2019 году Microsoft выпустит вторую версию HoloLens. По слухам, новое устройство должно решить несколько проблем.

• HoloLens 2 станет дешевле — будет стоить не... $3000-5000, а около $1000.
• Устройство будет работать на процессоре Qualcomm Snapdragon XR1, разработанным специально для AR-, VR-устройств.
• Также HoloLens 2 может получить более широкий угол обзора в камере Kinect, новый модуль голографической обработки HPU 2.0 с сопроцессором ускорения ИИ-задач и поддержкой сетей LTE или 5G.

#microsoft #hololens