Проектирование зданий, операции на сердце, обучение сотрудников: какие задачи помогает решать Microsoft HoloLens

Дополненной реальностью пользуются автопроизводители, врачи, строители и инженеры NASA.

Высокая стоимость гарнитуры Microsoft стала препятствием для массовой аудитории, но возможности устройства компенсируют затраты на его покупку на предприятиях. В сентябре 2018 года Microsoft анонсировала поддержку HoloLens в приложениях Dynamics 365 — CRM- и ERP-сервисах, которые помогают эффективнее организовать бизнес-процессы.

HoloLens может применяться во многих сферах: от медицинских приложений до производства деталей и ремонтных работ. К примеру, эксперт на производстве или опытный врач может удаленно подключиться к устройству новичка, выводить на экран приложения, видео, документы, давать указания и контролировать выполнение работы.

HoloLens использовали и ранее — с 2016 года устройство тестируют в медицине, производстве, автомобильной промышленности и других сферах.

Космос и авиация

NASA

После анонса HoloLens в 2015 году NASA и Microsoft договорились о сотрудничестве в сфере изучения космоса. Первым шагом стал проект Sidekick с двумя режимами: Remote Expert Mode и Procedure Mode. В первом инженеры на Земле могут с помощью Skype видеть то, что видят космонавты, давать указания и советы. Во втором — поверх реальных объектов и оборудования накладывается голограмма с подсказками и комментариями.

Космонавт Скотт Келли. Фото: Microsoft
Космонавт Скотт Келли. Фото: Microsoft

Также сотрудники NASA используют HoloLens, чтобы искать на голографической карте Марса оптимальные места для строительства базы. Эксперты могут использовать данные, собранные во время других миссий по изучению Марса, загружать в HoloLens и «ходить» по поверхности планеты, не покидая офиса.

В октябре 2018 года стало известно, что HoloLens используется подрядчиками NASA для сборки элементов космического аппарата Orion, предназначенного для транспортировки людей к Луне и Марсу и обратной доставки на Землю.

Демонстрация работы Hoolens. Фото: Technology Review
Демонстрация работы Hoolens. Фото: Technology Review

С помощью гарнитуры специалисты видят голографические модели и схемы компоновки элементов корабля — они накладываются на реальные части конструкции, а над отверстиями для затяжки соединений появляется необходимая инструкция. Также специалист видит, как должна выглядеть готовая конструкция после сборки.

Элементы и определенные узлы окрашиваются в разные цвета — для каждого инженера подсвечиваются только те детали, которые соответствуют его специализации.

В компании отмечают хорошие результаты, полученные во время тестирования. По словам представителей Lockheed Martin, инженерам требуется гораздо меньше времени, чтобы подготовиться к выполнению задач и выполнять действия как простые, так и сложные.

Japan Airlines

Japan Airlines использует HoloLens в обучении: инженеры-стажеры изучают в гарнитурах голограммы реактивных двигателей. Это позволяет упростить процесс обучения. По словам представителей компании, стажёрам теперь не нужно посещать отдельный ангар и работать с дорогостоящими рабочими компонентами, которые можно вывести из строя. Обучение происходит как в классе, так и через Skype.

Демонстрация работы Hololens от Japan Airlines

Производство

Chevron

Развитие очков дополненной реальности идёт в сторону работников «первой линии» — людей, в чьи задачи входят диагностика оборудования и поиск проблем на месте происшествия. Затем они могут передавать задачу более опытным специалистам. HoloLens позволяет удалённо вызвать квалифицированного инженера и сделать работу «руками» специалиста первой линии.

Менеджер Microsoft GM Studio Лоррейн Бардин на презентации новых возможностей HoloLens рассказал журналистам, что работники «первой линии» составляют 80% рабочей силы в мире, их более 2 млрд человек. И они не могут пользоваться всеми современными технологиями, так как ограничены в своих действиях.

Microsoft разработала приложение Dynamics 365 Remote Assistant, которое позволяет сотруднику удаленно вызвать эксперта, чтобы решать возникшие проблемы. Эксперт появляется в отдельном окошке, которое находится в поле зрения рабочего.

Демонстрационное видео Remote Assistant

Консультант видит мир «глазами» сотрудника через камеры, расположенные на очках. Оба могут совместно работать с документами и «рисовать» в пространстве. К примеру, эксперт может прямо в воздухе нарисовать инструкцию: какой рычаг нажимать, в каком порядке подключать провода.

Второе приложение Dynamics 365 Layout предназначено для планирования пространства в производстве, розничной торговле и складах. Оно помогает проектировать витрины, склады и заводские помещения. Бардин говорит, что грамотное расположение объектов в пространстве (например, на складах) становится конкурентным преимуществом, которое влияет на эффективность производства.

Демонстрационное видео Layout

Текущие двухмерные чертежи не позволяют работать команде совместно и оперативно вносить изменения в план. Макеты из картона наглядные, но их нельзя быстро изменить. По словам Бардина, смешанная реальность позволяет использовать цифровой контент в реальном мире, используя те данные, которые нужны для решения проблемы.

MIcrosoft заключила контракт с нефтяным гигантом Chevron, которая использует HoloLens для вызова удаленных экспертов и трансляции видео с объяснением инженерных процессов. Инспекторы нефтяной компании проводят через HoloLens ежемесячные проверки сингапурского завода из Техаса вместо авиаперелётов. Приложения дополненной реальности используются для удаленного выявления потенциальных проблем и принятия изменений.

ThyssenKrupp

В апреле 2017 года Microsoft заключила партнерство с промышленной компанией по производству лифтов ThyssenKrupp. HoloLens используется в разработке перил для домашних лестниц людям с ограниченными возможностями

Каждая лестница в доме уникальна по размерам, потому нельзя поставить универсальные перила. Каждую ступеньку необходимо измерить, настроить и изготовить подходящую часть перил — для этого инженер компании использует HoloLens. Гарнитура захватывает размеры лестничного пролёта, величину ступеньки и сохраняет записи в облаке Microsoft в режиме реального времени. Производство начинается ещё до того, как замерщик возвращается в офис.

Демонстрация от ThyssenKrupp

Также HoloLens рисует предварительную версию перил с помощью анимаций. Руководитель отдела управления жизненным циклом продукта Саймон Фейсманн считает, что HoloLens позволил ускорить процесс производства в четыре раза.

Trimble и Aecom

Демонстрация от Trimble

Компания Trimble разработала программную платформу для HoloLens, которая помогает в работе архитекторам и инженерам-строителям. Они могут просматривать голографические модели конструкций как на стадии проектирования, так и во время строительства.

Trimble и Microsoft создали универсальное ANSI-решение для работы гарнитуры в строительной сфере, объединив HoloLens с промышленным стандартом защиты головы. Инженеры в HoloLens с каской будут допускаться в соответствующих отраслях — строительных площадках, горнодобывающих компаниях и на море.

Hololens со встроенной каской. Фото: Microsoft
Hololens со встроенной каской. Фото: Microsoft

Эту технологию использует корпорация Aecom для проектирования и строительства. По словам президента Aecom Стефена Каденаси, HoloLens помогает получить больше ясности на раннем этапе анализа проекта, чем при использовании двухмерных эскизов или 3D-моделей на экране. Сотрудники компании могут одновременно изучать голографическую проекцию, находясь на большом расстоянии друг от друга.

Один из первых проектов Aecom — проектирование четырех летних домов с нестандартной архитектурой.

Совместный проект Trimble и Aecom

BAE Systems и PTC

Компания BAE Systems разрабатывает системы электрической тяги для автобусов. Она заключила сотрудничество с PTC, которая разработала платформу PTC ThingWorx Studio для создания решений на основе смешанной реальности. Решения повышают производительность работников «первой линии».

Демонстрация от BAE

BAE и PTC разработали обучающую программу для HoloLens, которая показывает, как собирать аккумуляторы для электроавтобусов. Инженеры видят трехмерное изображение-шаблон, по которому собирается аккумулятор из материалов.

По словам представителей Microsoft, инструменты позволяют BAE за несколько часов создавать инструкции для рабочих, затрачивая при этом только 10% прежней стоимости и повышая эффективность обучения нового персонала на 30-40%.

Медицина

Alder Hey

В августе 2018 года Microsoft объявила, что врачи британской больницы Alder Hey будут использовать гарнитуры HoloLens и интерактивный дисплей Surface Hub во время критических операций, к примеру, на сердцах детей. На Surface Hub врачи пишут заметки, прикрепляют изображения, МРТ и другую информацию, в реальном времени отправляют её на HoloLens.

С помощью HoloLens врачи в реальном времени смогут видеть 3D-модель сердца, на котором идёт операция. Кардиохирург Рафаэль Герреро считает, что изображение сердца снаружи и изнутри поможет в проведении операций, так как смешанная реальность позволяет быстрее анализировать пациента.

По его словам, во время критических операций на сердце нельзя уйти от пациента, чтобы получить дополнительную информацию.

Симулятор принятия родов LucinaAR

В январе 2018 года компания CAE вместе с Microsoft разработала симулятор LuciaAR. Его задача — помогать врачам тренироваться в случае осложнений при родах. Основа симулятора — гарнитура HoloLens и детальные модели матери и ребенка. С помощью HoloLens можно увидеть движение плода и оценить эффективность действий врача.

Одна из основных задач симулятора — отработка действий при плечевой дистоции. Это редкое осложнение, которое может встречаться один раз на 1000 случаев. Если акушер умеет высвобождать плечо младенца, шанс успешных родов значительно увеличивается.

Novarad

В июле 2017 года Microsoft HoloLens впервые использовали в хирургической операции. Компания Novarad разработала программное обеспечение для визуализации трехмерных внутренностей пациентов, которые точно накладываются на тело реального больного. В качестве устройства использовали HoloLens.

Генеральный директор Novarad, нейрорадиолог Вендел Гибби провёл автоматизированную чрескожную поясничную дискэктомию — операцию по облегчению боли в спине и ногах, связанной с грыжей поясничного диска.

По мнению разработчиков, OpenSight поможет уменьшить число ошибок при операциях, повысить точность выполнения задач и эффективность лечения. По словам Гибби, бывает сложно найти что-то хирургическим способом, а возможность видеть пациента изнутри устраняет большинство проблем.

HoloLens с OpenSight используют МРТ и другие снимки тела пациента в режиме реального времени, позволяя видеть пациента с динамически изменяемыми голограммами их внутренней анатомии в натуральную величину.

Автомобильная промышленность

Ford

В июне 2016 года Ford совместно с Microsoft запустила пилотный проект по оптимизации логистических процессов с помощью гарнитуры HoloLens. На заводах Ford Sollers сотрудники на складе получали на дисплее HoloLens список деталей, количество, их местонахождение, а навигационная стрелка показывала направление поиска ячейки. Взятие детали подтверждалось голосом и жестами.

Источник: 3DNews
Источник: 3DNews

Технология цифровой комплектации получила название Pick by vision. По задумке Microsoft и Ford, она ускоряет процесс сборки автомобилей и помогает сотрудникам быстрее адаптироваться к запуску в производство новых моделей автомобилей. На первом этапе технологию тестировали на заводе в Набережных Челнах, где производят Ford EcoSport и Ford Fiesta.

В сентябре 2017 года Microsoft и Ford заключили соглашение о внедрении на производство гарнитуры дополненной реальности HoloLens. С её помощью дизайнеры Ford наносили декоративные голографические элементы на физическую модель машины, чтобы оценить её внешний вид. Инженерам не требовалось создавать боковые зеркала, бампера, решетки и другие детали, чтобы «примерять» их на макет. Время оценки сократилось с нескольких дней до минут.

Вице-президент Ford говорил, что HoloLens — мощный инструмент для дизайнеров, который позволяет экспериментировать и быстрее эволюционировать в производстве автомобилей. Также HoloLens стал инструментом совместной работы — над проектом могла одновременно работать группа дизайнеров и инженеров.

Mercedes-Benz

Компания использует более 100 гарнитур HoloLens в глобальной образовательной программе Mercedes-Benz Global Training для быстрого и интерактивного обучения. Основная задача HoloLens — упростить обучение визуализируя сложные задачи.

Учебный центр в Штутгарте ежедневно посещают около 450 сотрудников. В гарнитуре они рассматривают и изучают трехмерные цифровые модели машин, их внутреннее строение и конструкции деталей, к примеру, тормозов или коробки передач. За один урок используется от пяти до 15 устройств одновременно.

Конструктор Mercedes-Benz Ральф Кригер говорит, что некоторым ученикам теперь достаточного одной машины в выставочном зале, чтобы полноценно рассказать о всей линейке. Также HoloLens используется в демонстрационных целях: клиенты могут физически потрогать автомобиль, а затем в дополненной реальности оценить её в другой комплектации.

Также HoloLens может демонстрировать клиентам различные функции Mercedes-Benz A-класса — для этого разработано специальное приложение.

Volkswagen

Автопроизводитель использует HoloLens для моделирования и дизайна. Для этого создана специальная студия Volkswagen Virtual Engineering Lab в Вольфсбурге.

Сотрудники лаборатории с помощью голограмм изменяют цвет модели автомобиля, зеркала, задние фары, колёса, и проверяет её работу. Управление происходит как голосом, так и с помощью жестов.

HoloLens помогает работать над одним проектом одновременно нескольким командам из разных городов — все сотрудники получают изменения модели в реальном времени. Пока что компания работает над опытной моделью Volkswagen Golf R-Line, о других линейках автомобилей пока заявлено не было.

HoloLens 2

Различные утечки указывают на то, что в 2019 году Microsoft выпустит вторую версию HoloLens. По слухам, новое устройство должно решить несколько проблем.

  • HoloLens 2 станет дешевле — будет стоить не... $3000-5000, а около $1000.
  • Устройство будет работать на процессоре Qualcomm Snapdragon XR1, разработанным специально для AR-, VR-устройств.
  • Также HoloLens 2 может получить более широкий угол обзора в камере Kinect, новый модуль голографической обработки HPU 2.0 с сопроцессором ускорения ИИ-задач и поддержкой сетей LTE или 5G.
1515
4 комментария

Особенно приятно, что это не подсайт «Будущее», а уже вполне настоящее :)

9
Ответить

норм

Ответить

Порно индустрия чем порадует? Хочется на яхте поплавать с рыбкой

Ответить

чтобы про тебя потом тоже выпустили книгу и расследование?)

Ответить