Станут ли Американцы летать лучше русских на истребителях? В воздушной схватке с дополненной реальностью

Как начать обучение воздушному бою на высоте 15 тысяч метров? Военные размышляли над этим вопросом с тех пор, как первые летчики-истребители поднялись в небо несколько десятилетий назад. В течение многих лет ВВС сосредоточились на наземных симуляторах виртуальной реальности и проводили воздушные маневры собственными силами, но ни один из этих пилотов не был полностью подготовлен к реальным столкновениям с противником. Платформа дополненной реальности Red 6, основанная в 2018 году, поддерживает этот статус-кво с помощью воздушной системы дополненной реальности. Используя систему, пилоты одетые в специальные шлемы и гарнитуры AR, будут летать на реальных самолетах, оснащенных компьютерами на операционной системе Windows, некоторыми датчиками и сложной графической ПО Unreal Engine.

Через гарнитуру дополненной реальности пилот может одновременно видеть реальную окружающую среду и компьютерную стереоскопическую 3D-проекцию одного или нескольких вражеских самолетов. Вражеские самолеты двигаются так же, как и в реальной боевой обстановке, что эмитирует реалистичную угрозу для пилотов, но не создаст реальной опасности ни для них, ни для самолета. Используя эту систему, пилоты могут репетировать одни и те же сценарии снова и снова, пока они не справятся с ними идеально.

Когда-то считалось, что такая система невозможна. Хотя моделирование полета не является чем-то новым, возможность отображать реалистичные изображения и движения в воздухе через шлем пилота — это прорыв в обучении пилотов-истребителей.

По словам Nick Bicanic, основателя и главного научного сотрудника Red 6, традиционные военные проекционные дисплеи имеют чрезвычайно узкое поле зрения, иногда отображая только один цвет для одного глаза. Он добавил, что такая система хорошо работает с базовыми символами и данными авионики, но их нельзя использовать для имитации реальности.

Он сказал: «С системой Red 6 пилоты могут видеть угол обзора около 105° или даже более широкое поле зрения, а также полноцветная бинокулярная система, которая видна при дневном свете, и синтетический самолет, который они видят, не настоящий, а чувствуется и выглядит вполне себе. Как будто это было на самом деле. Они вышли из самолета и сказали: «Невероятно. Мы долго этого ждали. Сколько времени это займет?»

Помимо использования наземных симуляторов виртуальной реальности, ВВС также обучают пилотов-истребителей с помощью живых воздушных учений. Хотя этот тип обучения в некотором смысле работает, он также имеет много недостатков. Во-первых, это крайне дорого — для обучения одного пилота требуются сотни часов налета, а значит, в течение этих сотен часов игровой противник тоже должен находиться в воздухе. Это будет стоить топливо и логистику от 60 000 до 90 000 долларов в час, что в конечном итоге будет стоить миллиарды долларов в год. Кроме того, есть некоторые скрытые расходы — пилотам может быть утомительно проводить дополнительное время в полете в качестве противника, и эти пилоты на самом деле не обучены таким миссиям.

Кроме того, при таких маневрах существует риск столкновения или другого несчастного случая. «При работе на высокой скорости и высокой гравитации может быть очень опасно обгонять другие самолеты на близком расстоянии, — сказал Daniel Robinson, основатель и генеральный директор Red 6. — Очевидно, что риск очень высок.

«Там летали и сражались два пилота, и казалось, что они оба хорошо обучены, — прокомментировал Robinson, — в то время как реальность такова, что пилот, играющий врага, будет чувствовать себя очень скованно»

Между рисками, затратами и ограниченной эффективностью было ясно, что необходимо новое решение. Решение на основе дополненной реальности отвечает всем требованиям: оно обеспечивает полное и воспроизводимое обучение, стоит дешевле и, что самое главное, намного безопаснее.

"То, что мы делаем, имеет далеко идущие последствия для безопасности, сказал Robinson. - Мы пытаемся решить не только очевидную стоимость, но и качество обучения и, в конце учебного процесса, больше великолепных летчиков».

Когда Red 6 приступила к разработке воздушной платформы дополненной реальности, первой технической проблемой, с которой она столкнулась, была система слежения. Благодаря отслеживанию, платформа знает положение головы пилота в трехмерном пространстве и ориентацию лица в любое время, поэтому, когда пилот смотрит прямо в этом направлении, система может соответствующим образом отображать серию изображений вражеских самолетов в AR гарнитуре.

Glenn Snyder, основатель и директор по продукту Red 6, считает, что проблема заключается в том, как точно отслеживать на земле движение самолётов в воздухе. Он пояснил: «Если кто-то не стоит на земле, а находится в воздухе, летит со скоростью сотни километров в час, может двигаться вверх и вниз, влево и вправо, делать бочки и сальто назад, откуда вы знаете, в каком положении находится голова пилота в воздухе? В какой позиции? Как рассчитать положение с точностью до сантиметра?"

Команда не смогла найти готового решения, которое работало бы, поэтому они разработали свой собственный метод - отслеживание абсолютного положения в пространстве, при отслеживании положения головы пилота относительно самолета.

Именно сочетание этих двух типов абсолютного и относительного отслеживания делает возможной эту систему. «Объедините их, привяжите к камере в UE4, и вы получите эффективное решение дополненной реальности на скорости 500 км в час, — сказал Nick Bicanic, — Именно это мы и сделали».

Компания также обнаружила, что может использовать технологию nDisplay для вывода разных изображений на несколько дисплеев с одного компьютера, показывая пилотам стереоскопическое изображение влево-вправо (например, путем добавления дисплея радара на приборную панель самолета). Таким образом, изображения могут быть доставлены на достаточное количество экранов дисплея по мере необходимости, а работа системы от этого не усложняется.

Еще одна проблема при создании воздушной системы дополненной реальности — задержка: существует задержка между движением головы и соответствующим визуальным отображением. «Уменьшить задержку было проблемой номер один, которую мы пытались решить с самого начала», — сказал Snyder.

Задержка для высокоскоростной системы дополненной реальности в воздухе влияет на работу пользователя гораздо сильнее, чем задержка для наземной системы, которая движется с меньшей скоростью. В то время как для наземной системы AR может быть небольшая приемлемая «допустимое значение ошибки», те же самые вариации для воздушной системы будут проявляться на расстоянии в несколько сотен метров. Такие неточности были бы неприемлемы для обучения пилотов в полете.

Команда начала с другого инструмента для работы в реальном времени, но когда они перешли на Unreal Engine, задержка сразу же сократилась до трети того, что было раньше. По словам Snydera, это была одна из основных причин, по которой команда решила использовать Unreal Engine для разработки решений дополненной реальности. С тех пор они усердно работали над сокращением задержки до приемлемых 20 мс, чтоб завоевать доверие военных.

Как ветераны, команда Red 6, естественно знали что нужно ВВС и другим таким ведомствам. Bicanic сказал: "В ВВС очень четко понимают, что им нужно заполнить этот пробел, но они не знают, что эту проблему можно решить. Они сказали нам, что искали такое решение в течение десяти лет. Они удовлетворены тем что у нас получается и надеются получить готовый продукт в ближайшее время и интегрировать его в большее количество самолетов ВВС»,

Робинсон согласился. Он сказал: "Мы использовали дополненную реальность, чтобы избавиться от необходимости иметь вражеских пилотов и вражеские самолеты в воздухе, а также для экономии средств. Теперь мы это сделали. Мы можем моделировать мир с помощью дополненной реальности и Unreal Engine по мере необходимости. И это чрезвычайно захватывающее ценностное предложение».

Как пилоты относятся к системе? "Отзывы, которые мы получаем от пилотов, невероятны, - сказал Snyder. - Когда они выходят из самолета, они говорят: "Как, черт возьми, вы это сделали? Мы хотим ещё"

А команда Red 6 увидела светлое будущее для себя и Unreal Engine. Bicanic прокомментировал: «Есть много компаний, которые создают будущее пространственных вычислений, и дополненная реальность является фундаментальной частью этого. Для нас было крайне важно сотрудничать с наиболее важными игроками в этой области, и без сомнения, Epic Games — одна из них».

Оригинал.

Как вы считаете, где ещё можно использовать данную технологию? Желательно в мирных целях, для созидательных проектов, а не только для военки как это в истории обычно бывает!