Волшебные очки для того, кто хочет стать крутым нефтяником
Башнефть («дочка» Роснефти) представила AR[1]-тренажёры для обучения специалистов нефтяной отрасли. Разработка технологии проходила в рамках проекта «Цифровое месторождение» Башнефти (на базе Башнефть-Добыча).
Гаджеты для обучения – это довольно интересно само по себе. А гаджеты для нефтянки – это ещё интереснее. Научный институт Роснефти – РН-БашНИПИнефть – внёс немалую лепту в разработку обучающего комплекса с применением «волшебных» очков. Так что и подробностей добавим тоже мы.
[1] Дополненная реальность (англ. augmented reality, AR — «дополненная реальность») — результат введения в зрительное поле любых сенсорных данных с целью дополнения сведений об окружении и изменения восприятия окружающей среды; это воспринимаемая смешанная реальность, создаваемая с помощью компьютера с использованием «дополненных» элементов воспринимаемой реальности, когда реальные объекты монтируются в поле восприятия.
Начнём с того, что нельзя просто взять и внедрить новую технологию в производственную жизнь целой отрасли. Какой бы бомбической эта технология не была. Для этого мы детально разобрались, чем вообще AR-технология может быть полезна в непростом деле нефтедобычи. Направление нам подсказал опыт Башнефти: ещё в 2018 году на базе Центра интегрированных операций Башнефть-Добычи Башнефть реализовала два обучающих сценария с применением технологии дополненной реальности (обучение нефтяников по таким сценариям позволяет закрепить правила безопасности и порядок действий на производстве в случае той или иной ситуации). Производственные службы провели тестирование, оценили эффект. Руководство компании решило продолжить проект с ещё большим масштабом (например, разработать ещё 6 тренажёров).
И вот тут нам понадобилась конкретика по наиболее популярным сценариям технологических операций для разработки тренажёров дополненной реальности. Прежде всего, были определены операции, которые выполняются работниками конкретно на производственных площадках. Далее собрали информацию о потенциальных рисках при выполнении этих операций. И в заключение – отобрали именно те операции, которые могут быть реализованы с применением технологии дополненной реальности, могут быть наиболее эффективными и применимыми для обучения с помощью этой технологии.
Пара слов о команде. Ведь за любой технологией стоят люди.
Наша команда разработчиков тренажёров состояла из аналитика, дизайнера 3D, двух программистов и группы экспертов.
Аналитик писал сценарий и согласовывал его. Работал совместно с экспертами из разных областей. Например, при разработке тренажёра по разбору установки электроцентробежного насоса (УЭЦН) нам нужна была информация о конструкции узлов (насоса, газосепаратора, гидрозащиты, погружного двигателя) и об оборудовании для ремонта узлов. Мы встречались с профильными экспертами заказчика, анализировали документацию по расследованию причин отказов оборудования, производителями узлов УЭЦН и оборудования для ремонта, выезжали в цеха ремонта для детальной съёмки производственной обстановки.
Дизайнер 3D воссоздавал цифровую копию производственного объекта – строил трёхмерную модель и придавал ей натуральность – асфальтосмолопарафиновые отложения на рабочих органах УЭЦН, грязь на колесах производственных машин, которые добираются в труднодоступные местности, – и оптимизировал готовую модель для заливки её в очки дополненной реальности.
Весь интерактив, который мы видим в очках дополненной реальности, разработан программистами. Они «оживили» статичные модели, добавили звуки, всплывающие подсказки, – словом, создали всё то, с помощью чего пользователь может активно и продуктивно взаимодействовать с готовым решением.
Ну а теперь о самой разработке.
Тренажёр дополненной реальности представляет собой симулятор реального производственного процесса в цифровом виде, загруженный в гаджет – очки дополненной реальности.
Разработка одного тренажера занимает около 2-3 месяцев и включает следующие этапы:
1) Анализ нормативных документов. Мы изучали и анализировали технологические регламенты, длинные инструкции выполнения техпроцессов, а также обязательные инструкции по охране труда. Составляли сценарий для загрузки в будущий тренажёр. Согласовывали его с заказчиком и определяли различные наиболее вероятные варианты развития событий при допущении ошибок в технологическом процессе. Результат этапа – согласованный сценарий конкретного технологического процесса для разработки конкретного опять-таки тренажёра.
2) Выезд на производственный объект для проведения съёмки. Это нужно, чтобы цифровая сцена (поле, на котором помещены все виртуальные объекты и детали) на 100% соответствовала оригиналу. Только так можно создать полноценную цифровую копию производственного объекта, где нефтяники будут эффективно отрабатывать свои навыки.
3) Разработка 3D-моделей сцен тренажёров дополненной реальности. Для выполнения этого довольно увлекательного этапа работ использована специализированная система автоматизированного проектирования (CAD), предназначенная для создания деталей и сборочных единиц любой сложности. В целях обеспечения высокой реалистичности модели разработаны на основе рабочих чертежей деталей, сборочных чертежей узлов, утверждённых регламентов по выполнению технологических операций, а также при экспертном содействии профильных специалистов высокой квалификации.
На сегодняшний день в мире отсутствуют единые средства автоматизированного проектирования и визуализации моделей, которые позволяли бы выполнить полный цикл разработки (от модели до её программирования) без их трансформации. Поэтому мы определили под свои задачи наиболее подходящий формат 3D-моделей, который позволил добиться высокой детализации с сохранением геометрии деталей.
4) Оптимизация моделей. Очки дополненной реальности имеют функционально-технические ограничения – размер сцены, ограничения на размеры твердотельных моделей и пр. Поэтому была выполнена оптимизация моделей в графическом 3D-редакторе при помощи встроенных модификаторов, позволяющих уменьшить количество точек, рёбер и полигонов. В ходе разработки тренажёров эмпирически установлено, что для обеспечения наиболее быстрого отображения и повышения производительности суммарное количество треугольников разработанной сцены (модели) не должно превышать 600 тыс. единиц. После чего готовые модели снова были экспортированы, но уже в другой формат, который позволял сохранять геометрию и материалы моделей для их дальнейшего трансфера в очки дополненной реальности.
5) Разработка программного кода. Это этап самый длительный во всей разработке тренажёра. Тут выполнялось программирование кода для различных блоков программной части тренажёра (интерфейс приложения, обработка команд, обработка математических моделей физических процессов, автоматический режим работы, оценка действий обучаемого, журнал событий и действий и пр.).
6) Создание сцены. Готовые модели размещали на сцене, создавали их окружение, добавляли камеры, освещение и источники звука в среде разработки компьютерных игр. Была разработана анимация работы узлов и механизмов сцены, добавлены функции и возможности интерактивного взаимодействия обучающегося со сценой. При этом, основной упор делался на проработку и детализацию устройства оборудовании и правильности этапов выполнения операций на производстве.
7) Загрузка готового проекта в очки дополненной реальности для отладки и тестирования приложения. Тестирование проводилось при помощи самих разработчиков и заказчиков. На этом этапе мы получили полный фидбэк: замечания, наблюдения, рекомендации к улучшению. Тут же определили, что нужно добавить, чтобы тренажёр был максимально комфортным: залили дополнительную информацию по процессу, звуковое сопровождение, скорректировали шрифт анимированной инструкции, ну и ещё всякое по мелочи. По сути, у нас тренажёры получились с использованием смешанной реальности – объединение виртуальной и дополненной реальности, т. е. накладывание несуществующих виртуальных объектов на наше окружение.
8) Тестирование тренажеров на группе обучающихся (это наш любимый этап!) Первый тренажёр был протестирован на 20 специалистах разных профессий и возрастов. Тут мы не без любопытства наблюдали за поведением людей, надевших очки дополненной реальности. Наши «испытатели» совершали ошибки, а мы выясняли: связано ли это с самим процессом или с интерфейсом программы, что вызывало у них затруднение при выполнении программы обучения на новоиспечённом тренажёре. И без опросов не обошлось: кому что понравилось, не понравилось, что можно улучшить и т. д. Пожелания, которые мы получили, касались в основном интерфейса (озвучка порядка действий, изменение локации окон с информацией). Анализ ответов позволил ещё раз доработать тренажёр на «чистовую».
И вот, наконец, работа завершена! И в Башнефти принято решение о встраивании тренажёров в учебные процессы Общества.
Сейчас программно-технический комплекс включает в себя следующие сценарии обучения:
– комиссионный демонтаж и монтаж УЭЦН;
– моделирование разбора УЭЦН с осложнениями;
– определение причин: остановка по ЗСП и снижение подачи;
– депарафинизация скважин с применением агрегата АДПМ – 12/150 и выполнение работ с применением передвижной парогенераторной установки;
– замена ремней на станке-качалке;
– разбор и принцип работы ШГН.
Каждый тренажёр – это программный код, который позволяет обучаемому взаимодействовать с образовательной программой, разработанной с высокой степенью достоверности и точности.
На рисунке обозначен алгоритм создания AR-тренажёра:
Ну и ещё немного «вкусных» подробностей о разработке.
Самый длительный этап работы – это сбор требований и анализ документации для понимания устройства оборудования и правильной последовательности операций для обеспечения безопасности работ на реальном объекте после обучения.
Программирование тренажёра выполнялось с использованием специального набора средств для Unity – SDK Mixed Reality Toolkit.
Наш обучающий комплекс разработан для очков дополненной реальности Microsoft Hololens. Поэтому интерфейс программы зависел от возможностей «очков». Тем не менее, мы понимали, что хороший интерфейс, удобный и интуитивно понятный для пользователя – это и есть большая часть успеха. Поэтому к этому вопросу мы отнеслись серьёзно и выделили тут для себя несколько ключевых моментов:
1. Локации всплывающих подсказок и дополнительной информации. Как показало тестирование тренажёров, локации для информационных блоков должны быть размещены слева или справа от технологического объекта и не перекрывать сцену. Также они не должны быть навязчивыми и отвлекать на себя внимание пользователя.
2. Шрифт. Самое главное требование к шрифту было, чтобы он был разборчивым и не мешал восприятию информации пользователем. Также шрифт должен быть чётким, строгим и хорошо распознаваемым.
3. Инструкция. Инструкцию по выполнению процесса мы расположили снизу сцены, таким образом текст не перекрывал общий обзор.
Ну и бонусом – наши собственные ощущения от применения разработки. При первом знакомстве с очками дополненной реальности и самими тренажёрами неизбежен WOW-эффект. Оно и понятно: не каждый день приходится видеть в офисе станок-качалку в реальном масштабе, и уж тем более проводить с этим станком какие-то работы. По нашему мнению, тренажёр в большей степени напоминает квест-игру, чем 3D-кино. Так как помимо цифровых моделей пользователь видит и окружающую реальность, может подойти к цифровому объекту, обойти его и рассмотреть, получить новое задание и попытаться выполнить его без ошибок.
При первом использовании AR-очков может появиться чувство дискомфорта. Оно вызвано напряжением глаз и усталостью рук при жестикуляции. При повторном использовании устройства дискомфорт у большинства проходит (человек ко всему привыкает – к двойной реальности в том числе!)
Вместо заключения.
Нефтегазовая промышленность относится к сложным техническим отраслям, поэтому обучение правилам и мерам безопасности на производстве является стратегической задачей и неотъемлемой частью процессов в нефтяных компаниях. Башнефть вошла в список хэдлайнеров применения AR-технологий для обучения сотрудников в периметре Роснефти.
Наша разработка имеет широкие границы применения. Например, в рамках эпидемиологических ограничений одно из направлений, которое сейчас развивается в инновационном бизнесе, – это удалённое сопровождение сложных технических операций экспертом.
А вы для каких процессов применяли бы дополненную реальность?