От эффекта присутствия на сцене до генерации вопросов из зала с помощью ИИ. Как мы развиваем VR-тренажер публичных выступлений

Виртуальная реальность позволяет погрузить человека в любую цифровую среду и создать в ней необходимый эмоциональный фон. Возможности подобного погружения активно используются не только в игровой сфере, но и в обучении, включая развитие практических навыков. И говоря о практике в VR, тема тренировок публичных выступлений является одной из первых, что приходит в голову.

Человек надевает VR-очки и оказывается на виртуальной сцене. Зал забит людьми, они перешептываются, ожидая начала выступления спикера. Несмотря на полное понимание того, что речь идет о симуляции, человек начинает испытывать те самые волнение и страх, которые знакомы всем, кто хоть раз выступал на публике.

Еще в 2015 году, будучи командой VRAR Lab, мы получили серебро и призовые $30000 мобильного VR-джема за создание проекта Speech Center для популярной в то время гарнитуры Samsung Gear VR (в устройство устанавливался телефон Galaxy Note 4, на экран которого транслировалась картинка из приложения). В проекте можно было загрузить на виртуальный экран презентацию, листать слайды и записывать свое выступление для дальнейшего прослушивания.

Потенциал технологии раскрывался не только в возможности погружения в достоверную обстановку выступления, но и через визуализации лекционной части.

Это изменение размера сложно как-либо передать словами, люди действительно чувствуют, что стали больше в виртуальном зале.

В дальнейшем уже в рамках новой студии Modum Lab мы разработали отдельный продукт для бизнеса — «VR-тренажер Публичных выступлений». Помимо загрузки презентации и записи выступления была создана «система раздражителей», запускающая во время речи различные события, как, например, звонок телефона в зале, звук дрели за стеной или скрип микрофона. Но ключевая возможность тренажера заключается в анализе речи и действий выступающего (второе стало возможно за счет трекинга в VR крупной моторики пользователя).

Система определяет, что и как говорит человек в VR-очках — использует ли он слова-паразиты, грубые слова, как он жестикулирует, как распределяет внимание по залу, часто ли он смотрит на презентацию, теряя зрительный контакт с аудиторией и так далее. По итогам тренировки все эти аспекты упаковываются в отчет и отправляются пользователю на почту, а тренеру в административную панель.

На базе «Школы коммуникаций BeSmart» вместе с группой психологов было проведено исследование эффективности использования VR для снижения уровня тревожности во время публичных выступлений.

И вот мы разработали новую версию виртуальных публичных выступлений, внеся два крупных обновления.

Из-за необходимости работы тренажера на большой линейке устройств, включая самые слабые по производительности VR-системы, в проекте использовались упрощенные и несколько утрированные модели виртуальных персонажей в зале. И несмотря на это, эффект присутствия сохранялся. Но благодаря увеличению производительности автономных очков виртуальной реальности, а также запросе на реализм в конкретной сфере — обучении топ-менеджеров — мы создали более реалистичную аудиторию в зале.

Вместе с новыми моделями, были переработаны анимации, а также система их управления, что позволило еще больше оживить зал.

Теперь по итогам тренировки речь пользователя анализируется и по ряду заданных условий формируется набор вопросов из зала в контексте темы выступления. Три виртуальных персонажа поднимают руки и сгенерированным голосом задают по одному вопросу.

Ответ пользователя также анализируются, персонаж в зале может отказаться принять его и тогда у выступающего будет еще одна попытка для разбора вопроса. По завершению тренировки эта информация вместе с транскрибацией ответа (текстовой версией) также попадает в итоговый отчет.

Идея режима с вопросами из зала лежит на поверхности, но до недавнего времени простого и относительно бюджетного способа ее реализовать не было. Теперь, благодаря развитию нейросетей, мы можем дать и подобную практику.

В итоге это очень необычное ощущение, когда сперва ты оказываешься в цифровом мире на сцене, видишь свою презентацию, проводишь выступление и тут из зала тебе виртуальный персонаж задает осмысленный вопрос — прямо по той теме, в которой ты разбираешься. И этот вопрос кажется логичным и интересным для ответа!

Объединение в одном продукте технологий виртуальной реальности и нейронных сетей создает широкий спектр уникальных возможностей для решений в сфере обучения и бизнеса.

Помимо нового функционала VR-тренажер публичных выступлений стал частью «Мастерской коммуникации «Верба», которая включает целый набор цифровых решений для развития и тренировки мягких навыков, включая инструменты создания своих собственных диалоговых симуляций.

У нас есть множество идей по развитию функционала VR-тренажера публичных выступлений в различных направлениях, обязательно поделимся новостями в новых постах!