Телеприсутствие, 3D-видеосвязь и НЕголографические будки
Почему модные способы 3D-коммуникации никак не станут массовыми, какое отношение они имеют к голограммам и чем нас не устраивает просто видео.
Телеприсутствие
Теле = далеко. Это могут быть управляемые роботы на колесиках, видеосвязь, «голограммы». Строго говоря, телеприсутствие — это любое присутствие посредством технологий связи там, где вас физически нет.
В более узком смысле телеприсутствием называют иммерсивные технологии связи (immerse — погружать, поглощать, вовлекать), которые создают иллюзию встречи вживую. Сейчас речь именно про них.
В этом случае пользователь:
— сам получает те же ощущения, как если бы находился в другом месте,
— может влиять на удаленное место, то есть его перемещения, действия, голос, мимика должны быть считаны, переданы и воспроизведены в удаленной локации.
Удаленная локация может быть реальной, где тебя ждут живые люди, а может быть виртуальной, где собирается тусовка таких же удаленщиков. В любом случае нужны визуализация и звук такого качества, чтобы все друг в друга поверили. Подпольные сборища мультяшных аватаров пока не обсуждаем.
↑ Классический старый добрый telepresence от Cisco, несмотря на высокое качество, был двумерным. Сейчас упор делается на 3D-технологии, зачем — расскажем ближе к концу.
А у вас голограмма настоящая?
Голограммой стали называть всё подряд, что мы видим в объеме. Но чаще всего это псевдоголограммы или 3D-изображения.
Настоящая голограмма — визуальная объемная копия объекта. Она существует в пространстве независимо от вас, вашего взгляда и ракурса. Это трудоемкая технология записи отраженных от объекта волн с помощью лазера. Ее можно обходить и рассматривать со всех сторон.
Остальные 3D-технологии по сути — иллюзия с целью создать эффект присутствия. Объемное изображение отличается от плоского стереокартинкой, то есть учитывает тот факт, что у нас два глаза и два ракурса зрения. Мозг соединяет две отдельные специально подготовленные картинки для правого и левого глаза в одну и «видит» объем. В отличие от голограммы, такой объем можно увидеть строго с определенного ракурса. Карета превратится в тыкву сразу, как только вы переместитесь или наклоните голову.
Про то, как устроены разные псевдоголограммы, есть старенький, но наглядный материал на Хабре с видео и картинками.
Показать человеку 3D-изображение можно тремя способами:
1. Выдать ему специальные очки ↑, чтобы создать для каждого глаза нужную картинку.
2. Создать иллюзию объемного объекта в обычной человеческой реальности с помощью специальных дисплеев ↓, эффектов, будок — это называется автостереоскопия, когда для восприятия объема не нужно ничего размещать непосредственно перед глазами пользователя. Современные 3D-дисплеи уже умеют отслеживать положение ваших глаз в трех измерениях и перестраивать картинку на лету, но иллюзия от этого не перестает быть иллюзией.
3. Сделать настоящую голограмму — это наиболее совершенная автостереоскопия.
Односторонняя 3D-видеосвязь в реальном времени
Стереокино это хорошо, его научились показывать довольно давно. Но нас интересуют технологии, которые умеют или собираются передавать объемное изображение реального человека в реальном времени, чтобы это можно было назвать телеприсутствием.
Настоящие голограммы пока не научились передавать на расстояние. Есть еще цифровая голография — Computer-Generated Hologram или CGH. С помощью программы создается модель, для которой не нужен реальный объект [но это не наш метод, нам надо телепортировать живого человека], или обсчитывается живая съемка для создания модели. Компьютерную голограмму выводят перед зрителем в 3D-очках или на специальный 3D-дисплей.
Почему же никак не взлетает повсеместная тяга к «голографическому» общению? Контент сначала неудобно снимать и тяжело обрабатывать, потом сложно передать и еще сложнее воспроизвести. И если первые две задачи решаются за счет роста вычислительных мощностей и машинного обучения, то проблема воспроизведения все еще актуальна. Очки — дорого и неудобно, 3D-мониторы пока так и не получили распространения, потому что еще дороже и неудобнее.
В 2008 году в Аризонском университете создали дисплей размером примерно 10x10 сантиметров, который мог обновлять монохромные трехмерные изображения раз в несколько минут.
«Представьте себе: вы смотрите финал чемпионата мира по футболу или долгожданное продолжение «Секса в большом городе» и наблюдаете, как все действие разворачивается в трехмерном формате на вашем журнальном столике» — пугает нас CNN
Перспективы оценивали сильно по-разному. Авторы надеялись найти спонсоров на рынке бытовой электроники, хотели выйти на голографическое телевидение и бытовые системы голографической видеосвязи уже через 5-10 лет. Но больше верили в образование, военных и медицину. Коллеги по цеху относились скептически: «Одно дело — продемонстрировать что-то в лаборатории, совсем другое — иметь возможность произвести это дешево и достаточно эффективно, чтобы распространить на массовый рынок».
В 2014 году компания OTOY, в которую инвестировали Юрий Мильнер, Autodesk, консультировал Эрик Шмидт, показала первую портативную систему захвата светового поля и облачный конвейер для рендеринга изображений, который устраняет разрыв между офлайн-рендерингом и рендерингом в реальном времени.
«Тот же уровень невероятно точного рендеринга используется при создании спецэффектов в крупных кинофильмах. Обычно на рендеринг одного чрезвычайно отполированного и реалистичного кадра для использования в фильме уходят часы, если не дни. OTOY продемонстрировал ту же огромную вычислительную сложность, реализованную за сотые доли секунды, на экране одного из наименее мощных устройств, которые мы используем ежедневно — смартфона. В результате получается видео с реалистичным качеством изображения, по которому можно перемещаться и исследовать под любым углом, иначе называемое голографическим видео», — пресс-релиз
Просматривать контент планировалось в очках Oculus Rift или в отдельно стоящем объемном голографическом боксе-дисплее, который как раз находился в процессе разработки. Коммерческое использование планировали начать в 2015 году. Всё это вместе нарекли Holodeck по мотивам Star Trek.
Один из инвесторов: «Хотя голографических дисплеев, которые мы себе представляли, еще не существует, гарнитуры виртуальной реальности дают нам невероятную возможность воплотить Holodeck в жизнь немного по-другому».
То есть опять всё уперлось в воспроизведение. Увидеть объемного собеседника наш мозг может либо через специальную гарнитуру, либо через установку/дисплей, которые воспроизводят иллюзию объема.
В 2016-м руководитель проекта Microsoft HoloLens Алекс Кипман показал на сцене TED полноразмерную голограмму профессора NASA, напугав ведущую. Профессор в этот момент находился в комнате через дорогу, оборудованной 3D-камерами.
Функцию назвали Holoportation. Увидеть профессора можно было только через гарнитуру. Кипман вставил в свои очки специальную линзу, изображение с которой транслировалось для зрителей на большой экран. Видео TED с таймкодом
В 2017-м между Нью-Джерси и Сеулом по сетям 5G созвонились трехмерные сотрудники Verizon и Korean Telecom. Собеседники отображались в виде «голограмм» на мониторах друг друга, технология не позволяла воспроизводить объекты в воздухе. Сервис назвали Live Call.
«Если сеть 5G будет коммерциализирована, видеозвонки с трехмерной голограммой будут доступны в качестве одной из типичных услуг на базе 5G», — прогнозировали представители KT.
В 2021 году мобильные звонки с «голограммными» участниками предложила словацкая компания Matsuko. Увидеть объемных собеседников по-прежнему можно только в специальных очках, а вот съемка осуществляется уже фронтальной камерой айфона с помощью приложения. Обычное видео в облаке преобразуется в 3D и уже оттуда повисает в воздухе напротив того, кто в очках. Наглядное видео здесь и здесь
Разработчики обещали научиться проводить «голографические» видеозвонки с большим количеством участников одновременно. Сотрудничать с проектом взялись крупнейшие операторы Deutsche Telekom, Orange, Telefonica, Vodafone — они отвечают за 5G.
В конце 2021 года Cisco — один из главных вендоров классической видеосвязи — показал решение Webex Hologram. Они использовали технологию светового поля, в основе которой лежит принцип изменения восприятия цвета в зависимости от угла обзора. 12 камер снимают отражение цвета с разных ракурсов, потом полученные изображения синхронизируются с информацией о том, где находятся глаза зрителя и как они двигаются. Человек в очках HoloLens или MagicLeap может видеть трехмерную фотореалистичную фигуру собеседника. В конце 2023 года обновленную установку уже отправили клиентам на тестирование.
Итак, пока мы только можем качественно отснять спикера. И показать его объемного в одну сторону человеку или нескольким людям, у которых есть индивидуальные очки или индивидуальный дисплей. Еще можем сделать его объемной иллюзией для зрительного зала, где трехмерный опять-таки только спикер.
Массовые перфомансы и образование
Отсюда логично вытекают те сферы, где 3D-спикеры начали распространяться и набирать обороты — это индустрия развлечений, образование, политика. А также удобный несложный формат а-ля киоск, который помогает визуально воссоздать иллюзию присутствия, при этом сохраняя «живой» контакт с аудиторией с помощью видеосвязи.
В 2019 году заметным событием стал американский стартап Portl, впоследствии Proto Hologram. Они создали световую будку с экраном, динамиками на уровне головы, и видеокамерой, которая снимает аудиторию. Установку хорошо описали журналисты ZDNET как «полноразмерную машину размером с торговый автомат». Потом появилась мини-версия.
Для записи изображения человека достаточно камеры и белого фона, в 2022 году снимать можно было уже на смартфон с приложением, хоть и с потерей качества. Дополнительно на голограмму можно наложить любой образ, примерить одежду и тому подобное.
Технологически в боксе воспроизводится псевдоголограмма — иллюзия «Призрак Пеппера». Система интерактивная, аудиторию тоже снимают, поэтому главный герой может видеть собеседников и вести диалог.
Оборудование для визуального воспроизведения человека в натуральную величину стоило от $60 тыс. Разработчики «воскрешали» умерших знаменитостей, проводили стендапы. В 2023 году с его помощью уже тестировали судебное заседание, где выступали 3D-свидетели ↓
В 2025 году 3D-лекции на базе Proto Epic официально планирует ввести в учебную программу Британский университет в Лафборо. Кроме приглашения удаленных лекторов разработчики уже задумались над созданием реалистичных персонажей, личность которых можно воссоздать с применением искусственного интеллекта, но пока прорабатывают юридические вопросы.
2021 год. ARHT Media за $25тыс. организует сеанс телеприсутствия вашего спикера в удаленной локации. Его снимают на фоне зеленого экрана и затем проецируют на почти невидимую сетку. Спикер видит аудиторию перед собой на больших дисплеях и может реагировать на вопросы из зала.
Технологию ARHT Media HoloPresence чуть не масштабировали в коворкингах WeWork. Они заключили соглашение с разработчиками и собирались оснастить 100 локаций. Знающие специалисты говорили, что лучше всего решение работает в затемненных помещениях — например, в больших аудиториях. Для офиса рекомендовали вышеописанный Portl.
Пример политического перфоманса — одновременное выступление в 2022 году кандидата в президенты Франции Жана-Люка Меланшона в 12 городах.
Есть и на нашей улице праздник. Российский TrueConf тоже показал в 2024 году «голографическую» будку ↓
Изображение спикера захватывает 4К-камера, подключенная к ПК с приложением TrueConf, камера смартфона тоже подойдет. Видеопоток отправляется через сервер видеосвязи на будку TrueBox. Никакого дополнительного оборудования не требуется, только хорошее освещение и белый фон.
В устройстве используется прозрачный LCD-дисплей с эффектом глубины, который создает иллюзию объемного изображения и живого присутствия.
Система интерактивная, спикер видит и слышит зрителя. Зритель может управлять будкой с телефона, отсканировав QR-код, а может нажимать непосредственно на сенсорный фронтальный экран. Видео
Взаимное 3D от вендоров видеосвязи
Общение в двустороннем режиме, где оба участника объемные и без очков, стало доступно относительно недавно. Оно логично зародилось в недрах крупных вендоров, занимающихся классической видеосвязью.
Google и Logitech хоть и разработали двустороннюю объемную связь без очков, однако вместо очков они предлагают внушительные кабины/установки для каждого участника. Сбросить кандалы пока не получается. Читерский способ — тусоваться в виде аватаров по метавселенным типа Microsoft Mesh.
Google Project Starline
↑ Google в 2021 году показал массивную экспериментальную установку Project Starline. Она, как и Cisco Webex Hologram, использовала технологию светового поля, но вместо 3D-очков был 3D-дисплей.
Аналитик NoJitter Дэйв Михельс сравнил Project Starline с изобретением NASA космической ручки из известной байки. По его мнению, это скорее масштабный научный проект, чем реальный продукт. Технология недоступна за пределами лаборатории и неподъемна по стоимости.
В мае 2023-го Google пересмотрел свой подход и предложил более компактный вариант Project Starline ↓
Габаритную кабину заменили на дисплей с камерами, который поместится в обычной переговорной. В проекте задействовали новые алгоритмы искусственного интеллекта, которые для создания 3D-модели человека полагаются на несколько стандартных камер вместо сложного аппаратного комплекса с инфракрасными излучателями. Очень занимательная демонстрация
В мае 2024-го технологию выпустили из лаборатории на рынок. Google скооперировался с HP и собирается начать зарабатывать на этой теме в 2025 году.
Logitech Project Ghost
Почти одновременно с мини-версией гугловского проекта в 2023 году более простую в исполнении, но не менее габаритную конструкцию предложил Logitech.
Технология — «Призрак Пеппера», эффект присутствия собеседника достигается с помощью отражения картинки с дисплея на размещенном перед ним специальном стекле. Внутри мебельного комплекта от компании Steelcase — доступная коммерческая система Logitech Rally Plus, что дает проекту больше шансов на выживание и распространение.
В этом году на ISE 2024 Logitech показал уже двухместную будку, появился потолок и возможность закрыть дверь с уплотнителем, чтобы создать изолированное от посторонних шумов пространство. До этого пользователи жаловались на отсутствие приватности.
Обещают скорую коммерциализацию. Выставочный образец продавался с интеграцией Microsoft Teams Rooms, предусмотрены варианты с Google Meet и Zoom.
Итого, формат по-прежнему не пригоден для массового использования. Отдельные организации со множеством филиалов смогут порадовать своих сотрудников эксклюзивной связью, но каждому по лабораторной будке размером с комнату не выдашь. Остается надеяться на тотальный переход к недорогим 3D-дисплеям или другим волшебным средствам отображения для повседневного использования, о которых мечтают визионеры.
А зачем всё это нужно?
Против классической видеосвязи уже ополчились примерно все. Одни по причине потери времени, другие — здоровья. Преимущественно психического. Zoom fatigue свирепствовал по планете, с переменным успехом вынуждая людей терять интерес к работе, нервничать, делать пластические операции и много других странных вещей.
3D-разработчики считают свои объемные миры более естественными для обитания и общения людей. Google в 2023 году даже провел исследование, чтобы выяснить, насколько Project Starline эффективнее обычной видеовстречи.
Пользователи 3D-системы видеосвязи Project Starline от Google:
— Интенсивнее разговаривают, чем в обычных видеоконференциях. Количество так называемых "очередей" разговоров, то есть передаваемых друг другу реплик, было на 2-3 больше на двухминутном отрезке.
— Используют на 43% больше жестов, на 26% — кивков головы и на 49% больше движений бровей.
— На 14% дольше сохраняют зрительный контакт с собеседником. Это примерно соответствует зрительному контакту во время личного разговора.
— На 31% меньше устают по шкале Zoom Exhaustion and Fatigue Scale (ZEF).
— На 12% быстрее реагируют на когнитивные задачи после сеанса.
— Более подробно описывают прошедший разговор, количество знаков в описании в среднем на 28% больше, чем у пользователей традиционных видеоконференций.
— Оценивают свои разговоры в Starline как значительно более естественные (цитаты: плавные, легкие, не неловкие).
Надежда умирает последней
↑ Рынку голографических дисплеев прочат почти трехкратный рост к 2029 году. «Однако непомерно высокая стоимость производства голографических дисплеев ограничивает расширение рынка».
Отдельной строкой аналитики упоминают, что в конце 2023 года компания Realfiction провела первые публичные презентации многопользовательского 3D-дисплея ECHO. Он создан на основе запатентованной технологии направленных пикселей — Directional Pixel Technology (DPT) — и показывает независимые 2D и 3D-изображения одновременно нескольким людям у экрана без потери качества. Настолько независимые, что в автомобиле пассажиры могут смотреть боевик, а водитель — смотреть в навигатор. И всё это на одном экране.
Одно из направлений разработки — телеприсутствие и групповые звонки со всеми привычными атрибутами: цифровыми досками, демонстрацией 3D-контента и прочим сотрудничеством, а также семейные посиделки. Есть с демо с одновременным показом презентации нескольким людям каждому на своем языке.
До массового распространения дисплеев еще далеко, но уже есть попытки делать голограммы осязаемыми с помощью покалывания лазером и подачи воздуха разной температуры.
Мнение эксперта
В 2019 году российская компания VRCAST разработала систему телеприсутствия для топ-менеджмента. Руководители могут удаленно подключаться через браузер с любого устройства или в VR-очках к специальной камере 360° и «лично присутствовать» на производстве или в офисе. Двусторонняя видеосвязь работает в реальном времени и кинокачестве.
Основатель VRCAST, международный эксперт в области иммерсивных технологий Анатолий Горонеско:
«Компаниям с солидными инвестициями оказалось не под силу продать голографию, дополненную и виртуальную реальности массовому пользователю. Как пример: закрытие волюметрической системы Intel True View и Intel Studios — огромной куполообразной арены с зеленым экраном и более чем 100 камерами 8K для съемки под любым углом.Я думаю, что сейчас невозможно сделать работающую голографическую видеосвязь в реальном времени для массового сегмента. Это больше маркетинговое и рекламное применение для вау-эффекта. Недостаточно развита аппаратно-программная часть, алгоритмы, обработка — всe это пока штучно, громоздко и очень дорого. Не решены проблемы с каналами связи, вычислительными мощностями, задержкой передачи. Нужны новые открытия в оптике, доработка лазерных проекционных технологий, лидаров. Мой прогноз — не раньше 2030 года.У Microsoft есть интересная и очень старая технология Kinect. Это камера с сенсором глубины, которая может сделать по сути то, что мы так давно ждем — создать облако точек и вычесть фон. Сейчас там недостаточное разрешение, малая область действия, но эволюция этой технологии мне кажется наиболее реалистичным путем, по которому пойдет развитие трехмерной связи».