«Начали в 1965 году»: как на самом деле развивались AR-технологии

Большинство людей познакомилось с дополненной реальностью, увидев рекламу Google Glass или Pokemon Go — продуктов прошлого десятилетия. Но первые рабочие прототипы AR-шлемов делали уже в 1960-ых — а первый из них запатентовали всего через год после полёта Гагарина в космос. Рассказываем о сложном пути, который технология прошла до наших дней.

Сразу, во введении, уточним. Сама дополненная реальность появилась только 1978 году, а оформилась как концепция лишь в девяностых годах прошлого века. До этого она шла рука об руку с реальностью виртуальной — и потому первая половина статьи рассказывает их общую историю.

1962 год. В СССР только запустили первый исследовательский аппарат в сторону Марса, а самолёты лишь недавно стали вмещать сотню пассажиров.

В этом году Мортон Хейлиг — режиссёр, который позже получит звание пионера виртуальной реальности — запатентовал сразу два устройства. Они назывались Sensorama и Telesphere Mask.

Внешне Sensorama была похожа на игровой автомат, но эту капсулу разработали для иного опыта. Это был практически современный кинотеатр формата 4D: в нём пользователь мог увидеть трёхмерный фильм, почувствовать запахи и ветер. Был и стереозвук, вкупе с трёхмерной картинкой дававший незабываемый для посетителей эффект погружения.

Как показал спрос на такие развлечения в конце нулевых и начале десятых, с этим изобретением Мортон Хейлиг опередил своё время на 50 лет. Сейчас о Sensorama говорят: «У неё было всё, кроме популярности» — и поспорить с этим трудно. Сохранилось мало фотографий и информации: источники даже расходятся в том, 5 или 6 фильмов снял для своей машины изобретатель.

Вторым патентом была Telesphere Mask — ещё более прорывной концепт в виде настоящих VR-очков с 3D-экраном и стереозвуком. Насколько нам известно, даже прототип Телесферы по итогу не был сделан — но патент и предполагаемые схемы устройства сохранились:

Неизвестно, каким был бы спрос на это изобретение. Скорее всего, оно бы тоже осталось скорее на страницах истории, так и не став востребованным.

И «Сенсорама», и «Телесфера» шли в нужном направлении, но в дальнейшем Мортон Хейлиг так ничего не изобрёл.

Параллельно с этим над похожей задумкой работал профессор университета Юты Айвен Сазерленд в 1965-м. Ученый создал Sketchpad, который мы уже можем назвать настоящий шлем дополненной реальности.

С помощью этого шлема и стилуса можно было рисовать на экране, добавлять текст и взаимодействовать с объектами. В дальнейшем именно эту концепцию будут использовать разные проектировочные программы, упрощающие работу десяткам тысяч инженеров — хотя и воплотят их на экранах компьютеров, а не VR-шлемах.

Шлем заметили, как заметили и прорыв в компьютерной графике. За это изобретение Сазерленду присвоили звание «отца компьютерной графики».

На Скетчпаде Айвен не остановился — совместно со своим студентом Бобом Спроулом (который в дальнейшем возглавит Oracle Labs) он взялся за развитие своей разработки.

Концептуально The Sword of Damocles — новый шлем, изобретённый в 1968 — был устроен по-другому. Он предложил новый метод взаимодействиям с компьютером: через шлем, линзы которого подавали бы изображение напрямую в глаза.

Создать в то время экран, который поместился бы в линзу очков, было бы невозможно, поэтому делать нечто такое Айвен даже не пытался. Напоминаем — это был всего лишь 1968 год. Арпанет, прародитель нашего интернета, появится в армейских частях только в следующем году.

Чтобы подавать изображение прямо в глаза, рисунок проецировался на зеркало, а уже с него на линзы перед глазами оператора. При этом шлем был настолько тяжёлым, что висел, прикреплённый к потолку — человек бы просто не выдержал всё это.

«Дамоклов меч» так и не стал готовым продуктом, и применения ему не нашли. Но сама концепция уже показала, что «так можно было».

Здесь, помимо фотографий, сохранился даже короткий ролик, на котором видно, как Айвен двигается в «шлеме».

Из эпохи, в которой звучит «как можно выпускать очки, с которыми нужно таскать аккумулятор, это же недоделка!» смотрится, конечно, невероятно.

Майрона Крюгера, который сделает едва ли не один из определяющих шагов в создании VR, сложно описать в нескольких словах. Доктор философии в области информатики, увлекающийся и искусством, и изобретательством — это, пожалуй, наиболее полное описание.

Именно его изобретение — Videoplace — было первым воплощением концепции «виртуальной комнаты». Посмотрите на схему, описывающую часть работы этого изобретения:

В реальности, управляя своим телом без каких-либо контроллеров, можно было взаимодействовать с виртуальным объектом и видеть результат этого взаимодействия.

Мало того — другие комнаты, собранные по аналогичному принципу и соединённые с первой в сеть, давали возможность находиться в одной виртуальной комнате. Видеть не только свою проекцию, но и проекции других людей. Это в 1974-ом году. Параллельно с Videoplace создавали первый спутник, который позже используют в системе GPS.

Только через год человечество получит первые снимки Венеры — а его часть уже видела прототип VR-чата.

Этот аттракцион Майрон Крюгер отправлял и на художественные выставки, и на научные. Она пользовалась спросом на таких выставках вплоть до 1990-го года в США, Канаде и Японии.

Предвосхищая вопрос «Что за Айтэп?», отвечаем.

Изначально это был идейный прародитель AR-технологий как таковых. А дальнейшие его итерации явно в том или ином виде заложили базу для Google Glass. Его изобретателя, Стива Манна, называют отцом переносных компьютеров — не в последнюю очередь именно из-за ранних его изобретений.

Сейчас сложно найти подробную информацию о самой первой его версии. Сам Стив Манн вписал себя в историю изобретательства, работая над улучшением устройств дополненной реальности, и параллельно с этим он делал лучше сам EyeTap. Из-за этого сейчас намного проще отыскать информацию о последних версиях этого устройства, которое стало намного технологичнее и теперь выглядит так:

И даже так:

Тем не менее, кое-что нам известно.

В 1978 году Стив Манн, вдохновившись изобретением Сазерленда, тем самым «Дамокловым мечом», решил сделать его переносным и приспособить под работу с реальными объектами.

Так появился гигантский и тяжёлый, но уже переносной шлем, в котором можно было накладывать графические элементы на самые разные объекты.

Уже к 1980-му Манн немного его усовершенствует — а у нас останутся фотографии тех шлемов:

С 1978 года до 1990 прошло 12 лет, но об этом промежутке и лицах, участвовавших в работах с VR, известно крайне мало. Пионеры в то время уже появились, а массовости эта технология ещё не приобрела, что создало пропасть безвестия для тогдашних изобретателей.

Те, кто пришёл делать VR и AR, уже не могли вписать себя в историю инновационной концепцией. До массового внедрения ещё нужно было ждать и ждать. Все, кто пытался развить технологию, забыты абсолютным большинством — и, возможно, для отслеживания их историй и попыток сделать что-то на этой ниве понадобится не один год исследовать специфичные архивы.

Сохранены имена людей, о которых известно крайне мало. Например, известно, что некий Ден Рейтон в 1982 году с помощью дополненной реальности демонстрировал движение воздушных масс и различных ветров в прогнозах погоды, транслируемых по телевизору. Это нововведение используется до сих пор, но подробная информация не сохранена.

Известно также, например, что в 1980-ых самые разные учёные пытались разработать действующий метод создания карты внутри AR-устройств, который параллельно позволял бы локализировать камеру. Самым известным методом был SLAM, опирающийся на создание ключевых виртуальных точек и привязку их к объектам.

Выше мы упоминали, что крайне сложно отыскать людей, повлиявших на развитие AR в восьмидесятых годах.

Тем интересен момент из 1990-го года. В работе Томаса Коддела и Дэвида Мизелла впервые прозвучал термин «дополненная реальность». Эти инженеры из компьютерной службы Боинга предложили усовершенствовать техпроцесс на производстве самолётов.

Они предложили концепцию, аналогичную современным AR-очкам — фактически, это был инженерный компьютер с очками. Этот компьютер должен был инструктировать рабочих: подсказывать, где и как просверлить отверстия, проложить кабели или собрать детали.

По задумке, это должно было убрать задержки в производстве и траты, появляющиеся из-за необходимости… печатать инструкции.

Очки в производство так и не внедрили, но у Боинга теперь есть вполне себе исторический документ, а у его общественности — сканы этого документа:

В этом году Стив Файнер, сотрудник Колумбийского университета в области computer science, представил первую комбинацию из программы и оборудования, помогающих пользователю выполнять конкретную техническую задачу.

Этот шлем должен был помогать обслуживать и чинить принтер. При этом тогдашние оптические системы и микрокомпьютеры были совершенно неприспособлены к тому, чтобы распознать сам принтер и его детали.

Проблему обошли с похвальным изяществом: на разные детали и принтер установили несколько 3D-меток. Их фиксирование и отслеживание позволяли выводить точную графическую инструкцию, в том числе отрисовывая объект даже сквозь преграды, создавая эффект «рентгеновского зрения».

Эту систему назвали KARMA — Knowledge-based Augmented Reality for Maintenance Assistance. В массовое производство она не пошла, но это было, кажется, первое изобретение, доказывающее его полезность в сфере производства и обслуживания техники.

В 1994 году компания IBM выпустила первый смартфон — здоровенную «трубку», совмещающую функции телефона и переносного компьютера. Именно переносного — чтобы назвать это устройство карманным, нужно несколько польстить инженерам IBM:

Пока всё это происходило в Америке, в Японии происходило кое-что настолько же интересное.

Джун Рекимото — ныне профессор Токийского Университета и замдиректора лаборатории взаимодействия в Sony Computer Sciences Laboratories — проектировал Navicam. Это переносной дисплей с камерой, который умеет считывать прикреплённые метки выводить на экран информацию об объекте.

Сейчас для этого эффекта достаточно несложного приложения и смартфона за 10 000₽. Тогда это было прорывом, о котором Sony CSL до сих пор рассказывают на своём сайте — пусть и кратко, и практически без фотографий.

В 1998 году NASA решились на первое применение полноценной системы дополненной реальности в рабочем шаттле. На аппарате X-38 из кабины убрали лобовое стекло, через которое специалисты центра должны были наблюдать Землю.

Вместо этого на борт установили новую систему — снимая всё с нескольких камер, она воспроизводила полноценную трёхмерную картинку, а после ещё и улучшала изображение. Всё это позволяло вести непрерывное наблюдение, даже в темноте и плохих погодных условиях.

В 1999-м вышла библиотека ARKitTool, до сих пор доступная на GitHub. Сейчас это огромный проект с открытым исходным кодом, который применяется в огромном количестве устройств.

Изначально эту библиотеку написал Хироказу Като — один из изобретателей, который мало чем известен за пределами своего вклада в развитие AR.

В 1999 году эта библиотека была, как и многое в статье, прорывом. Она качественно отслеживала голову пользователя и её положение. Это упростило дальнейшую работу в разы, если не на порядки.

В своё время эту библиотеку поддерживал Flash компании Adobe. Благодаря этому можно было прямо через браузеры запускать приложения, которым нужно было хорошо «стыковать» реальную карту с виртуальной.

В 2014-м Google представила Tango: амбициозную технологию компьютерного зрения. С ней мобильное устройство, использующее только свою камеру, могло выстраивать объёмную карту, распознавать объекты и отслеживать движения.

Внедрить её массово не получилось. Технологию поддерживало всего три устройства, и никто им особо не пользовался — не в последнюю очередь из-за малого количества задач, которые могли решать такие технологии в 2014 году.

В 2017-м году уже Apple запустила ARKit SDK — аналогичный проект. Компания научила смартфоны самостоятельно распознавать и анализировать окружающую реальность: камера и микрофон предоставляют «картинку» и звук, а специальные датчики считывают вибрации и изменение положения в пространстве. Дополненная реальность создаётся прямо в оперативной памяти устройства.

Разработчики уже знали, где смогут использовать эту технологию, поэтому она не канула в небытие. Её, например, используют для конструктора интерьеров, онлайн-сканеров и виртуальной примерки кроссовок.

В том же году Марк Цукерберг анонсировал Camera Effects platform, позже переименованную в Spark AR. Здесь также использовали датчики движения и вибрации. Но главным прорывом стал Face Tracker, считывающий мимику и движения перед камерой: благодаря нему компания Цукерберга начала развивать сообщество AR-креаторов и вовлекать бизнес в разработку масок для своих социальных сетей.

Так AR прошёл путь от попытки доработать «Дамоклов меч» Сазерленда до массового использования в спорте, соцсетях, рекламе и других областях.

Сейчас мы готовим следующий лонгрид — о том, где сейчас применяется AR, как он меняет нашу жизнь и что он способен принести бизнесу. И он будет даже больше этого.

Подпишитесь на канал, чтобы не пропустить анонс: такая реальность.