Как учёные пытались научить устройства обонянию, осязанию, вкусу и другим чувствам и что из этого вышло

Краткая история технологий в сфере чувств.

В 1995 году учёные Рейчел Херц и Джеральд Купчик доказали, что между запахами, эмоциями и воспоминаниями существует взаимосвязь. Однако ещё до того, как запахи стали научно обоснованным инструментом в маркетинге, их активно пытались использовать в киноиндустрии и театре.

В 1906 году во время фильма о Параде роз в Калифорнии запах цветов распылялся по зрительскому залу с помощью электрического вентилятора и ваты, пропитанной розовым маслом. К похожим трюкам чуть позже прибегали в Бостонском театре и на Бродвее. Единого устройства по распространению запахов тогда не существовало.

В 1959 году его попытался создать Ганс Лаубе. Учёный запатентовал революционную на тот момент технологию Smell-O-Vision. Она заключалась в том, что кинопоказ сопровождался параллельным выделением того или иного запаха с помощью специального устройства. Всего в коллекцию входило 30 ароматов — от вина до морского бриза.

Изобретение Лаубе использовалось один раз — в 1960 году, во время показа мистического детектива «Запах тайны» Джека Кардиффа.

Впечатления от первого «парфюмированного» фильма оказались негативными: часть зрителей жаловалась на то, что запахи доносятся до них с задержкой и сопровождаются шипением, другие и вовсе ничего не почувствовали. Позже Smell-O-Vision попал в топ-100 худших изобретений в истории по версии Times.

В то же самое время Уолтер Риде использовал систему по распылению запахов через вентиляцию AromaRama во время показа фильма «За Великой стеной». По словам критика из The New York Times, ароматы были «банальными, созданными на скорую руку, угнетающими».

Провал технологий Риде и Лаубе переосмыслил режиссёр сатирической комедии «Полиэстер» Джон Уотерс в 1981 году. Перед показом его фильма зрители получили карточки с десятью номерами: когда одна из цифр появлялась на экране, её нужно было потереть и понюхать. Каждый смог ощутить запах цветов, пиццы, клея, газа, травы и фекалий, которые на экране чувствовала главная героиня.

В начале 2000-х годов вместе с быстрым развитием компьютерных технологий появилась новая идея — передавать запахи через цифровые коды. Замысел попытались реализовать биолог Джоэл Белленсон и инженер Декстер Смит с помощью своего изобретения — синтезатора запахов iSmell.

Прототип устройства подключался к компьютеру через USB и воспроизводил через вентилятор запахи, закодированные на устройстве. Библиотека из 36 ароматов занимала всего два килобайта памяти.

На реализацию проекта его создатели получили около $20 млн инвестиций от компаний Procter & Gamble, Givaudan и Real Networks, но уже в 2001 году, через два года после создания первого прототипа, компания объявила о своём банкротстве. По словам Белленсона, iSmell оказался «слишком сложной для реализации технологией, чтобы пройти тестирование».

В 2007 году концепцию iSmell переосмыслили Дэвид Эдвардс и Рейчел Филдс: они создали компактное устройство oPhone. С его помощью запахи можно было передавать по электронной почте или через мгновенные сообщения.

Внутри двух небольших цилиндров находились чипы или «нейроны» с засушенными материалами, из которых можно составить базовый аромат — вроде картриджей для принтера. Когда oPhone подключался к iOS через Bluetooth, «нейроны» начинали двигаться: материал внутри устройства подвергался воздействию воздушного потока. Так и появлялся аромат.

Для этого пользователи скачивали одноимённое приложение, выбирали подходящий аромат из 320 вариантов и «скидывали» его на смартфон получателя. Изобретение, как и iSmell, встретили с восторгами, но ажиотаж вокруг него быстро сошёл на нет.

В 2013 году исследователи Токийского университета сельского хозяйства и технологий вспомнили опыт технологии Smell-O-Vision и разработали «пахучие» жидкокристаллические экраны: они передают запахи изображенных на них объектов — например, аромат кофе.

По словам Харуки Матсукура, одной из разработчиков проекта, изобретение может улучшить рекламные кампании и подарить новый опыт посетителям музейных выставок.

В 2016 году бывшие основатели oPhone, Дэвид Эдвардс и Рейчел Филдс, придумали Cyrano — диспенсер, который мог удалённо воспроизводить последовательности ароматов («настроения»). Каждый выбранный микс распылялся не больше пары минут, чтобы пользователь не успевал от него устать.

Стоимость устройства составляла $145. Основатели планировали продать первые 500 экземпляров Cyrano и вернуться на рынок с усовершенствованной технологией после анализа покупательского опыта. Но по прошествии трёх лет новое поколение устройств так и не появилось.

Исследования в области «вкусовых» технологий долгое время оставались сугубо научными, а их результаты не демонстрировались широкой публике.

Первые электронные вкусовые сенсоры («системы электронного языка») появились в 1990 году: их использовали для анализа ионов и тяжёлых металлов — для оценки вкуса и испорченности продуктов. В 1999 году они научились распознавать антитела, клетки и энзимы.

В том же году компания Nordic Sensor Technologies создала улучшенную версию системы, которая, по версии New Scientist, наиболее чётко, нежели предыдущие поколения, передавала человеческие вкусовые ощущения.

Жидкий образец помещался в контейнер с тремя электродами из нержавеющей стали, платины и золота. Он анализировал возникающие между ними сигналы — «пробовал их на вкус».

При этом он распознавал только степень испорченности молока и апельсинового сока. Сфера применения нового устройства компанией Nordic Sensor Technologies не уточнялась.

В 2019 году электронный язык научился распознавать качество виски. Новая технология способна улавливать различия между одной и той же маркой, выдержанной в разных бочках, с точностью более 99%. Также сенсоры могут определять разницу между 12, 15 и 18 годами выдержки алкогольного напитка.

По словам исследователя Аласдаира Кларка, сегодняшняя технология не может показать, какие химические вещества отличают вкус кофе от вкуса яблочного сока, но она может определить разницу между этими химическими смесями, похожими между собой.

В 2013 году учёные из Национального университета Сингапура изобрели электрод, воссоздающий вкус сладкой, солёной, горькой и кислой пищи. Эта технология позволяет передавать ощущение от виртуальной еды. В будущем она может помочь сделать систему поощрения геймеров «вкуснее».

Например, за успешное прохождение уровня пользователи смогут получать от электрода сладкий, мятный или кислый сигнал, а за провал — горький.

Во время эксперимента электрод только касался кончика языка человека и «обманывал» его рецепторы за счёт движения переменного тока и лёгкого изменения температуры: во рту появлялась иллюзия того или иного привкуса.

По мнению создателя технологии Нимеша Ранасингха, её можно применять при лечении диабета: так пациенты смогут чувствовать сладость, не повышая уровень сахара в крови.

Через некоторое время Ранасингх и его команда создали «виртуальный» лимонад. Исследователи определили цвет и уровень кислотности реального напитка с помощью специальных датчиков. Затем они закрепили электроды на стакане воды: за счёт электрических импульсов жидкость приобретала лимонный привкус, а подсветка имитировала желтоватый цвет.

По итогам тестирования на независимой группе «виртуальный» лимонад показался участникам эксперимента менее кислым, чем настоящий.

В 2016 году Хироми Накамура, исследовательница Токийского университета, предложила свой вариант борьбы с повышенным потреблением соли — и изобрела электрическую вилку, которая за счёт переменного тока создаёт иллюзию солёного или кислого привкуса во рту.

На столовом приборе есть кнопка, которая помогает регулировать ощущения. В ручку вилки встроен аккумулятор, и она держит зарядку до шести часов в день. Её прототип стоил около $18: по данным Scientific American, массовые продажи прибора планировались на 2017 год, но они так и не были запущены.

Изначально сенсорные экраны использовались внутри компаний и не применялись для производства товаров массового потребления — телефонов и планшетов.

Первый экран, реагирующий на прикосновения пальцев, создал Эрик Джонсон в 1965 году для оптимизации работы авиадиспетчеров. Инженер не зарегистрировал изобретение, поэтому формально создателем сенсорных экранов считается другой человек.

Технологию «сенсорного датчика» в 1971 году запатентовал Сэмюэль Херст и назвал её элографом. Экран его изобретения сначала был непрозрачным и непрочным, но к 1977 году он уже напоминал современные поверхности по всем характеристикам. В то же время компания Siemens профинансировала Херста для создания первого сенсорного интерфейса из гнутого стекла.

Ещё в течение 20 лет технология оставалась недоступной широкой публике, пока в 1993 году компания Apple не выпустила Newton PDA — персональный цифровой помощник, распознающий почерки, а IBM — свой первый смартфон Simon с сенсорным набором номеров.

Ещё через десятилетие компания Microsoft представила планшет Windows XP, а в 2007 году появился первый iPhone, который положил начало новому пользовательскому опыту.

В 2012 году во время выступления в Томске профессор Токийского университета Хироюки Синода представил новый тип дисплея. Он разработал его с помощью супергаптических (тактильных) технологий: то есть изображение на экране проецировалось в зал в виде голограммы, и зрители «чувствовали» его под воздействием ультразвука. Во время лекции каждый из посетителей смог ощутить на себе капли дождя, «лившиеся» с экрана.

В 2013 «тактильными» свойствами ультразвука заинтересовался Том Картер в рамках своей кандидатской диссертации. Из его научного интереса вырос стартап Ultrahaptics — производитель бесконтактной тактильной технологии.

Принцип работы продуктов компании отчасти схож с эффектом от голограмм Синоды, только в случае с изобретением Картера человек может не только ощутить то или иное явление, но и провзаимодействовать с ним — нажать на виртуальную кнопку, передвинуть объекты в параллельной реальности.

Создатель Ultrahaptics считает, что его технология может заменить сенсорные экраны в общественных местах, так как она более гигиенична и быстрее реагирует на человеческие прикосновения.

С 1992 года на рынке существует компания Boston Dynamics: её роботы умеют брать и переносить предметы с места на место. В 2007 году инженеры Швейцарской высшей технической школы научили своего робота строить башни из камней. В основе всех этих алгоритмов лежит компьютерное зрение, но не осязание: роботы не умеют крепко держать объекты, не повреждая их, — в отличие от людей.

Эту задачу попытались решить учёные Вашингтонского университета. Они создали «кожу» для роботов из жидкого металла и микрофлюидных каналов — модулей, помогающих управлять микро- и нанообъёмами растворов.

На поверхности компьютеров закрепляется специальная плёнка, которая измеряет силу растяжения и сжатия каналов на «руке» при взаимодействии с другими объектами. Робот может сопоставлять данные об изменении длины «пальцев» и высчитывать показатель деформации предметов, к которым он прикасается.

В 2019 году австралийские инженеры подарили осязание дронам — с помощью искусственных вибрисс, имитирующих волоски. До этого учёным не удавалось сделать датчики меньше: новая технология оказалась чувствительнее и легче, чем предыдущие. С помощью вибрисс дроны могут измерять силу и направление воздуха, а также — фиксировать контакты с другими объектами.

В области VR-технологий основная проблема, связанная с осязанием, — недостаточно качественная имитация физического контакта с виртуальными объектами.

Швейцарские инженеры попытались разрешить эту проблему в 2018 году. За основу они взяли обычную перчатку и прикрепили к большому и указательному пальцам электростатистические тормоза: они помогают создать эффект сопротивления движению и эффект сжатия объектов.

Дополнительно учёные прикрепили визуальные маркеры: они помогают сопоставить движения руки в реальном мире и положение виртуальных предметов.

К 2016 году на рынке появились протезы с накладываемыми или имплантируемыми на руку электродами: они считывали прикосновения и передавали сигналы к периферийным нервам руки. Их проблема заключалась в том, что часто обратная связь приходила с задержкой и зависела от электропроводности кожи.

Над ликвидацией этого ограничения более двух лет работал профессор Иллинойского университета Тимоти Бретл и его команда. В 2014 году они разработали модель, в которой чувствительность кожи зависела от того, насколько плотно к ней прилегали электроды.

Затем учёные провели ряд тестов и создали алгоритм, автоматически подстраивающийся под степень прилегания электродов к телу. В результате чувствительность остаётся на одном уровне вне зависимости от движений человека.

В то же время проблему изучали сотрудники Университетов Питтсбурга и Чикаго. Они создали четыре импланта, которые подключаются не к периферийным нервам руки, а к области коры головного мозга: так происходит прямое взаимодействие с центром, который отвечает за тактильную чувствительность.

В 2016 году осязание в искусственной руке получил полностью парализованный Натан Копленд.

Сегодня проблема врождённой или приобретённой потери слуха чаще всего решается с помощью слухового аппарата. Устройства нового поколения отличаются компактностью и высоким качеством передачи звука, но так было не всегда.

Вплоть до 19 века люди пользовались ушными трубами, которые были большими по размеру и похожи на духовые инструменты, а качество звукопередачи оставляло желать лучшего.

Первую революцию в этой сфере совершил Томас Эдисон. Он создал углеродный передатчик для телефона: это устройство усилило электрический сигнал и увеличило уровень звука примерно до 15 децибел.

Изобретение Эдисона начали использовать в первых слуховых аппаратах, несмотря на ограниченность диапазона частот.

Проблему неровного и «царапающего» звука в 1919 году частично решил радиоинженер Эрл Хэнсон — он применил вакуумные трубы, которые лучше углеродного передатчика контролировали поток электричества, и с их помощью уровень звука получилось увеличить до 70 децибел.

Слуховые устройства стали компактнее в период Второй мировой войны. Если в 1938 году батарейный блок слухового аппарата компании Aurex приходилось привязывать к ноге, то с появлением батареек-«монеток» слуховой аппарат действительно превратился в портативное карманное устройство — не больше косметички.

С появлением транзисторов (переключателей, с помощью которых можно управлять движением электронов и регулировать поток электричества) из германия и кремния слуховые аппараты уже можно было носить за ухом или вставлять внутрь ушной раковины.

Ещё одна «звуковая» революция случилась в 1980-х: тогда на рынке появились чипы, обрабатывающие сигнал в цифровом формате, а уже в 1995 году — полностью цифровой слуховой аппарат Senso от компании Widex. Благодаря новой технологии устройство регулировало уровень звука и настраивалось на «правильную» частоту без ручной регулировки.

В 2004 году появилась технология Bluetooth Low Energy: благодаря беспроводному подключению устройство, с которым соединяется слуховой аппарат, разряжается медленнее, а звук воспроизводится без задержек. Производители также начали выпускать устройства с пониженным потреблением энергии.

Когда слуховые аппараты стали компактными, а качество звука в них — практически идеальным, перед компаниями встала новая задача — соедининить их с с мобильными устройствами.

В 2014 году появились аппараты, совместимые с продукцией Apple: они также проигрывают музыку и умеют определять местоположение. Слуховые аппараты ASHA (Audio Streaming for Hearing Aids) для Android, должны были появиться в середине 2019 года, но информации об их релизе пока не поступало.

Современные наушники прошли путь длиною в столетие от громоздкого дополнения к проводному телефону до лёгкой беспроводной технологии.

«Кабельное радио» — так в начале 20 века называли электрофоны Electrophone Company, первого предшественника современных наушников. В оборудованном этими устройствами помещении посетитель мог связаться с оператором и послушать за столиком либо театральное выступление, либо воскресную службу. Электрофон можно было установить и у себя дома — за подписку на услуги компании.

К 1906 году с помощью электрофона можно было послушать репертуар 14 театров и службу в 15 церквях Лондона.

К 1923 году число посетителей лондонского салона выросло до 2000 (по сравнению с 50 в 1896 году), но уже в 1924 года бизнес разорился из-за появления беспроводных радиоприёмников.

Пока электрофоны массово набирали популярность в Лондоне, американец Натаниэль Болдуин занимался разработкой индивидуальных наушников. Первый прототип современного дизайна из проволоки он создал в 1910 году. Его технологию купили военно-морские силы США, заменив ею электрофоны.

Для широкого потребления первые наушники начала продавать компания Bayerdynamic в 1937 году, но по-настоящему популярными они стали в 1958 году с появлением стереогарнитуры от Джона Косса. Это изобретение позволило слушать музыку высокого качества с иллюзией реального присутствия.

Успех наушников Косса стимулировала продуманная маркетинговая стратегия: он постоянно обновлял дизайн своих продуктов, использовал в рекламе образ Кинг-Конга и смайлики, популярные на тот момент. В 1966 году бизнесмен запустил коллаборацию с The Beatles. В 2008 году его стратегию использовал американский рэпер и продюсер Dr. Dre и создал свой бренд наушников Beats.

Росту популярности стереогарнитуры Косса помешало появление плееров Walkman в 1979 году. В комплекте к нему уже ушли наушники: это заставило слушателей на некоторое время забыть о них как об отдельном элементе.

Через десять лет Амар Боуз, разочарованный качеством наушников в самолётах, разработал первые наушники-вкладыши, не пропускающие посторонние шумы извне. Сначала эту технологию использовали только пилоты: в 1995 году профессиональная ассоциация AOPA (Aircraft Owners and Pilots Association) назвала её «продуктом года».

Для простого потребителя наушники Боуза были слишком большими, но в 2000 году более компактная модель Bose QuietComfort стала доступна широкой публике.

В 2001 году компания Apple отчасти повторила успех Walkman двадцатилетней давности, выпустив плеер iPod. Наушники в комплекте понравились покупателям из-за простого дизайна качества звучания.

В 2008 году компания начала выпускать наушники-«капельки», преимуществом которых считалась звукоизоляция, но потребительский спрос на них оказался крайне низким.

В 2016 году Apple выпустила AirPods, которые повторяют знаменитую форму из 2000-х.

Однако первый беспроводной аксессуар появился годом раньше: его создала компания Bragi. Несмотря на прорывное изобретение, основателям не удалось добиться синхронной работы обоих наушников.

Сначала технология отслеживания взгляда изучалась исключительно в контексте техники чтения. В 1879 году офтальмолог Эмиль Жаваль впервые обратил внимание на то, что читатель не бегло просматривает весь текст, но чередует быстрые движения с небольшими паузами между ними. Тогда у учёного не было возможности зафиксировать своё открытие, все выводы он делал на глаз.

Зарегистрировать движение взгляда смог Эдвард Хью в 1908 году: он стал создателем первого примитивного устройства для его отслеживания. Впервые передвижения глаза записал на камеру Гай Басвелл в 1937 году.

Революцию в области окулографии — отслеживания взгляда — совершил советский учёный Альфред Ярбус в 1960–1970-е годы. В своей книге «Роль движений глаз в процессе зрения» он доказал, что движение глаз и фокусировка на объекте напрямую зависят от заинтересованности зрителя.

В это же время окулографические устройства научились отделять траекторию взгляда от поворотов головы, а к 1980-м компьютеры уже могли отслеживать взгляд пользователей в режиме реального времени благодаря небольшим специальным камерам.

В 1990-х рекламное агентство Euro RSCG начало использовать взаимосвязь между движением глаз и заинтересованности зрителя в своей работе, чтобы оценить реакцию посетителей сайтов на анимированную графику, баннеры, интерфейс страниц. Для этого компания провела компьютерное исследование с использованием аппаратуры по отслеживанию взгляда.

В результате выяснилось, что уменьшение количества рекламных сообщений улучшает эффект рекламы. Также был признан неэффективным дизайн веб-страниц, имитирующих газетные полосы.

Сейчас окулография — это часть нейромаркетинга, изучающего поведение покупателей сквозь призму классического маркетинга, нейрофизиологии и когнитивной психологии.

Например, компания iMotions предлагает три вида услуг по отслеживанию интересов потребителей: с помощью биосенсоров можно провести исследование поведения пользователей в интернете, в повседневной жизни — с помощью специальных очков и в виртуальной реальности.

Российская компания «Нейротренд» составляет ежемесячный рейтинг рекламных роликов на основе отслеживания взгляда, анализа электроэнцефалограммы и данных полиграфа. Центр «Сармонт» создаёт карты перемещения взгляда и анализирует «зоны» интереса, а агентство «НейроБренд» предлагает варианты улучшения дизайна и рекламных роликов: всё это — на основании окулографии.

В 2016 году команда швейцарских разработчиков создала систему Vizir, которая с помощью дополненной реальности накладывает тепловое изображение на объекты в поле зрения пожарного. Картинка выводится на экран специальных AR-очков, которые получают сигнал от тепловизора, прикреплённого к шлему.

Исследователи считают, что технология поможет пожарным лучше ориентироваться в задымлённых и тёмных помещениях. Также Vizir даст им возможность определять температуру объектов без приближения к ним.

В 2017 году команда Висконсинского университета в Мэдисоне разработала очки, которые позволяют различать невидимые простому глазу цвета и оттенки. В будущем, по мнению New Scientist, пользователи устройства смогут отличать поддельные банкноты от настоящих и обнаруживать камуфляж.

В 2018 году учёный Амир Кашани и его коллеги разработали специальный пластырь-имплант, который улучшил остроту зрения и остановил его возрастные изменения у четырёх участников эксперимента. От диагноза, с которой борется пластырь, страдает 90% американских пациентов, то есть около 1,7 млн человек.

Изобретение состоит из глазных клеток, выращенных из эмбрионального стволового материала: сначала его «вкладывают» на заднюю поверхность глаза, а после происходит процесс вживления импланта, который останавливает возрастную дегенерацию.

#медицина #vr