Стартап из Силиконовый долины: алгоритм, умеющий распознавать эмоции человека, принесет человеку и обществу благополучие

Колумнист WP Steven Zeitchik опубликовал статью-исследование нового стартапа из Силиконовой долины под названием Hume AI.

Steven рассказывает о бывшем сотруднике Гугл, который хочет сделать алгоритмы лучше. Alan Cowen, основатель стартапа, верит, что обучив алгоритм распознавать эмоции человека, можно научить алгоритм ставить во главу угла благополучие человека, а не удержание его на платформе максимально долго.

Steven, кстати, один из американских журналистов, получивших премию The Arthur F. Burns Prize в 2013 году. Премия учреждена МИДом Германии за выдающийся журналистский вклад в освещение политических, экономических или культурных вопросов в стране-партнере или трансатлантических отношений.

Технологии искусственного интеллекта (ИИ) все больше входят в нашу социальную и потребительскую жизнь. Ожидается, что алгоритм исправит естественные ошибки, которые делает человек.

Реальность, конечно, отличается от таких ожиданий. Начиная от алгоритмов Фейсбука, которые учатся, как подогревать агрессию, до приложений по распознаванию лица, которые не могут опознать лиц людей цветных рас, технологии ИИ все чаще не вносят в нашу жизнь улучшений, а скорее усиливают существующие изъяны.

Недавно созданный стартап в Силиконовой Долине заявил, что у него есть идея, как решить эту проблему.

Alan Cowen, бывший дата сайентист Гугла, окончивший факультет психологии Университета Беркли, создал исследовательскую компанию Hume AI. Цель Hume AI сделать отягощённые ошибками технологии ИИ более эмпатичными и человеческими.

Alan привлек $5 млн от венчурной студии Aegis Ventures, которая является частью корпорации Aegis Capital Corporation. Корпорация основана в 1984 и является розничным и институциональным брокером-дилером. Также Alan заявляет о партнере, некоммерческой организации - The Hume Initiative.

Alan: Платформа Hume тренирует алгоритм на сотнях тысяч выражений человеческого лица и голоса со всего мира, чтобы алгоритм смог четко определить чувства людей и подстроить свои ответы с учетом эмоционального состояния человека.

Alan надеется, что платформа будет в будущем интегрирована в приложения для потребителей как вирусные видео или цифровые помощники, хотя эффективность платформы в данный момент не очевидна, и техно гиганты не изъявили желания ее внедрить.

Alan привлек много известных имен для работы в стартапе. Например, Danielle Krettek Cobb - основателя лаборатории Гугл Empathy Lab, Karthik Dinakar- эксперта в «честном алгоритме», Dacher Keltner – профессора университета Беркли, который был ментором Alan’а во время учебы.

Бета версия* платформы стартует в марте. Она будет бесплатной для исследователей и разработчиков.

* Бета-версия — интенсивное использование почти готовой версии продукта (ПО) с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом продукта на рынок, к массовому потребителю.

Партнер Hume AI – НКО The Hume Initiative опубликовала этические принципы, которые компании - будущие пользователи технологии, должны принять. Согласно Принципам платформы эмпатичный ИИ не должен использоваться для разработки жестких форм психологической войны путем ослабления негативных эмоций.

Этические принципы The Hume Initiative содержат шесть пунктов, описанных достаточно кратко, что позволяет их быстро прочитать.

Ссылка на этические принципы: https://thehumeinitiative.org/guiding-principles

Этические принципы в целом совпадают с уже разработанными документами на эту тему, такими как Рекомендации по этическим аспектам искусственного интеллекта, разработанным экспертами ЮНЕСКО*, Руководство по разработке систем автоматизированного принятия решений с учётом этики, прозрачности и ответственности от правительства Великобритании** или Этические принципы для разработки ИИ от Евросоюза***.

*Первый драфт Рекомендаций ЮНЕСКО был опубликован в конце 2021 года.

ЮНЕСКО разрабатывает в течение двух лет первый глобальный нормативный документ об этических аспектах искусственного интеллекта в соответствии с решением, принятым в ходе 40-й сессии Генеральной конференции ЮНЕСКО в ноябре 2019 года.

** Правительство Великобритании опубликовало Рекомендации 13 мая 2021 года. Рекомендации подготовлены для общественных организаций, которые применяют алгоритмы.

*** Этические принципы для разработки так называемого «надежного» ИИ были разработаны и опубликованы Еврокомиссией 8 апреля 2019 года.

Исследования Hume AI будут направлены на разработку технологии ИИ, которая не только обрабатывает большие объемы данных и находит неявные закономерности, но вводит в обиход понятие человеческого подхода ИИ. Alan называет его «эмпатичным ИИ» («empathic AI»).

Alan: «Мы понимаем, что это долгий путь. Нужно начать разработку алгоритма не для целей вовлечения пользователей на платформу, а для их благополучия».

Как понимает это намерение колумнист WP, речь идет о том, что алгоритм будет не удерживать пользователей на платформе, мотивируя постоянно кликать на яркие стимулы, а делать людей лучше, и общество более справедливым.

Alan считает, что психологический подход поможет ему в этой задаче.

Alan – не единственный предприниматель, который пытается добавить «человечности» в цифровое пространство. Движение «этического ИИ» направлено на внедрение прозрачности в используемые корпорациями алгоритмы и имеет в своих рядах уже много авторитетных организаций, как Центр изучения ИИ и цифровой политики Марка Ротенберга (Marc Rotenberg) и Исследовательский институт разностороннего ИИ, которые ищет способ избавиться от проявления и поляризации предубеждений в алгоритмах. Последний основан знаменитой бывшей сотрудницей Гугл - Timnit Gebru.

Среди приверженцев этического ИИ также много академиков, например профессор Duke Университета- Cynthia Rudin*. Она высказывается за идею максимального упрощения алгоритма, чтобы снизить вред обществу.

*Cynthia получила в 2021 году премию AAAI Squirrel AI Award for Artificial Intelligence for the Benefit of Humanity. Эта премия учреждена Ассоциацией содействия развитию искусственного интеллекта. Премия отмечает достижения ученого в области исследований влияния ИИ на благополучие, защиту и улучшение жизни человека. Размер премии- 1 млн долларов.

Alan пытается применить психологию для разработки этического алгоритма.

Его исследовательская работа в Университете Беркли была посвящена изучению эмоциональных реакций людей из различных культур и тональным особенностям голоса.

Alan берет за основу в своих исследованиях шесть базовых эмоций, которые были определены еще в 1990-х годах. Alan определяет до 20ти проявлений базовых эмоций в лицевых движениях, голосе и жестах. Для работы платформы используется набор из 37 движений лицевых мышц, соответствующих проявлениям базовым эмоций.

В Гугл Alan развивал так называемые «эмоциональные вычисления» (“affective computing”), которые должны были увеличить способность машины распознавать эмоции и имитировать их.

Alan’у, скорее всего, еще предстоит заслужить одобрение научного сообщества своих идей о возможности распознавания эмоций технологией машинного обучения.

В мае 2021 года издание Financial Time опубликовало расследование о наличии научных доказательств попыток обучить алгоритм распознавать эмоции человека.

Ассоциация психологических наук провела исследование эмоций в 2019 году. Пять ученых из различных областей наук попытались найти доказательства идее распознать эмоции человека. Спустя два года изысканий, ученые проанализировали более 1 000 научных работ о технологиях распознавания эмоций. Они обнаружили, что эмоции выражаются такими разными способами, что совершенно невозможно сделать вывод, что действительно чувствует конкретный человек, на лице которого определенное выражение.

Lisa Feldman Barrett , психолог Northwestern University: «Люди, в среднем, хмурятся менее 30% времени, пока они раздражены. Поэтому хмуриться – один из многочисленных признаков раздражения. 70% времени, когда люди раздражены, они делают что-то другое. И они хмурятся даже тогда, когда они совсем не раздражены».

Ученые считают, что «невозможно с достоверностью сделать вывод, что улыбка означает счастье, а хмурые брови- гнев или грусть, как многие современные технологии пытаются продемонстрировать. Эти попытки не имеют научного обоснования».

Suresh Venkatasubramanian, ученый, эксперт по машинному обучении в Университет Юта (США):

"Фундаментальная проблема систем, которые анализируют эмоции, в том, что машина не может адаптировать свое поведение, как это делает человек. Когда мы взаимодействуем с человеком и ошибаемся в оценке его эмоций, мы получаем обратную связь и быстро перестраиваем свое понимание. Машина так сделать не может. Она тренируется на данных тысячи людей, но не способна адаптировать свою модель в момент, когда неправильно «прочитана» эмоция".

В интервью изданию FT профессор Калифорнийского университета Пол Экман, автор учебника «Психология лжи», говорит, что компании гонятся за прибылями, а не занимаются наукой, и их «исследования» сомнительны. Компании не проводят серьезных разработок для поиска связи эмоций и поведения. «Просто распознать лицевые мышцы- не значит понять, что из этого следует. Большинство того, что я видел из продуктов компаний, я бы назвал псевдонаукой. Компании вообще не изучали, соответствует ли то, что распознал компьютер, той интерпретации, которую делает компания-разработчик», - считает Экман.

Сначала кажется, что тема эмоций противоречит типичному подходу к технологиям ИИ, так как сильной стороной технологий считается способность выносить объективные решения, не подверженные человеческим эмоциям.

Однако многие исследования показывают, что неспособность технологии понимать, что чувствует человек, делает ее опасной. Это в свою очередь ставит вопрос о необходимости сделать технологии более «человечными», чтобы служить человеку.

Arjun Nagendran, со-основатель компании Mursion: «Модели Hume тренируются на большом объеме данных, но при этом они не включают в себя ошибку предубеждения».

Krettek Cobb, основатель Google Empathy Lab: работа Alana является фундаментальной для построения взаимодействия человека и цифрового мира. Эмпатичный ИИ позволит технологии подстроиться под эмоции человека и будет отражать самые ценные моменты нашей жизни.

Ben Shneiderman, профессор Университета Maryland и автор книги «Человеко-центрированный ИИ» (Human-Centered AI) считает, что такие инициативы, которые предпринимает Alan могут играть важную роль в становлении этических алгоритмов. Но нужно сделать гораздо больше.

«Правильная технология может сильно помочь. Но если мы посмотрим на технологии, которые создаются для целей безопасности, то требуется нечто большее». Ben считает, что должно быть государственное регулирование и жесткие стандарты, такие как например в страховом или аудиторском бизнесе.

Alan ожидает появления цифровых ассистентов на базе алгоритмов, которые будут распознавать эмоции в голосе и на основе анализа движений лицевых мышц. Алгоритмы будут делать рекомендации на основе распознавания.

Сферой применения таких цифровых ассистентов Alan видит горячие линии кризисных центров. Ассистенты будут помогать операторам идентифицировать депрессию на основе голоса. Также применение технологий возможно для измерения настроения пользователей социальными сетями, чтобы корректировать посты.

Alan: «Пост усиливает плохое настроение пользователей? Или он вызывает плохое настроение через сутки-двое после публикации? Компании не имеют методов измерения эмоциональных реакций пользователей и понимания их позитивного или негативного опыта».

Danielle Krettek Cobb, основатель лаборатории Гугла Empathy Lab, отмечает множество возможностей для этих технологий, например кастомизация учебных планов детей на основе их эмоциональных реакций и оценку рисков в случаях острых политических событий.

Разумеется, нет никакой гарантии, что если компания сможет измерять эмоции, то она не будет этим злоупотреблять. Техно гиганты, находясь на пересечении использования данных и благополучия людей, не всегда ставят на первое место благополучие человека.

Большой вопрос, будет ли эмпатичный ИИ востребован биг техом. Машинное обучение внедряется довольно медленно, а внедрение новой технологии с эмоциями замедлит еще сильнее процесс принятия технологии. Если Siri будет знать, что мы чувствуем, то поспособствует ли это более здоровым отношениям между человеком и машиной? Или это даст ей больше власти над нами?

Alan признает, что есть риски в обогащении машинного обучения эмоциями.

Принимая во внимание существующие парадоксы ИИ*, любое насыщение дополнительными параметрами модели алгоритма ведет к ее усложнению, а значит требует еще больше внимания разработчиков для устранения парадоксов ИИ. Получается, что чем проще модель (меньше параметров), тем будет меньше парадоксов и ошибок.

* Pier Paolo Ippolito, эксперт в data science, выделяет как минимум 4 парадокса ИИ:

· Парадокс Simpson’a

· Парадокс точности (Accuracy)

· Парадокс Gödel’а (Learnability-Godel)

· Закон непреднамеренных последствий (Law of Unintended Consequences)

Как делает вывод Pier Paolo Ippolito, очень сложно создать ИИ-модель без обучения или применения без вмешательства человека. В какой-то момент выборка исходных или анализируемых данных перестает быть корректной.

Из Закона непреднамеренных последствий вообще следует вывод, что чем сложнее модель, тем выше вероятность ошибки и тем менее понятны и прозрачны принципы ее работы. А значит, чем более точная модель разрабатывается, тем менее точным и необъяснимым может оказаться результат ее работы.

Но альтернатива, по мнению Alan’а, более зловещая.

«Если будет продолжаться развитие алгоритмов с целями вовлечения людей без применения эмпатичного ИИ, то дети скоро будут сидеть в сети по 10 часов в день. Вряд ли для кого-то это хорошая перспектива».

Как выяснил колумнист WP, исследовательский центр Pew Research Center опросил разработчиков ИИ в июне прошлого года, что они думают о технологии ИИ. Две трети опрошенных верят, что технологии будут использоваться для блага общества к 2030 году.

Хочется пожелать Alan’у удачи в реализации его идеи.

Alan’у предстоит решить много задач, начиная от необходимости убедить научное сообщество в достоверности своих идей о способности алгоритма распознавать эмоции корректно, и заканчивая поиском способа убедить корпорации использовать его будущую технологию исключительно для благополучия человека.

Серьезный вызов перед бывшим сотрудником Гугла - ответить на вопрос, как именно «эмпатичный» алгоритм, обученный распознавать эмоции людей, улучшит благополучие людей и общества, если не будет решена проблема «предубеждения» алгоритма и поляризации ошибок, заложенных в тренировочных данных и в головах самих разработчиков ПО.

Непростая задача - как он будет контролировать, что коммерческие компании будут соблюдать первый пункт из этических принципов Alan’а: «Технология эмпатического ИИ следует применять только в том случае, если ее преимущества существенно выше издержек, которые понесут отдельные лица и общества в целом».

В своей презентации 7 ноября прошлого года на Falling Walls Venture (глобальная платформа для научных стартапов) Alan представил дорожную карту своей компании. Потребителями своей будущей технологии он указал крупные техно компании, такие как TikTok, Yotube, Facebook, Pinterest.

Принтскрин с выступления Alan’а:

Техно гиганты пока не проявили заботы о благополучии отдельного человека и общества, так что будет интересно понаблюдать за их трансформаций и соблюдением этических принципов Alan’а Cowen.

Хотя, если техно гиганты не выразят желания соблюдать шесть пунктов Принципов Alan’а, есть шанс, что развитые государства примут обязательные к исполнению законы о разработке этичного ИИ, основанные как минимум на Рекомендациях по этическим аспектам искусственного интеллекта ЮНЕСКО.

Ссылка на статью: https://www.washingtonpost.com/technology/2022/01/17/artificial-intelligence-ai-empathy-emotions

Ссылка на сайт Hume AI: https://hume.ai/about

Выступление Alan’a на Falling Walls Venture: https://www.youtube.com/watch?v=VYx4HgAazG4

Первый драфт Рекомендаций по этическим аспектам искусственного интеллекта ЮНЕСКО: https://unesdoc.unesco.org/ark:/48223/pf0000373434

Рекомендации по этичному ИИ от правительства Великобритании : https://www.gov.uk/government/publications/ethics-transparency-and-accountability-framework-for-automated-decision-making/ethics-transparency-and-accountability-framework-for-automated-decision-making

Этические принципы для разработки ИИ от ЕС: Ethics guidelines for trustworthy AI - Publications Office of the EU (europa.eu)

Ссылка на статью о парадоксах ИИ: https://towardsdatascience.com/paradoxes-in-data-science-cab0869ef23d

Ссылка на статью FT: https://www.ft.com/content/c0b03d1d-f72f-48a8-b342-b4a926109452