Темная сторона персонализации

Персонализация – это подстройка чего-нибудь под особенности конкретного пользователя или группы пользователей. Например, когда вы подшиваете слишком длинные джинсы – это персонализация. И когда вы все чаще видите посты, похожие на то, что вам обычно нравится – это тоже персонализация.
Когда мы слышим о персонализации продуктов и услуг, она обычно подается в позитивном ключе: вы получите предложение, созданное конкретно для вас и адаптированное под ваши запросы. Звучит здорово, звучит как что-то, к чему стоит стремиться. Но что, если у персонализации есть темная сторона?

Конечно, у персонализации есть темная сторона, она у всего есть. Задача у нас здесь не в том, чтобы сказать: «Все, отказываемся», – или: «Добавим это везде». Она в том, чтобы понять, какие есть позитивные эффекты, какие негативные, как они соотносятся. И исходя из полученной информации использовать персонализацию разумно, снижая риски и выкручивая на максимум пользу.
Чтобы этого просветленного состояния достичь, давайте разберемся в персонализации ИИ поподробнее.
Кое-какие вопросы мы затрагивали в посте про антропоморфизацию и в посте о проблемах оценки безопасности ИИ. Например, мы поняли, что ИИ может подтверждать и усиливать искажения и ошибки, которым и так подвержены люди. А что еще может пойти не так?

Предлагаю начать наш краткий обзор всего, что может пойти не так в процессе использования персонализации применительно к ИИ, со статьи «Stereotype or Personalization? User Identity Biases Chatbot Recommendations» («Стереотипы или персонализация? Персональные характеристики пользователя искажают рекомендации чат-ботов»).
Авторы обнаружили, что ответ модели меняется в зависимости от того, каков пользователь. В частности, какова его расовая принадлежность. Причем можно не сообщать ничего напрямую, модель обо всем догадается исходя из манеры вашей речи и того, что вы ей сообщили о своей профессии или образовании. И это не есть хорошо: вы ничего не сказали, а вам уже втихую ответы подстраиваются под определенные демографические параметры.
Исследование американское, поэтому его проводили для четырех наиболее многочисленных расовых групп в США:

Авторы использовали три способа сообщить языковой модели расовую принадлежность пользователя:

Базовый запрос делался на английском языке «по учебнику»: без специфического диалекта и без дополнительных указаний на род занятий.
Задавали два вопроса: в какой поступить университет и в каком районе снять жилье. Ответы сверяли с публично доступными статистическими данными. Это позволяло понять, например, что члену баскетбольной командой были рекомендованы для проживания районы с большой долей афроамериканского населения.
И ему не только были рекомендованы районы с большей долей афроамериканского населения, а еще не были рекомендованы все остальные районы.
Такая персонализация может быть полезна и желаема, но принимать решение должен все-таки пользователь.
У этого исследования множество ограничений, которые авторы признают и подробно описывают в своей статье: оно американоцентрично, не рассматривает никаких других параметров кроме расовой принадлежности, и запросы к модели созданы синтетически, по причине чего могут не вполне отражать реальность. Однако сама постановка вопроса: «Всегда ли персонализация полезна?» – важная и правильная. В эту сторону надо обязательно думать.

Еще одна статья – «Exploring the Ethical Implications of AI-Powered Personalization in Digital Marketing» («Исследование этических последствий персонализации с использованием ИИ в области цифрового маркетинга») – дает более широкий взгляд на сложности персонализации, но только в разрезе маркетинга. Впрочем, мы все либо занимаемся маркетингом, либо попадаем под его влияние, так что этот взгляд нам всем будет полезен.
Особая ценность этой работы заключается в том, что авторы собрали большой массив литературы и провели своего рода мета-анализ, обобщая и структурируя накопленные ранее данные. Мы любим большие массивы литературы, мета-анализы и структурированные данные.
Вот основные направления исследования, которые описали авторы:

Пример искажения мы как раз рассмотрели в предыдущем разделе: данные пользователя, полученные от него напрямую или косвенно, используются для формирования ответов. Пользователь может об этом не знать.
Предыдущая статья рассказала нам об искажениях, связанных с расовой принадлежностью, а в этом исследовании авторы еще нашли информацию об искажениях, связанных с политическими взглядами, полом и возрастом пользователя.
Манипуляция пользователями – сердце маркетинга, что цифрового, что нет, да не обрушится на меня гнев маркетологов. Я не говорю, что вы нехорошие люди, но всё же.
Конечно, персонализация в маркетинге может быть полезна обеим сторонам: и продавцам, и покупателям. Я иногда ей пользуюсь: когда мне что-то нужно купить, делаю пару запросов в поисковике, а потом просто жду, когда подходящий вариант появится в контекстной рекламе. Но здесь встает тот же вопрос: насколько пользователи понимают, какие данные собираются, как обрабатываются и где хранятся? Насколько пользователи могут контролировать, какую информацию о себе они хотят передавать?
Экономические и социальные последствия внедрения ИИ в маркетинг включают в себя как повышение эффективности от взаимодействия с клиентами и повышение удовлетворенности клиентов, так и широкий спектр негативных явлений:

Важность прозрачности мы уже поняли: пользователи хотят знать, что происходит, и контролировать то, как используются их данные. Ответственность – это ответственность компаний за ошибки. Не «Ой, наша модель что-то сделала», а «Мы не продумали этот риск».
В разделе 3 статьи авторы приводят несколько случаев, когда разработчики ИИ повели себя безответственно по отношению к данным пользователей, пренебрегли прозрачностью и этическими соображениями в целом.
Приведу один из примеров. В 2014 году ныне запрещенный в РФ Facebook провел эксперимент над своими пользователями. Эксперимент заключался в том, что для 700 000 человек изменили новостную ленту, включая в нее более позитивные или более негативные новости. Компания хотела посмотреть, изменится ли настроение и поведение пользователей. Настроение и поведение изменились: люди испытали гнев и забросали Facebook тухлыми помидорами. Главным образом за то, что горе-экспериментаторы не удосужились сообщить об эксперименте своим подопытным и поменяли ленту новостей втихую.
Вывод из всех этих историй, увы, не утешительный. Все упомянутые в статье компании: Facebook, YouTube, Amazon, Target, Uber и другие – до сих пор лидеры своих рынков. Они заплатили штрафы, что-то скорректировали в своих практиках, но основной ущерб все равно лег на пользователей. Были введены некоторые законодательные изменения, например, GDPR (General Data Protection Regulation) в Евросоюзе. Этот закон регулирует то, как собираются, хранятся и используются данные и наделяют пользователей некоторыми инструментами защиты. Однако это только Евросоюз, во-первых, а во-вторых, от пользователей все равно требуются существенные усилия, чтобы знать свои права, понимать, где они могут быть нарушены и как себя защитить.

Короче говоря, нам, пользователям, надо думать за себя и за того парня: правовое регулирование опаздывает, разработчики редко вспоминают о потенциальном вреде, который могут нанести их детища.
Надо думать и запасаться тухлыми помидорами. И объединяться в информированные сообщества, чтобы поддерживать друг друга, кстати. Мой телеграм, например, – как раз такое сообщество. Присоединяйтесь.