Плата за персонализацию. Перевод статьи​ от DOT Digital Agency блога "Humane by Design"

Ежедневно мы принимаем до 35 000 решений, требующих умственной энергии, которая часто оставляет нас без сил. Персонализация на основе ИИ обещает решение проблемы усталости от принятия решений, учитывающее наши предпочтения. Однако персонализация не обходится без компромиссов: она также используется для формирования, влияния и руководства нашим повседневным выбором и действиями. Когда алгоритмы принимают самостоятельные решения от нашего имени, видимые варианты скрываются от нас, и мы теряем личную самостоятельность.

Было время, когда компании имели ограниченный доступ к личным данным потенциальных клиентов. Даже с появлением Интернета между клиентами и компаниями все еще существовало некоторое разделение из-за ограниченного доступа к персональным компьютерам. Однако все изменилось, когда смартфоны и постоянное подключение к Интернету позволили собирать огромное количество данных о нашей деятельности в сети. Полученный поток данных позволил компаниям таргетировать рекламу и управлять показателями своего бизнеса. Например, если вы ищете лучшие кроссовки для бега или посещаете интернет-магазин обуви, вы можете начать видеть рекламу обуви в боковой панели каждого сайта, который вы посещаете впоследствии.

Вскоре результаты, которые вы увидите при использовании поисковой системы, такой как Google, также стали определяться вашими демографическими данными, местоположением, интересами и историей поиска. Цель заключалась в том, чтобы предоставлять наилучшие результаты и контент, удовлетворяющий потребности пользователей, используя персонализированную информацию об их присутствии в Интернете. Некоторое время результаты поиска Google были идентифицируемыми и визуально отличимыми. С тех пор это различие исчезло, и теперь платные результаты стало сложнее отличить. Как бы то ни было, пользователям приходится читать и тратить умственную энергию, чтобы сделать выбор, какая ссылка соответствует их интересам.

Google учитывает дополнительные данные, которые поисковая система собирает о пользователе во время поиска.

Новые возможности генеративного ИИ обещают избавить вас от необходимости искать информацию, обобщая ответы на вопросы с помощью созданного нейронки моментального снимка ключевой информации, на которую следует обратить внимание, и ссылок для более глубокого изучения. Теперь Microsoft также внедряет генеративный ИИ через ChatGPT-4 от OpenAI в свою поисковую систему Bing. Новые претенденты обещают "швейцарский армейский нож на базе нейросети для поиска информации", который почти полностью устранит бремя выбора. Основная предпосылка этих эволюций поиска заключается в том, что людям не нужно больше выбора, им нужно больше уверенности в том, что выбор будет сделан верно.

Персонализация в нашей цифровой жизни теперь выходит далеко за рамки простых результатов поиска или рекламы. Она также проявляется в виде контента, адаптированного к нашим интересам, и ни одна платформа не делает это более эффективно, чем социальные сети. Социальные платформы используют алгоритмы машинного обучения для персонализации пользовательского опыта путем предоставления прогнозируемых рекомендаций. Они собирают данные и используют их результаты для совершенствования своих алгоритмов, создавая петлю обратной связи со случайным усилением. Время, проведенное за взаимодействием с контентом на платформе, повышает качество алгоритмов, в результате чего пользователи проводят больше времени на платформе, собирают больше данных и просматривают больше рекламы.

Персонализированные рекомендации контента TikTok, основанные на алгоритмах машинного обучения.

Не только платформы социальных сетей используют алгоритмы для персонализации контента для своих пользователей. По данным опроса потребителей потокового контента, проведенного компанией Nielsen в июне 2023 года, потребители тратят в среднем 10,5 минут на поиск того, что можно посмотреть. Что еще хуже, 20 % говорят, что не знают, что смотреть, прежде чем начать поиск, а затем решают заняться чем-то другим, когда не могут найти что-то для просмотра. Чтобы противостоять чрезмерному выбору, сервисы потокового вещания начали использовать персонализацию, чтобы рекомендовать контент, который адаптируется к интересам каждого пользователя и может помочь расширить его интересы с течением времени. Алгоритмы настолько точно подстраиваются под индивидуальные интересы зрителей, что могут найти процентное совпадение для рекомендаций на основе того, что вы смотрели в прошлом, оценивая вероятность того, что вам понравится тот или иной фильм, или сериал. И это работает - только за первую половину 2023 года Netflix зарегистрировал более 92 миллиардов просмотренных часов.

Netflix рекомендует контент, который адаптируется к интересам каждого пользователя и может помочь расширить их интересы с течением времени.

Мы уже привыкли ждать персонализированное взаимодействие и разочаровываемся, когда этого не происходит. На что мы готовы ради персонализации?

Удобство, которое обещает персонализация, также сопряжено с компромиссами в ущерб пользователям. «Парадокс персонализации» относится к столкновению между персонализированным опытом, который экономит нам время, и заботой о личных данных, которые им требуются. Люди часто хотят удобства персонализации без ущерба для конфиденциальности, но найти правильный баланс может быть непростой задачей для компаний. Огромные объемы персональных данных, необходимые для персонализации, исторически регулировались противоречивыми правилами относительно того, что можно собирать и как это можно использовать. Противоречие между удобством персонализированного опыта и заботой о конфиденциальности и безопасности данных привело к постоянным дебатам о конфиденциальности, согласии пользователей, этичном использовании данных и необходимости регулирования в цифровом пространстве. К счастью, персональные данные, которые когда-то свободно собирались как ресурс и считались собственностью компании, теперь рассматриваются как актив, принадлежащий частным лицам и доверенный компаниям. Недоверие потребителей, действия правительства и рыночная конкуренция способствовали изменениям в сфере персональных данных во всем мире.

Но конфиденциальность — не единственный компромисс, на который мы идем ради удобства персонализации. Платформы теперь используют свои интерфейсы для сбора данных о взаимодействии пользователей с целью персонализации рекомендаций по контенту, призванных дольше удерживать пользователей на платформе. Стремительный успех TikTok во многом объясняется его способностью подключаться к системе вознаграждения мозга посредством бесконечного потока коротких видеороликов, выбранных специально для каждого пользователя, с конечным эффектом удержания их на платформе в состоянии транса.

Мощное и вызывающее привыкание программное обеспечение не только не улучшает нашу способность принимать оптимальные решения, но и может подорвать нашу свободную волю, заманивая нас в ловушку мгновенного удовлетворения. В худшем случае может возникнуть ощущение, что компании используют наши цифровые профили как что-то вроде кукол вуду, побуждая нас покупать, кликать, ставить лайки или потреблять контент, даже не подозревая, что они используют наши поведенческие рычаги, чтобы повлиять на нас.

Парадокс персонализации: баланс между удобством и конфиденциальностью

К сожалению, такая степень персонализации может заманить пользователей в кроличью нору, вызывающую зависимость от все более экстремального контента, и подвергнуть их воздействию информации и мнений, которые соответствуют и укрепляют их уже существующие убеждения и предубеждения (обычно называемые "пузырем фильтров").3 Исследования также показывают, что длительное использование TikTok может привести к значительному снижению концентрации внимания, повышению тревожности, депрессии и стресса,4 а также к трудностям с участием в деятельности, которая не предлагает мгновенного удовлетворения - явление, известное как "мозг TikTok". Что еще хуже, эти побочные эффекты могут проявиться уже через 20 минут использования и усугубить существующие проблемы с психическим здоровьем, романтизируя, нормализуя или поощряя самоубийство.

Однако самый тревожный компромисс, на который мы идем ради персонализации, - это эрозия свободы воли и личной автономии, которая возникает в результате циклов мгновенного удовлетворения. Платформы соревнуются в захвате нашего внимания и использовании наших персональных данных в своих целях, заманивая нас в бесконечные ленты, оптимизированные для максимального "прилипания". Чем больше времени мы проводим, взаимодействуя с контентом на платформе, тем выше становится алгоритмическое качество, в результате чего контент становится более ориентированным на индивидуальные интересы. Это петля обратной связи со случайным подкреплением, призванная держать нас в плену, а не обеспечивать ценность или значимую связь с другими людьми.

Эти платформы способны формировать наше поведение с помощью тонких и подсознательных сигналов, поощрений и наказаний, которые подталкивают нас к наиболее выгодным для них результатам. Как пишет Шошана Зубофф в книге "Эпоха капитализма наблюдения", "сегодня капитализм наблюдения предлагает новый шаблон для нашего будущего: машинный улей, в котором наша свобода отдана на откуп совершенным знаниям, используемым для получения прибыли другими". Зубофф предупреждает, что такая слежка ослабляет демократию, поскольку без свободы действовать и мыслить независимо мы лишаемся способности выносить моральные суждения и критически мыслить, что необходимо для демократического общества. Демократия еще больше ослабевает из-за беспрецедентного сбора информации и влияния, которое с ней связано.

Технологии должны дополнять человеческий интеллект и расширять наши возможности. Когда платформы ставят во главу угла свои бизнес-цели и держат людей в плену, наша самостоятельность подрывается удобством устройства, находящегося на расстоянии вытянутой руки в любой момент, которое обещает персонализированный контент, созданный алгоритмами, которые люди не контролируют. Вместо этого мы должны спросить себя: как мы можем разработать технологию таким образом, чтобы она расширяла возможности людей? Давайте рассмотрим несколько альтернативных возможностей, которые компенсируют компромиссы, на которые мы идем ради персонализации.

Следующим этапом пользовательского опыта будет изменение наших основополагающих метафор, чтобы мы могли выражать наши высшие потребности, а не только наши непосредственные предпочтения.

Удобство для пользователя: как скрытые правила дизайна меняют то, как мы живем, работаем и играем»

Первым шагом на пути к расширению прав и возможностей стало простое информирование людей об их цифровой деятельности. Производители устройств решили повысить осведомленность об использовании, чтобы стимулировать более здоровые цифровые привычки с помощью таких функций, как Screen Time от Apple и инициатива Google Digital Wellbeing. Эти функции могут помочь людям лучше понять, как они используют технологии, и предоставляют инструменты для приостановки отвлекающих приложений, установки ежедневных ограничений, настройки уведомлений и т. д. Но достаточно ли осведомленности об использовании?

Функция Screen Time от Apple позволяет получить доступ к отчетам в реальном времени, показывающим, сколько времени вы проводите на своем устройстве, и предоставляет инструменты для установки ограничений на то, чем вы хотите управлять.

Мы также можем предоставить необходимые инструменты и полномочия для эффективного надзора и регулирования алгоритмов, которые существенно влияют на повседневную жизнь людей. Это позволяет людям активно участвовать в формировании и настройке своего собственного цифрового опыта, обеспечивая более персонализированную и адаптированную онлайн-среду, соответствующую их предпочтениям, ценностям и целям. Люди должны иметь возможность совместно творить с алгоритмами, что требует соблюдения баланса между доверием и эффективностью. Мы можем построить более прочные отношения между людьми и машинами, поместив людей в цикл принятия решений ИИ и предоставив им возможность управлять алгоритмами, которые формируют их опыт. Например, что, если бы платформы позволяли пользователям точно настраивать алгоритм, который обеспечивает их опыт?

Наконец, мы можем полностью изменить наши отношения с устройствами. Что, если технологии подтолкнут нас к низкому интерфейсу и полезности, а не к потреблению? Если бы мы могли сократить время, проводимое перед экраном, мы могли бы уменьшить вероятность соблазниться бесконечными лентами новостей. Одним из интересных результатов растущих возможностей ИИ является возможность во многих случаях значительно сократить время использования экрана и зависимость от приложений. Мы начинаем видеть персонализированные операционные системы, которые обеспечивают интерфейс на естественном языке и уделяют особое внимание конфиденциальности и контролю данных. Эти системы являются ранними, и им еще предстоит пройти путь, прежде чем они смогут заменить смартфоны, но это многообещающий взгляд на будущее, в котором нам, возможно, не придется полагаться на экраны.

Компьютеры прочно вошли во все аспекты нашей жизни. Они стали достаточно маленькими, чтобы их можно было носить в карманах и украшать все мыслимые поверхности. Они гарантируют, что контент, соответствующий нашим интересам, будет доступен в любой момент благодаря алгоритмам машинного обучения, которые отслеживают и адаптируются к каждому взаимодействию. Однако они также открыли эпоху, когда время и внимание становятся все более дефицитными ресурсами. Помимо расширения наших способностей, технологии стали средством привлечения нашего внимания, монетизации нашей личной информации и использования наших психологических уязвимостей. Хотя персонализация обеспечивает удобство и индивидуальный подход, крайне важно учитывать компромиссы. Конфиденциальность — не единственный компромисс, на который мы идем ради персонализации: она также используется для формирования, влияния и управления нашим повседневным выбором и действиями. Мы должны разрабатывать технологии для расширения прав и возможностей и создавать технологии, которые уважают конфиденциальность, способствуют благополучию и соответствуют более высоким потребностям и ценностям пользователей.