Философия алгоритма: как рекомендательные системы изменили человечество

О том, как повлияли на нашу жизнь рекомендательные системы и почему способ взаимодействия пользователя с информацией изменился навсегда, рассказывает специалист в области Data Science AR-стартапа Banuba и консультант по учебной программе онлайн-университета Skillbox Вячеслав Архипов.

Рекомендательные системы появились в конце 90-х годов вместе с первыми платформами электронной коммерции — Amazon и Ebay. До 2006 года эти технологии не пользовались популярностью. Но все изменилось 1 октября, когда Netflix, в то время еще занимавшийся прокатом DVD, предложил $1 000 000 за «лучший алгоритм предсказания оценки, которую зритель поставит фильму, на основе предыдущих оценок этого и других зрителей». Конкурс продлился 3 года. Наработки помогли добиться больших успехов в области искусственного интеллекта, машинного обучения и систем рекомендаций.

За 20 лет технической революции задачи систем рекомендаций не изменились. Все также — удержание внимания и побуждение к целевому действию. Для этого используются прогностические методы, в основе которых лежит machine learning.

Самые популярные — фильтрация по содержимому (content-based filtering) и совместная фильтрация (collaborative filtering).

Система, архитектура которой основана на фильтрации по содержимому, выдает рекомендации на основе сходства признаков предмета и предпочтений людей. Например, пользователь онлайн-кинотеатра ставит высокие оценки научной фантастике и низкие драматическим фильмам. Система извлекает информацию и в дальнейшем рекомендует человеку научную фантастику и схожие жанры.

При совместной фильтрации система составляет прогноз на основе поведения человека. Яркий пример такой рекомендательной системы — TikTok. Сразу после регистрации в ленте приложения показывается рандомный контент. Алгоритм изучает какой вид контент пользователь сразу пролистывает, какой просматривает до конца, какому ставит лайки и какой комментирует. По итогу получается идеальная «машина времени»: зашел на 5 минут, вышел через 3 часа.

Возможны и более сложные модели. Например, в Netflix встроены 27 рекомендательных алгоритмов.

Предположим, алгоритм считывает информацию о фильме: жанр, год выпуска, режиссер, главные актеры. А потом данные о человеке: смотрел ли он еще картины этого режиссера, какие жанры обычно предпочитает. В простом варианте человеку, который любит фильмы про викторианскую эпоху, понравятся все исторические фильмы в целом. Но более сложные алгоритмы анализируют данные.

AI определяет человека в определенную группу зрителей, потому что он реагирует на определенные фильмы так, как и другие члены этой группы. Похожим образом прогнозируется его реакция на весь контент. Искусственный интеллект понимает интересы целых аудиторий.

Рекомендательные системы сейчас встроены в большинство клиентских платформ: интернет-магазины, маркетплейсы, сервисы доставки, стриминговые и мультимедийные сервисы, приложения банков, соцсети, такси. Трудно представить условный ASOS без блока «вам также может понравиться».

Вопрос в том, действительно ли в рекомендованное попадает то, что идеально подходит пользователю. И да, и нет. Онлайн-сервисы разрабатывают коммерческие схемы использования систем, где монетизируется рейтинг, положение баннера, сообщение об услугах. И платное будет всегда выше бесплатного. Естественно, с учетом предпочтений. Spotify так продвигает музыку лейблов. А в маркетплейсах, как и в оффлайн супермаркетах, самое просматриваемое место занято теми, кто больше заплатил.

Иногда откровенная коммерция лишает продукт «удобности». Так было с умной лентой Инстаграма, которая должны была изучать активность и формировать карту интересов. На практике — улучшилась только система таргетированной рекламы. Контент подписок теперь показывается без какой-либо закономерности. За то появились активные слухи о том, что Инстаграм подслушивает разговоры оффлайн и использует для таргетинга рекламы. Якобы пользователи стали замечать рекламу товаров и услуг, которые обсуждали с друзьями, но никогда не искали в интернет. Если что Цукерберг клялся в Сенате, что это неправда.

В сентябре 2020 года на Netflix вышел документальный фильм «Социальная дилемма». Сюжетом фильма стал этический спор об алгоритмах социальных медиа и их вреде обществу. В нем бывшие сотрудники техногигантов рассказывают, как соцсети негативно влияют на психическое здоровье, как вызывают зависимости, как способствуют распространению фейков и теорий заговора. Главным товаром соцсетей называют человеческое внимание, которым манипулируют с цель продать больше рекламы. Вышло очень пугающе и техно-пессимистично.

Правда становится не так грустно, когда понимаешь, что сам Netflix использует алгоритмы, которые увеличивают количество просматриваемого контента на 40%. А CEO стримингового сервиса Рид Хастингс в интервью говорит о том, что их «главный конкурент — это сон».

В Facebook заметили, что «Социальная дилемма» не раскрывает суть «темной стороны» соцсетей, а провоцирует аудиторию перед выборами президента США.

Но если обобщить, посыл фильма — верный. Достаточно много исследований подтверждают, что интернет-аддикции — не миф. Люди становятся зависимыми от компьютерных игр, серфинга, онлайн-шоппинга, социальных медиа. Некоторые даже сравнивают соцсети с крэком по легкости возникновения зависимости. А там где зависимости, там депрессии, неврозы, проблемы со здоровьем и новые зависимости.

Этот дискурс ведется не первый год. Что и заставляет технологичные компании внедрять концепции гуманного дизайна и осознанного отношения к технологиям. В 2018 году Apple, к примеру, придумала функцию «Экранное время», призванную ограничить использование приложений на смартфоне. А Facebook пишет, что ценность и безопасность пользователей превыше всего. Справедливости ради стоит сказать, что и Google, и Facebook стараются бороться с дезинформацией. Контент, который вводит в заблуждение относительно вакцин, коронавируса, выборов, незамедлительно удаляется.

Но казалось бы, при чем здесь рекомендательные системы.

Ежедневно миллионы людей ищут в интернете фильмы, одежду, технику, услуги. Или ничего не ищут, а просто читают медиа и просматривают соцсети. Но то, какую информацию пользователи получают в большой степени зависит от алгоритмов рекомендательных систем. Они формируют ленты новостей; предлагают рекламу; советуют видео, товары и даже партнеров для отношений (вспоминается эпизод «Черного зеркала»). Все это формирует нашу картину мира. И иногда она далека от реальности, как в упомянутом сериале. Очевидно, что большими компаниями не движет альтруизм. Их цель — прибыль. Поэтому алгоритмы построены так, чтобы человек больше потреблял контента, больше покупал, дольше сидел в соцсетях. Плюс алгоритм всегда отражает мнение создателя. Как в скандале с удалением в Twitter провокационной статьи New York Post о сыне Джо Байдена.

Но как и многие вещи в современном мире, технологии амбивалентны. Их приход облегчил бытовую сторону жизни. Любой товар или услуга в два клика заказывается со смартфона, а рекомендательные системы способны облегчить выбор. Вроде ничего такого, но, как выяснили ученые, избыток выбора увеличивает когнитивную нагрузку на мозг. А по оценкам психолога Барри Шварца, разнообразие парализует волю и делает человека несчастнее.

Пандемия коронавируса вообще поделила жизнь на до и после, заставив сервисы поменяться за считанные недели. Магазины закрыты — вот вам виртуальная примерка. Косметику не протестировать — вот вам виртуальный макияж.

Белорусский AR-стартап Banuba развивает SDK для разработчиков. Один из продуктов — распознаватель лица: сама модель и возможность что-то с ней делать. Например, сервис примерки очков, чтобы пользователь мог выбрать подходящую модель. Полезная опция во времена пандемии, когда лучше сидеть дома и не рисковать здоровьем. Выбрал очки перед монитором, заказал и оплатил на сайте. Никаких лишних контактов. Также это может быть персонификация геймплея за счет тематических масок для социальных игр, где есть групповой видеозвонок или повышение приватности при видеоконференциях за счет замены фона, как в Zoom. Ну или бесконтактный интерфейс, что тоже актуально в период пандемии.

Рекомендательные системы оказались полезными и в медицине. К примеру, они могут находить новые соединения активных веществ для лекарств, а также находить новые свойства у клинически одобренных лекарств.

Впрочем, можно бесконечно спорить об этичности рекомендательных алгоритмов. Находить тысячи плюсов и минусов. Но вопрос лежит в плоскости ответственности человека и его осознанного подхода к жизни. Необязательно брать в кредит все продукты из списка «вам может пригодиться» или смотреть тренды Youtube ночь напролет. Технологии изменили человечество, но не стали им управлять.