Кто решает за нас, что мы будем смотреть?

Команда онлайн-кинотеатра KION рассказывает, как работает система рекомендаций на платформе и управляет процессами, о которых многие не задумывались.

Искусственный интеллект управляет нашим выбором на многих сервисах, потому что именно с помощью этой технологии построены системы рекомендаций. Все давно привыкли к умным колонкам, проложенным маршрутам без пробок в навигаторе и даже к рекламе, которая попадает точно в потребность: вчера загуглил - сегодня получил рекламное предложение. Искусственный интеллект даже помогает повышать показатели сервисов: по данным Центра Big Data МТС, в 2021 пользователи в 1,5 раза чаще кликали на предлагаемый контент, что позволило на 30% увеличить продолжительность просмотра.

При чем тут искусственный интеллект?

Современные OTT-сервисы (OTT - технология Over the Top, метод доставки контента по сети Интернет) используют ИИ буквально во всех частях работы. Технология применяется при подготовке контента, публикации, вещании, в работе с изображениями и звуком, и даже умеет генерировать постеры к фильмам и сериалам. Но главное — искусственный интеллект лежит в основе системы рекомендаций, и это один из ключевых инструментов привлечения, удержания и побуждения зрителя. Основной принцип искусственного интеллекта в системе рекомендаций — это правильный подбор контента для конкретного пользователя.

KION персонализирует контент для каждого зрителя сразу после регистрации. Данные, которые указал пользователь при входе, анализируются, на их основе система подбирает релевантный контент — например, исходя из возраста или города. Дальше система обучается и подстраивается под человека. Чем чаще он пользуется приложением или сайтом, тем более подходящий контент получает в рекомендациях и на основной странице.

«Релевантность» в нашем случае — не только «схожесть» с тем, что пользователь смотрел раньше. Кинотеатр в разных пропорциях предлагает как похожие на просмотренный контент фильмы и сериалы, так и популярные хиты, новинки нетипичных жанров, событийный контент — всё, что может привлечь зрителя.

Кто формирует нашу ленту рекомендаций?

Главная задача искусственного интеллекта в системе рекомендаций онлайн-кинотеатра — правильно подобрать фильмы и сериалы для каждого конкретного пользователя. Её выполняют алгоритмы, которые анализируют зрителя и его поведение, а также весь контент на сайте.

Мы используем несколько алгоритмов: и простые эвристики, то есть практические методы решения поставленных задач, (например, вычисление популярности внутри сегмента пользователей), и сложные нейросетевые подходы, которые используются в распознавании образов, построении прогнозов и многом другом. Все эти алгоритмы анализируют колоссальный объем самой разнообразной информации, например, продолжительность просмотра контента, наиболее популярные жанры, возраст, пол и другие обезличенные данные пользователей.

В основе алгоритмов рекомендаций используется прогнозная модель, которая позволяет заранее предсказывать, как будет себя вести зритель и как отреагирует на определенные параметры. Это помогает выбирать и рекомендовать тот контент, который ему точно «зайдет». При этом чем большее количество пользователей уже по разным параметрам проанализировано, чем больше данных о них собрано, тем качественнее и точнее рекомендации.

Почему данные важнее алгоритмов?

Самая важная задача в построении системы рекомендаций — это не алгоритмы и написание кодов для них, а сбор «правильных данных» о пользователях, которые помогут точно обучить модель. Имея самый лучший алгоритм, но мало правильных данных для тренировки и обучения, система заведомо покажет результат хуже, чем при наличии плохого низкокачественного алгоритма, но большого количества стратегических данных, доступных для обучения.

Что мы понимаем под «правильными» данными? В мире больших данных любой шаг пользователя в секунду времени становится «биг датой», которая формируется в каждый момент нашей жизни. Эти данные собирают множество систем, но с точки зрения построения систем рекомендаций важны определенные данные. Это просмотры, история навигации, а также обезличенные данные пользователей — та информация, которую можно «добыть» из дополнительных источников. На базе этих факторов строятся модели, которые позволяют делать хорошее прогнозирование.

90% всего рабочего времени технологии тратится именно на тренировку и обучение моделей. Условно, написание кода в ИИ занимает всего 10% времени, все остальное — это работа с данными и формирование на их базе хороших моделей.

С этой точки зрения у телекомов есть большой плюс: в отличие от других игроков, они обладают уже накопленными обезличенными данными о пользователях. Это позволяет сервисам решить проблему «холодного старта», то есть сформировать первую витрину рекомендаций под человека при первом запуске, когда пользователь еще ничего не посмотрел на данной платформе, но ему уже подобран контент, который скорее всего его привлечет и удержит.

Как анализируют контент?

Подборка данных Big Data для рекомендаций — это первая часть работы технологии искусственного интеллекта. Затем ИИ ранжирует контент исходя из проанализированных данных и выгружает наиболее подходящих кандидатов в верхнюю часть выдачи рекомендаций. После этого в дело вступают модели, связанные с коллаборативной фильтрацией, то есть поиском людей максимально похожих на пользователя, и моделей, которые анализируют свойства контента и подбирают подходящие варианты.

Схематично работу системы рекомендаций можно описать так. Сначала каждая единица контента типизируется по нескольким группам признаков: во-первых, это мета-информация контента — жанры, режиссер, год, страна, теги; во-вторых, коллаборативные признаки взаимодействия пользователей и контента — клики, просмотры и т.д.; и наконец, признаки видеоряда с использованием computer vision (например, когда технология находит и определяет предметы по тегам). Дальше эти признаки складываются в вектора и хранятся в предрассчитанном виде для дальнейшего расчета, как определенные шаблоны.

Каждого пользователя также можно представить в векторном пространстве: через взаимодействия с контентом, например, что смотрел, куда кликал, что досматривал до конца, а также в рамках вероятностной модели, определяющей пол, возраст, регион.

И в тот момент, когда пользователь приходит к нам за рекомендациями, например, открывает витрину кинотеатра, мы сопоставляем вектора этого пользователя и контента. Контент, вектор которого «ближе» к нашему пользователю, считается наиболее вероятным для пользователя, и мы его ранжируем выше.

Сочетание технологий и креативности

Технологии ИИ не всемогущи и заменить креативность людей пока не научились — у искусственного интеллекта, все же, нет интеллекта эмоционального. Он способен эффективно решать задачи, но не может их ставить. И с точки зрения рекомендаций контента нужно понимать, что это всегда битва искусственного интеллекта с человеческой креативностью. Редакторские подборки в онлайн-кинотеатрах не менее важны, чем автоматизированные системы рекомендаций.

Редакторы по сути используют тот же «механизм» — анализируют накопленные данные, свой опыт и прочее. Но в этом выборе больше эмоций и знания о человеке и его природе. В таких случаях выверенная искусственным интеллектом модель подсказок в сочетании творческой интуицией редактора дает наилучшие результаты.