Хорошая рекомендация – высокоточная рекомендация

Как улучшить работу рекомендательных сервисов, которые предлагают контент, основываясь на наших предпочтениях? Какую роль здесь играет ИИ, и почему, несмотря на все свое развитие, технология все еще ошибается?

Меня зовут Илья Лысенко, я отвечаю за создание и развитие ИИ-сервисов в AdTech-экосистеме Hybrid. В феврале я принял участие в онлайн-дискуссии «ИИ и ML в управлении пользовательским опытом: использование ИИ для анализа поведения». Самыми интересными фактами делюсь в статье.

Рекомендательные движки – стандартная составляющая различных контент-платформ. Они помогают выбрать между комедией и драмой, подсказывают нам новинки в мире музыки или советуют ту или иную книгу по итогам анализа истории прочтений. И часто ошибаются, поскольку механизмы искусственного интеллекта (ИИ), на базе которых работают эти советчики, крайне несовершенны.

Применение ИИ для оценки поведенческих особенностей пользователей – проблема сложная, и с ней сегодня знакомы многие, – те, кто разрабатывает онлайн-кинотеатры, стриминговые платформы и другие сервисы, которые оценивают поведение и предпочтения.

Идеала не существует – различные модели по-разному оценивают поведение пользователей, используют собственные алгоритмы анализа и работают с разной же результативностью. Несмотря на то, что такие системы существуют уже много лет, они находятся на начальном этапе развития, а о массовом их внедрении пока не приходится говорить.

Мы переживаем первый этап развития интеллектуальных систем оценки поведения пользователей – период проб и тестирования, первых, скорее тестовых внедрений. Иными словами – такие системы уже существуют, но значительного влияния на бизнес они не оказывают.

И для того, чтобы благодаря таким решениям, бизнес начал получать ощутимую пользу (а лучше – прибыль), они должны серьезно развиваться дальше. В первую очередь с точки зрения совершенствования интеллектуальных моделей, которые оценивают поведение и предпочтения пользователей.

При этом нельзя сказать, что рекомендательные системы на базе ИИ совсем не совершенны. В распоряжении компаний, которые их развивают, уже есть достаточные вычислительные мощности, которые способны обеспечить их работу на определенном уровне. Есть и модели, на базе которых можно проводить эффективный анализ.

Более того, есть даже практические результаты, где такие системы демонстрируют ощутимую эффективность. Но все это не дает пока оснований для того, чтобы назвать, с определенным допущением, рекомендательные ИИ-сервисы достаточно совершенными.

Различные компании сегодня тестируют несколько алгоритмов искусственного интеллекта в перспективе их бизнес-логики, – результативности при достижении тех или иных показателей. Однако высший порог их эффективности редко превышает 60%. Дело в том, что в зависимости от контента, отличаются и модели его потребления, и основания для оценки привлекательности. К примеру, оценка книг сравнительно простота, – она всегда опирается на мнение одного единственного пользователя, а критерии достаточно легко классифицируются.

В случае с видеоконтентом задача усложняется: пользователи часто смотрят фильмы не в одиночестве, а как минимум вдвоем, и каждый участник просмотра имеет свое мнение о качестве контента и его привлекательности. При этом доступ к этому контенту все пользователи получают в рамках одного сеанса подключения.

Это обстоятельство «ломает» алгоритм оценки. А ведь есть еще редакторская составляющая, требования правообладателей, коммерческое влияние, необходимость четкой классификации пользователей.

Минимизировать влияние этих переменных можно при помощи специальных подборок контента, которые предлагаются пользователям, данные о которых прошли сложную классификацию (ведь даже люди одного возраста достаточно серьезно отличаются по своим контентным предпочтениям).

Именно в рамках таких подборок, – коллекций, витрин контента, – и тестируются алгоритмы рекомендательных сервисов, когда для дальнейшего применения отбираются только те, которые демонстрируют свою эффективность.

Иными словами, в основе несовершенства ИИ-моделей рекомендательных сервисов лежит скорее не технический изъян, а недостаток труда операторов, которые занимаются применением моделей, планированием их развития и оценкой эффективности. Сложность этой работы определяется тем, что оценка пользовательских предпочтений всегда субъективна.

Если механизмы ИИ способны проанализировать предыдущие выборы пользователя, то им недоступна информация о его сегодняшнем настроении, ситуации в семье и на работе. А эти, как и множество других факторов, во многом и определяют выбор контента в конкретный момент, и классифицировать их с абсолютной или хотя бы с высокой точностью практически невозможно.

Еще одна частая причина ошибок – возможные перерывы в использовании сервиса, в которые в жизни пользователя могут происходить различные события, которые отражаются на его ментальном состоянии. При этом события могут быть самыми разными, приятными (свадьба, рождение ребенка) или, наоборот, трагичными. И они могут предопределять состояние человека и его вкусы на очень долгое время.

Конечно, ИИ-модели могут проанализировать множество параметров, от сюжета фильма или книги, концовки, моральных установок автора, даже музыки, используемой в саундтреке или тембра голоса исполнителя. Но все это – данные, касающиеся контента, а не самого человека.

Поэтому для того, чтобы выдавать высокоточные рекомендации, ИИ нужно анализировать не принадлежность пользователя к возрастным или социальным группам, не его вкусы и предпочтения, а всю его текущую жизнь. Что, в принципе, не представляется возможным, – соответствующих данных ни один сервис не получит никогда.

Но стоит учитывать тот факт, что любая модель создается исходя из бизнес-потребностей. Если она предназначена для выдачи рекомендаций пользователям, то она будет максимально точной только для той выборки, на которую она ориентирована: молодых мужчин, женщин среднего возраста и т.п. «Неугадываение» предпочтений пользователей такими моделями – скорее исключение. Но оно может быть оправданием только в рамках той бизнес-модели, где используются ИИ-механизмы».

Единственный способ повышения эффективности ИИ-алгоритмов рекомендательных систем – радикальное увеличение объемов данных, которыми они оперируют. Учитывая, что этот объем, находящийся в распоряжении отдельных сервисов, ограничен, сделать это можно только путем обогащения данными из внешних источников.

Такие данные имеются. Тот же «Яндекс» располагает информацией о наших передвижениях (такси, навигация), предпочтениях в еде (служба доставки), покупках (маркетплейс). Данные о покупках имеются и у других многочисленных экосистем и маркетплейсов. Они могут значительно обогатить те массивы, которыми располагают развлекательные интернет-сервисы.

Таким образом, практически единственный возможный путь технологического развития ИИ-сервисов, анализирующих пользовательские предпочтения – работа с большими данными и обогащение ими используемых моделей. Для этого необходимы и соответствующие инструменты, и вычислительные мощности, которые значительно больше тех, что имеются в распоряжении компаний сегодня.

Есть и еще две проблемы – алгоритмы, которые должны быть разработаны для работы с большими данными, и люди, которые эти алгоритмы создают и применяют.

К слову, примерно те же запросы сегодня есть и в оффлайне. Ритейлеры пытаются анализировать поведение покупателей в торговых залах: как они перемещаются, где они останавливаются, как рассматривают выставленный товар, на что обращают внимание и т.п.

При этом игроки розницы находятся примерно в той же самой ситуации, что и интернет-сервисы. Они имеют в своем распоряжении тоже только один срез данных, – данные о покупках, которые совершены участниками программ лояльности.

Означает ли это, что ожидать в обозримом будущем повышения эффективности рекомендательных ИИ-систем не стоит? Нет.

Первая ласточка в развитии таких систем уже появилась: в феврале Amazon запустила консультанта по покупкам, Rufus. Пока он существует в форме чат-бота и доступен не всем покупателям даже на территории США. Но опыт крупнейшего онлайн-ритейлера показывает, что задача использования bigdata в системах искусственного интеллекта для поведенческого анализа и предпочтений вполне реализуема.

Правда, не стоит забывать о том, что Amazon одновременно – один из ведущих облачных провайдеров и может позволить себе использовать собственную инфраструктуру для обогащения и обработки супер-больших массивов данных.

Спонсорство трека, чиллаут-зоны и подобные проекты реализует Яндекс Cloud.

***

Эра рекомендательных систем на базе ИИ обещает значительные преимущества для бизнеса и пользователей, хотя и сталкивается в своем развитии с рядом вызовов.

Бизнес может получать пользу от ИИ-рекомендаций по-разному. Один класс таких инструментов способен просто оптимизировать расходы. Второй - значительно улучшать взаимодействие пользователей с продуктом. Третий также раскрывает новые потребности, которые без применения ИИ оставались бы невыявленными и неудовлетворенными.

По мере накопления данных и развития технологий, ИИ-движки будут только совершенствоваться, предлагая все более точные и персонализированные рекомендации.

Сотрудничество различных отраслей для обмена данными и разработка новых подходов к обработке больших объемов информации откроют новые горизонты для ИИ в предвосхищении и удовлетворении потребностей рынка, принося значительную пользу бизнесу и конечным пользователям.