Рассвет рекомендательных систем на базе Deep Learning

Все больше брендов в разных бизнес-нишах продолжают внедрять Deep Learning системы. Узнайте больше о том, как они используются для товарных рекомендаций, увеличивая выручку и делая персонализированным опыт каждого потребителя.

Будущее персонализированного контента и товарных рекомендаций будет в значительной степени определяться глубоким машинным обучением (Deep Learning) и его способностью предсказывать максимально подходящий товар для каждого индивидуального пользователя.

В этой статье мы расскажем о некоторых основных концепциях, лежащих в основе Deep Learning. Вы узнаете, почему этот инструмент начинает приобретать все большую популярность и как его воплощение на основе алгоритмов обработки естественного языка (NLP) помогает применить эту технологию к задаче рекомендательной системы.

В последнее десятилетие научный мир «шумел» от огромного успеха методов глубокого машинного обучения (Deep Learning), играющих важную роль в развитии возможностей искусственного интеллекта. Наиболее заметные из этих инноваций стали возможны благодаря использованию методов компьютерного зрения (Computer Vision) и обработки данных на естественном языке (NLP).

Deep Learning — это тип машинного обучения (Machine Learning), в котором используются алгоритмы, вдохновленные структурой и функциями человеческого мозга. Когда ученые говорят о Deep Learning, они имеют в виду семейство алгоритмов, которые абстрактно выглядят и работают так же, как это делает человеческая нейронная сеть. По сути, существует несколько нейронных узлов, соединенных между собой подобно паутине, каждый из которых получает входящую информацию, обрабатывает ее, а затем выводит обработанную информацию на близлежащие узлы.

Архитектура всех Deep Learning моделей включает в себя многослойную структуру, каждый слой которой состоит из узлов, выполняющих определенную математическую операцию, которая называется функцией активации.

Обычно различают три типа слоев: входящий, скрытый и выходящий (рис. 1).

Существует множество причин, по которым Deep Learning становится все более распространенным, первая из которых — это значительное объединение вычислительных мощностей, необходимых для Deep Learning, и последовательный рост мощности облачных решений.

В то время как подавляющее большинство традиционных моделей машинного обучения анализирует данные линейным способом, архитектура системы Deep Learning позволяет обрабатывать данные нелинейным способом. Это дает Deep Learning алгоритмам возможность более эффективного извлечения ценной информации из имеющихся данных.

Но самое большое преимущество Deep Learning — способность автоматически выстраивать дополнительные функции. Функциями являются такие переменные, как возраст, регион, день недели и т.д., которые используются для прогнозирования поведения (например, покупки). В отличие от традиционного машинного обучения, Deep Learning строит много новых функций, основанных на различных, часто необъяснимых комбинациях из исходного набора заданных функций, именуемых «черным ящиком».

Среди основных причин, но только при наличии достаточного количества данных, алгоритмы Deep Learning имеют преимущество перед традиционными алгоритмами машинного обучения, которые требуют меньшего объема данных и поэтому во многих случаях являются предпочтительными.

Deep Learning решения требует больше времени на обучение, и, как следствие, появляется более высокая нагрузка на систему для обработки требуемых вычислений, что может привести к увеличению нагрузки на серверы. Наконец, интерпретация решений, основанных на Deep Learning, ниже, чем у классических алгоритмов машинного обучения, поскольку множественные преобразования в процессе моделирования затрудняют понимание прямого влияния входящей информации на конечный результат.

В последнее время, благодаря совершенной аналогии между естественной обработкой языка и рекомендательными системами, Deep Learning подход шагнул в мир рекомендательных архитектур. Оба этих направления имеют последовательный характер и стремятся понять, каким должен быть следующий естественный элемент (товар) в цепочке пользовательского поведения.

Рассмотрим функцию Gmail Smart Compose, которая уже доказала свою эффективность в части используемого Deep Learning механизма при прогнозировании следующего слова в предложении. Теперь представьте себе, что каждое слово, набранное при составлении электронного письма, представляет собой список продуктов, с которыми взаимодействовал посетитель, — ту же самую концепцию можно применить и к рекомендациям. И хотя это становится чрезвычайно мощным инструментом для eCommerce брендов, это только начало — у данного решения огромный спектр возможностей, чтобы решать проблемы рекомендаций в большом океане данных.

Способность Deep Learning алгоритмов к изучению нелинейных и нестандартных взаимодействий пользователей с продуктами, а также обогащение этих данных дополнительной информацией делает этот инструмент практически безграничным, предоставляя рекомендации такого качества, которое до сих пор не было достигнуто в отрасли.

Такая информация включает в себя, но не ограничивается следующими данными:

Контекстные — день, погода, новизна, тип взаимодействия, цена товара, тип страницы

Текстовые — ключевые слова и отзывы о продукте, поисковые запросы пользователя

Визуальные — визуальное сходство между продуктами

Анализ текущих Deep Learning разработок и их использование в обогащении рекомендательных систем можно разделить на три категории:

Долгое время за стандарт в индустрии в качестве основного подхода для предоставления персонализированных рекомендаций была принята коллаборативная фильтрация. Если пользователь по имени Анна проявляет интерес к пунктам A и B, а другие пользователи имеют дело с пунктами A, B и C, коллаборативная фильтрация признает высокую вероятность того, что Анна будет также заинтересована в пункте C (рис. 2).

Но, несмотря на широкое применение коллаборативной фильтрации, которая способна точно рекомендовать широкий ассортимент продукции без необходимости понимать суть конкретного товара, Deep Learning подход обеспечивает совершенно новый уровень рекомендаций за счет более сложного и глубокого анализа.

Заимствуя технологию естественного обучения, называемую word2vec, или item2vec (термин для eCommerce), алгоритмы Deep Learning используют данные о совпадениях в последовательностях товаров, с которыми взаимодействовали разные пользователи (вместо того, чтобы опираться на некие формальные атрибуты товаров в каталоге или профиле пользователя), в результате чего, в целом, генерируют такие рекомендации, которые гораздо точнее угадывают то, что понравится пользователю.

Item2vec алгоритмы основаны на Deep Learning и имеют ряд технических преимуществ:

И еще немного о том, как это работает.

С помощью item2vec товар может быть выведен из контекста – то есть того, в окружении каких других товаров данный товар чаще всего встречается при просмотре товаров теми или иными пользователями. Схожее окружение двух товаров (или схожая последовательность просмотренных товаров, в которых эти два товара встречаются) означает некое сходство этих товаров с точки зрения паттерна покупательского поведения пользователей с такими схожими последовательностями.

Теперь, когда каждый товар в каталоге представлен числовым вектором, а векторное сходство отражает контекстное сходство товаров, мы готовы «сервировать» основное «блюдо» с наиболее релевантными товарами, исходя из интересов пользователя в последнее время.

Это легко сделать, найдя товары с векторным сходством, похожим на векторы товаров, с которыми взаимодействовали в последнее время. Такое сходство между векторами называется косинусным сходством, и поскольку товары с наибольшим косинусным сходством, вероятно, будут очень релевантными, их следует рекомендовать пользователю.

Сегодня компаниям необходимо лучше прогнозировать следующий лучший продукт или контент для каждого индивидуального пользователя и в режиме реального времени рекомендовать подходящие товары, если они хотят повысить качество обслуживания клиентов и увеличивать выручку.

По мере того, как мир продолжает двигаться в направлении использования этих алгоритмов, мы ожидаем, что в самом ближайшем будущем Deep Learning станет стратегией, заменяющей ограниченные возможности коллаборативной фильтрации на более персонализированные рекомендации.

#персонализация #dynamicyield #deeplearning