👗Решение проблемы рекомендаций для новых товаров в Fashion retail
Долго думал о том какую доку разобрать и в итоге выбрал исследование от экспертов Amazon с крутым подходом к применению LLM в качестве агента по выдачи рекомендаций, что позволяет думать о применении хайповой технологии не только в виде чат-бота для ответа на любые вопросы, но и применять точечно для решения старых болей в традиционных нишах. Уверен, что подобный подход релевантен не только для fashion сферы, но и может пригодится для FMCG и других ритейлеров, а также при решении других задач с помощью поиска похожих товаров, так как "похожий товар" - это нечто большее, чем совпадение атрибутов.
В исследовании представлена вариант решения проблемы выдачи рекомендаций на товары новинки, которые не имеют истории просмотров и продаж.
Проблемы:
- Высокая текучка ассортимента: Fashion-рынок добавляет миллионы новых товаров каждый месяц (до 3 млн на Amazon Fashion), из-за чего данные о взаимодействиях с новыми позициями часто отсутствуют.
- Долгое время сравнения товаров на сайте: Покупатели в fashion-сегменте проводят на 55% больше времени, просматривая товарные позиции, чем в других категориях (например, электроника). Это не выглядит оптимальным путём клиента по совершению покупок.
- Количество сезонных атрибутов: Выбор товара часто зависит от атрибутов, связанных с сезоном, событием или праздником, что усиливает требование к понимаю контекста клиентских запросов.
- Высокое разнообразие поисковых запросов: Поисковые запросы в fashion-сегменте разнообразнее в среднем в 2,6 раз, чем в электронике, и из-за чего текущие алгоритмы рекомендаций не удовлетворяют клиентов.
Для точных рекомендаций в fashion-ритейле исследователи разработали трехуровневую систему на базе больших языковых моделей (LLM), которая учитывает специфику модного сегмента и проблему «холодного старта». Вот как устроен процесс:
Создание промптов для LLM
На первом этапе подготавливаются данные и промпты:
Подготовка промптов: промпты формулируют инструкцию для LLM, чтобы она могла корректно анализировать информацию о товарах. Эти промпты учитывают уникальные атрибуты fashion-сегмента, например, сезонные предпочтения, что помогает алгоритму учитывать актуальность товаров для определенного времени года или случая.
Модуль «запрос-товар» (Query-Product Memory Module):
- Сохраняет связи между часто используемыми запросами и списком популярных товаров для этих запросов. Благодаря этому LLM может быстро выдавать товары, которые чаще всего соответствуют интересам пользователей.
- CLIP-модель: CLIP (Contrastive Language-Image Pretraining) используется для преобразования текстовых запросов в векторные представления (эмбеддинги), что позволяет системе находить запросы с похожим смыслом и объединять их. Это важно для создания универсальных и контекстно-понимающих промптов, которые направляют LLM в задаче рекомендаций.
Обучение и настройка модели
На этом этапе модель обучается и оптимизируются параметры модели, чтобы LLM могла эффективно работать с минимальными затратами ресурсов.
Обучение происходит на данных:
- Промпты: каждый промпт имеет задачу - создать рекомендацию товара.
- Последовательности действий клиентов: учитываются такие действия как поиск, просмотр и покупка.
- Атрибуты товаров: цвет, сезон, бренд, размер, стиль и другие.
- Связи "запрос-товар": дают информацию для LLM о том, что искали и что в итоге купили.
Как происходит оптимизация параметров:
- Low-Rank Adaptation (LoRA): метод, позволяющий адаптировать параметры модели для рекомендаций, минимизируя нагрузку на систему. LoRA упрощает настройку LLM и снижает затраты на обучение.
- Квантование (QLoRA): снижает объем потребляемой памяти, сохраняя точность рекомендаций. Эта техника делает LLM доступной для более быстрой обработки.
- Обучение с учетом сложных промптов: промпты, которые модели сложнее интерпретировать, проходят дополнительные циклы обучения. Это улучшает точность рекомендаций в нестандартных ситуациях, когда требуется высокий уровень понимания запросов.
Поиск и ранжирование выдачи рекомендаций
На последнем этапе алгоритм подмешивает к товарам с историей взаимодействия новые товары на основании семантической близости:
- Названия товаров: с помощью LSTM-модели названия товаров превращаются в эмбеддинги (векторы), которые LLM использует для поиска смысловой близости между товарами.
- Номера товаров: модель преобразует связи "товар-последовательность действий клиентов" в эмбеддинги (векторы). Это что позволяет учитывать индивидуальные характеристики товаров в поиске, например, частоту покупок и связи с другими товарами.
- Микшированный поиск: система использует оба метода — сначала выбирает популярные товары по номеру товара, а затем добавляет похожие по смыслу товары. Это помогает рекомендовать как проверенные, так и новые товары, которые соответствуют запросу, тем самым решая проблему "холодного старта" для товаров новинок.
Результаты экспериментов
- Улучшение метрик точности: В тестах на разных категориях точность рекомендации выросла до 30%, особенно на сложных выборках, где важна смысловая близость, например, одежда и аксессуары.
- Эффективность в условиях «холодного старта»: Текстовые эмбеддинги доказали свою результативность для рекомендаций товаров, с которыми система еще не работала, превзойдя традиционные подходы.
- Zero-shot обучение: LLM смогла адаптироваться к новым запросам без необходимости переобучения на каждом новом наборе данных, благодаря встроенной поддержке обобщения на основе языковых моделей.
"Sequential LLM Framework for Fashion Recommendation" arXiv:2410.11327v1 [cs.IR] 15 Oct 2024
Больше ежедневных статей и ссылок на материалы в телеграм-канале: