👔Как обогатить каталог товаров новыми признаками?

Оцифровка реального мира, в том числе и элементов одежды, является трендом, так как на основании оцифровки производить улучшения:
- поиска
- рекомендаций
- оптимизации магазинов и карточек
- прогнозировать спрос
- оптимизировать ассортимент
и другое.

Но есть проблема с тем, что как это делать быстро на основании отчетов о трендах или любых других которые хранятся в формате pdf и содержат много текстовой и визуальной информации, из которой можно извлечь полезные атрибуты для формирования ассортимента.

В октябре в Айдахо в рамках конференции CIRM2024 был представлен подход PAE (Product Attribute Extraction), который использует Walmart.

PAE — это разработанная на базе машинного обучения система, которая способна извлекать атрибуты продуктов из PDF-отчетов с текстом и изображениями. Система сочетает методы обработки текста и компьютерного зрения, что позволяет анализировать такие атрибуты, как цвет, тип изделия, материал и дизайн. В отличие от других решений, которые ограничиваются только текстом или только изображениями, PAE способна работать с документами разного формата, извлекая данные для актуализации каталога и ассортимента.

Схема работы PAE:

1. Извлечение текста из PDF.
PDF-документы сложно обработать, так как они могут содержать неструктурированные данные, например, текст, разделенный на несколько колонок, или уникальные шрифты. PAE преобразует каждую страницу PDF в изображение и затем с помощью OCR (оптического распознавания символов) считывает текст. На этом этапе текст очищается от лишних элементов, таких как аннотации и метаданные, чтобы оставить только релевантное описание.

2. Извлечение изображений из PDF. Визуальные элементы важны для точного понимания модных трендов, особенно когда речь идет об элементах стиля, как форма рукава, длина подола и фактура материала. PAE извлекает изображения с каждой страницы PDF, нормализует их формат и разрешение, чтобы затем проанализировать с помощью компьютерного зрения.

3. Выделение ключевых атрибутов из текста. На основе текста из отчета система выделяет ключевые атрибуты, такие как цвет, материал, стиль рукава и длина изделия. Например, если в описании упоминается «свободный свитер с V-образным вырезом», PAE автоматически определяет это как "тип изделия: свитер" и "форма выреза: V-образный".

4. Выделение атрибутов из изображений. Помимо текста, изображения также содержат важные детали, которые помогают более точно определить параметры. Система анализирует визуальные характеристики, такие как цвет, тип ткани и детали покроя. Для этого используются большие языковые модели (LLM), которым предоставляется закодированное в формате base64 изображение вместе с промптом. Например, если на изображении представлен свитер в крупную клетку с длинными рукавами, PAE определит его цветовую палитру, форму и длину рукава, добавив эти атрибуты к текстовому описанию.

5. Сопоставление атрибутов с каталогом. Извлеченные данные проверяются на соответствие текущему каталогу ритейлера. Если разные варианты одного и того же атрибута (например, «синий» и «небесно-голубой») встречаются в каталоге, система объединяет их в один атрибут для упрощения поиска и стандартизации описаний. В результате каталог автоматически дополняется новыми атрибутами, которые помогут сделать ассортимент более актуальным.

Для оценки работы PAE было проведено несколько экспериментов на реальных наборах данных с отчетами.
Каждый PDF обрабатывался на нескольких уровнях (текст и изображение) для выявления таких атрибутов, как цвет, форма рукава, материал и другие. В результате система показала высокую точность по F1-метрике, достигнув в среднем 96,8% для выделения атрибутов, что существенно выше показателей других решений. Также отмечено, что производительность PAE линейно масштабируется с ростом объема данных, что делает её пригодной для обработки больших каталогов.

Больше ежедневных статей и ссылок на материалы в телеграм-канале: