Технологии распознавания в сети «Ярче»: как «умные весы» меняют работу на кассе

В сети магазинов «Ярче» мы постоянно внедряем инновации для удобства покупателей и эффективности сотрудников. Сегодня расскажем об одной из разработок — системе компьютерного зрения SmartScales для автоматического распознавания весового товара на кассе.

Проблема, которую мы решаем

Весовые товары составляют около 20% всех транзакций в наших магазинах. Это фрукты, овощи, ягоды, конфеты, драже, мармелад. Исторически их пробитие на кассе - одна из самых медленных операций:

· Среднее время ручного поиска: 4-6 секунд (а для новинок или неопытного кассира — до нескольких минут).

· Риск ошибки: усталость или невнимательность кассира могла привести к пересорту и финансовым потерям.

Мы решили автоматизировать этот процесс, чтобы ускорить обслуживание и снизить нагрузку на кассиров.

Как работает технология SmartScales?

На кассовых блоках установлены камеры, направленные на весы. Когда кассир кладет товар, происходит следующее:

1. Захват изображения: камера делает снимок товара.

2. Анализ и распознавание: нейросеть в реальном времени анализирует изображение, определяя тип продукта.

3. Интеллектуальный вывод: система не просто показывает один вариант, а предлагает короткий список товаров (до трех), которые больше всего похожи на лежащий на весах. Для повышения точности она учитывает актуальные остатки в конкретном магазине.

4. Подтверждение: кассиру остается лишь выбрать нужную позицию из короткого списка.

Результат: время распознавания сократилось до 1-2 секунд, а процесс стал менее подвержен человеческим ошибкам.

В основе SmartScales лежит современная архитектура компьютерного зрения. Ключевую роль в ней играет модель YOLO (You Only Look Once), известная своей скоростью и точностью.

Сбор и разметка изображений для обучения нашей кастомной модели осуществляется автоматически при пробитии товара на кассе.

Почему мы разработали собственное решение?

На рынке есть предложения, но они не подошли нам по ключевым параметрам:

· Архитектурные различия: Конкуренты часто предлагают монолитные кассовые блоки «касса+весы», что упрощает распознавание, но дорого в обслуживании. Наша сеть использует гибкую архитектуру с раздельными компонентами.

· Интеграция: Наш собственный кассовый софт разрабатывается внутренней командой MagDevelopment. Готовая система потребовала бы глубокой и дорогой интеграции, тогда как наше решение мы интегрировали легко и быстро.

· Гибкость: Мы смогли учесть все нюансы: разные ракурсы камер, типы весов, возможность их сдвига, работу с товарами в пакетах.

Точность распознавания и особенности

Система успешно справляется с большинством товаров. Точность варьируется в зависимости от категории:

Конфеты |============= (95%)

Бананы |============ (96%)

Огурцы |============ (95%)

Капуста/Кабачки |============== (99%)

Морковь |=========== (92%)

Лук репчатый |========== (89%)

Свёкла |======== (88%)

Перец красный |======== (88%)

Система анализирует остатки в магазине и предлагает в первую очередь те позиции, которые есть в наличии. Это резко повышает точность в сложных случаях (например, с яблоками или томатами, где много визуально похожих сортов).

Важная особенность: система одинаково хорошо распознает товары как без упаковки, так и в прозрачных пакетах.

Техническая архитектура и метрики

Решение реализовано в виде высокодоступного облачного сервиса на основе микросервисной архитектуры. Это позволило быстро создать MVP и обеспечило легкое масштабирование.

· API: Для взаимодействия используются два основных метода:

1) HTTP POST — для получения данных о товарах и пополнения базы для дообучения модели.

2) HTTP GET — для передачи результата распознавания на кассу.

· Скорость отклика: Менее 1 секунды от нажатия кнопки «взвесить» до появления товара на экране.

· Мониторинг: За контроль производительности отвечает Apdex (Application Performance Index). При деградации сервиса настроены различные сценарии реагирования. Специалисты поддержки получают сигналы в телеграм, а сотрудники магазинов через специальное внутреннее приложение.

В силу специфики нашего решения наиболее частая проблема - это существенный сдвиг весов или камеры относительно друг друга. В таком случае отправляется сигнал в магазин. Однако, как правило, сотрудники сами поправляют уже поправляют оборудование , не дожидаясь сигнала.

Все метрики работы системы собираются в ClickHouse и визуализируются в Yandex DataLens для глубокого анализа.

· Развитие: мы прорабатываем вариант локального размещения сервиса для работы в магазинах с медленным каналом.

Система постоянно самообучается: при появлении новых товаров или падении точности по какому-либо SKU, процесс дообучения запускается автоматически.

Заключение

SmartScales — наглядный пример того, как точечное применение искусственного интеллекта решает конкретные бизнес-задачи: ускоряет работу касс, уменьшает ошибки и разгружает сотрудников.

Для нас внедрение технологий на базе AI — это не просто эксперимент, а рабочий инструмент для повышения операционной эффективности