Зоркий глаз ритейла

О том, как люди учат камеры определять пустое пространство на полке и почему не стоит класть тёмно-синий виноград в чёрный ящик

Зачем вообще нужен искусственный интеллект в ритейле? Это же просто магазины!

Многие уверены, что высокие технологии нужны для «высоких» областей, а в магазине у дома используется только простой ручной труд. На самом деле всё наоборот.

Крупные розничные сети имеют дело с с миллионами товаров в тысячах магазинов, и для таких компаний критически важна автоматизация. Она помогает снизить нагрузку на сотрудников и не допускать пустот на полках. Ведь от заполненности полок прямо зависит доход розничной точки.

А почему это важно? Ну, подумаешь где-то есть пустые места. Продуктов-то всё равно много!

Для покупателей важно, чтобы их любимые товары всегда были на полках магазинов. Кто-то пьёт только молоко «Простоквашино». Кто-то идёт в магазин за глазированным сырком «Б.Ю. Александров». Каждый покупатель должен купить всё, что он задумал, всё, что он хочет в данный момент.

В противном случае покупатель расстраивается. Человек действительно может развернуться и уйти, если в магазине нет любимого сырка. Он даже оставит наполовину собранную корзину с продуктами. Ну а что делать? Всё равно за сырком придется идти в другой магазин! Не пойдёшь ведь туда с пакетом продуктов из предыдущего супермаркета. Частный случай — когда человеку нужно купить 2 пачки фарша, а на витрине лежит всего одна.

Поэтому сотрудники магазина постоянно следят за наполненностью полок.

Ну окей, пусть следят. А искусственный интеллект-то им зачем?

С утра до вечера бегать между полок и постоянно пополнять их — тяжелый труд. Причём большую часть времени приходится ходить и смотреть глазами, везде ли всего достаточно. За день можно полумарафон нагулять.

При этом такую простую работу вполне можно поручить машине.

И как работает машина?

Машина — это связка из видеокамер, направленных на полки магазина, и искусственного интеллекта, который «крутится» на небольшом сервере в служебном помещении.

Изображение с камер обрабатывается нейросетью, которая «видит» незаполненные пространства на полках. После этого система выводит сообщение о пустотах на экране в служебном помещении, а также отправляет уведомления на смартфоны сотрудников.

Вот так камера видит привычный нам мир полок в магазине. Красным выделены пустые пространства. Ещё кто-то спрятал пирожки между упаковками молока. Такое нейросеть также может выявлять.

Человек взял последние 10 сырков из холодильника, отошел на пару шагов — а сотрудник уже выкладывает новые сырки. В результате — полки всегда заполнены, а сотрудники не перетруждаются.

И насколько сложной должна быть нейросеть в таком случае?

На самом деле это довольно простые в реализации технологии по меркам 2023 года. Для ритейла подходят недорогие и удобные в обслуживании камеры, сервер в подсобном помещении — не дороже настольного компьютера. Конечно, требуется работа по монтажу, подключению, проверке. Но дальше всё работает автоматически.

Вот, к примеру, как нейронка видит полку с молочной продукцией. Обратите внимание, отдельно она следит за тем, чтобы рядом с товаром были соответствующие ценники.

Отдельно нейронка следит за полками с овощами и фруктами. Это — более сложная задача.

Чтобы определить заполненность полок, программа смотрит на контраст между цветом продукта и цветом контейнера, в котором он лежит. Однажды программа перестала видеть виноград. Оказалось, что тёмный виноград выложили в тёмных ящиках. Пропал контраст, и всё.

Важно еще отметить, что нейронка постоянно учится. Сотрудники размечают новые данные и нажимают на специальную кнопку, чтобы сеть дообучалась на свежих данных. И так с каждым днём она все лучше распознаёт продукты на полках. Когда систему компьютерного зрения монтируют в новом магазине, на сервер «приезжает» самая свежая и умная версия ИИ.

А что кроме полок ещё можно видеть?

Например, отдельные продукты на кассе. В супермаркете сотрудник на кассе взвешивает фрукты и овощи, вводя артикул каждого. Артикулы приходится запоминать, искать в бумажках, спрашивать у коллег, подглядывать в интерфейсе кассы.

Чтобы помочь сотруднику, над рабочим местом вешают небольшую камеру, которая смотрит ровно на весы. Каждый раз, когда на весах появляется весовой товар, нейронка пытается угадать его — и подсказывает артикул. В результате скорость работы кассира значительно повышается, а число ошибок — снижается.

А людей можно определять?

Конечно. Например, мы можем легко и быстро детектировать очереди у касс. Когда перед кассой скапливается, скажем, 4-5 человек, камера видит это и на экран подается сообщение: «Открыть дополнительную кассу». Покупателям не нужно ждать, или звать кого-то.

В некоторых магазинах также работают системы распознавания лиц сотрудников. С ней сотрудники могут проходить в магазин бесконтактно, дата входа и ухода фиксируется автоматически.

А с ворами можно бороться?

Вот эта задача — значительно сложнее. Машина не может понять, кто перед ней: вор или обычный покупатель. Смотреть на полки и в корзину? Но человек мог передать товар супругу, чтобы тот положил его в свою корзину. Или мог понести его в руках, потому что удобнее. Кроме того, люди двигаются, поворачиваются от камеры. Кроме того, у использования таких технологий есть законодательные ограничения.

Иногда в ритейле идут на хитрость. Например, устанавливают камеры и вешают в торговом зале экраны. На экраны выводится изображение с камер, на которые нейронка дорисовывает полоски, определяя положение тела, рук и ног. У недалеких воришек создается ощущение, словно неведомая умная система уже взяла их в оборот, что она все видит. В результате число краж снижается.

И это — всё? А как же виртуальная реальность? Где же ритейловый метаверс?

До мультивселенной в «Пятёрочке» еще далеко, но в ритейле уже активно используются технологии визуального позиционирования.

Для этого компания «размечает» магазин с помощью камеры и лидара, и составляет его VR-план. После покупатель камерой своего смартфона» определяет свое местоположение в магазине, и видит дополнительную информацию — «вторым слоем» поверх изображения.

Скидки, промо-акции, и даже виртуальный помощник — всё на одном экране. Кроме того, технология визуального позиционирования может строить маршруты внутри большого магазина.