{"id":8499,"title":"vc.ru \u0438\u0449\u0435\u0442 \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 ","url":"\/redirect?component=advertising&id=8499&url=https:\/\/vc.ru\/team\/314459-vypuskayushchiy-prodyuser-kreativnogo-otdela&placeBit=1&hash=34698330acc58f51615fd71105e84a558eebd5a4f60d32de70f3a794ef4ca846","isPaidAndBannersEnabled":false}
Machine learning
AGIMA

Применение алгоритмов компьютерного зрения в ресторанах IKEA

3 марта мы организовали онлайн - конференцию Machine Learning в Digital-продуктах с участием спикеров из Тинькофф, СБЕРа, МТС, Checklens GmbH, Brickit, Epoch8 и AGIMA. Для тех, кто любит читать, мы сделали печатную версию докладов.

В рамках конференции Сергей Воронов из компании Checklens рассказал про систему автоматизированного селф-чекаута для ресторанов на основе алгоритмов компьютерного зрения. Продукт уже используется в нескольких ресторанах IKEA в разных странах Европы.

Система кассы самообслуживания

Система состоит из камеры, у которой имеется определенная зона сканирования. Сначала люди подходят к ней, ставят поднос в поле ее досягаемости, система автоматически считывает данные и перенаправляет их в терминал оплаты. Первый ресторан IKEA, в который внедрена такая система, находится в Италии, город Падуя.

Пример кассы самообслуживания в одном из ресторанов ИКЕА

Сбор и анализ данных

Сбор данных должен не мешать ни покупателям, ни сотрудникам. Мы решили установить камеры перед кассой на специальные крепления, чтобы банковские данные потребителей не попадали в поле зрения, а также, чтобы у покупателя не возникло лишних вопросов и желание потрогать руками камеру.

Построение гипотез и разработка плана реализации

В качестве решения для системы распознавания мы выбрали стэк трех моделей: CNN-Based Detection, Classification и Counting. Мы начали с детекции, часто в таких задачах применяют сегментирование, чтобы увеличить точность классификации и качество при наличии Over Lab продуктов. Все наши модели были построены на основе свёрточных нейронных сетей, они являются стандартом систем компьютерного зрения.

Подготовка данных и первые результаты обучения

В день у нас получалось 6 часов записи, довольно большое число кадров, поэтому их необходимо было фильтровать.

Система подготовки данных состояла из трех этапов:

  • выбор информативных кадров для детектора (фильтрация + фичи с полного кадра + кластеризация);

  • обучение детектора и генерация кропов для последующих моделей;

  • фильтрация кропов + предварительная кластеризация для упрощения процесса разметки (фичи с Fashion MNIST подошли лучше всего).

За один день всего потока мы выделили 650 информативных кадров, сформировали Data Set для детектора с помощью ручной разметки, обучили детектор и вырезали картинки для разметки последующих моделей.

В результате точность данных была порядка 70-80%.

После анализа видео, мы заметили, что люди часто жестикулируют, это способствует искажению данных. Поэтому мы решили отказаться от нашего первого местоположения камеры: сдвинули ее в сторону и отделили человека от его подноса на пару шагов.

Деплой решения и приемочное тестирование

Изначально у нас был очень простой пайплайн деплоя, мы сами написали Backend с БД моделей + TF Serving для версионирования. На сегодняшний день мы используем DVC (гид с данными, где можно создавать отдельные ветки) + MLflow (здесь мы загружаем все результаты экспериментов, сравниваем модели и выбираем лучшие).

На фазе тестирования:

  • лучший подход — написание и поддержка протокола для сбора тестовых данных, он поможет дисциплинировать и структурировать сам процесс тестирования, а также сфокусироваться на узких моментах;

  • нельзя забывать про стоимость товаров при расчете показателей качества;

  • тестирование системы сотрудниками ресторана — не лучшая идея, так как люди не совсем понимают как работает система.

Обучение сотрудников

Это очень важный этап, на котором необходимо донести до персонала ресторана, что искусственный интеллект не предоставит 100% точности. Покупателям необходима помощь, поэтому персонал должен уметь ее предоставить: исправить ошибки системы, объяснить, как устроен терминал. Это значительно повышает уровень довольства клиентов, поэтому мы уделили много времени обучению сотрудников.

Поддержка

Для начала необходимо определить сложные транзакции. Они загружаются на сервер и валидируются в ручную специалистами для того, чтобы принять решение о совершенствовании или переобучении модели. В итоге мы приходим к обучению и деплою новой модели. При разработке модели всегда необходимо понимать, что в дальнейшем ее придется поддерживать.

Умный гараж

Одним из пунктов развития нашего продукта является дополнительный функционал — создание умного гаража. Чаще всего в IKEA люди приходят группами, поэтому образуется сразу несколько подносов на каждого человека. Сканировать каждый поднос отдельно — не самое быстрое и удобное решение. Поэтому мы создали гараж, в который можно было сложить сразу 3 подноса , так как на каждом уровне были расположены камеры, которые распознавали и отправляли информацию в платежный терминал. Это увеличило эффективность и пропускную способность самого ресторана.

Результаты проекта

Reta Awards
  • точность транзакций более 98%;
  • увеличение пиковой пропускной способности более, чем на 15%;

  • увеличение среднего чека на несколько процентов;
  • больше аналитических данных;

  • контроль за «стандартизацией» качества блюд;
  • увеличение покупательской лояльности;
  • Reta Awards for the best in store solution.

Надеемся, что материал был полезным для каждого читателя.

Видео для тех, кто любит смотреть и слушать.

Здесь вы можете посмотреть онлайн-конференцию: Практическое применение Machine Learning в Digital-продуктах.

Антипин Иван, заместитель технического директора в компании AGIMA рассказал о том, как применять машинное обучение в консервативных бизнесах, где строится все на эмоциях и личном общении с клиентами.

Продолжение в следующем выпуске.

0
0 комментариев
Популярные
По порядку
Читать все 0 комментариев
Нас продолжают обманывать сервисы онлайн-образования на «Чёрную пятницу» в 2021?

В 2020 я сделал обзор Чёрной пятницы в популярных EdTech проектах: Skillbox, GeekBrains, Нетология, HTML Academy, SkillFactory, Hexlet, Я.Практикум.
Мне стало интересно, как изменилась стоимость курсов и профессий за год, а также какие скидки дают нам образовательные онлайн-сервисы в 2021 году.

Версия 25 ноября
Wildberries обязал покупателей оплачивать возвраты товара, если те получены или уже переданы в доставку
«Альфа-банк» включает в ипотечную страховку условия, которые делают ее недействительной

Кому будет полезна эта статья: Статья заинтересует того, у кого ипотека. Но в особенности, проблема касается тех, чей возраст от 51 года, так что может быть полезна вам, если вы достигли этого возраста или помогаете старшим родственникам, как случилось со мной.

Завод по производству идей. Как работают акселераторы, зачем они нужны стартапам и куда идти с идеей прямо сейчас

По данным Startup Genome, 9 из 10 стартапов терпят неудачу. Возможных причин «смерти» много: недостаточно протестированная гипотеза, неподтвержденная юнит-экономика, неверная стратегия или просто неудача в подходе к продажам.

Что Tele2 предлагает клиентам в «черную пятницу»

На главной распродаже года клиентов компании ждут сразу несколько интересных предложений: скидки на смартфоны, пакеты SMS и безлимитный трафик на YouTube, Яндекс.Карты, Яндекс.Навигатор.

Авторизированный сервис Samsung снял наушники с гарантии из-за факта использования, самый отвратительный сервис из всех

Пояснение

Из науки в IT: как создать свой стартап и стать преподавателем

Как перейти в IT из другой сферы? Как разработать курс, которому нет аналогов? Как студенту получить максимум пользы от занятий? Рассказывает преподаватель OTUS Сергей Окатов, руководитель курсов «Kotlin Backend Developer» и «Kotlin Developer. Basic».

Продвижение интернет-магазина одежды из крокодиловой кожи в Яндекс.Директ. Как мы сделали 9 млн оборота в Октябре 2021

Кейс продвижения бутика премиальных изделий из крокодиловой кожи Bardini. Сегодня обсудим, как в текущих реалиях работать с e-commerce, одеждой и премиальными дорогими предложениями. Мы снизили стоимость конверсии в 6 раз и увеличили количество заказов почти в 10 раз. Приятного прочтения!

Хочу кухню как у подруги: зачем в Циан сделали поиск квартир по фото

Рассказывает Юлия Зыкова, руководитель команды «Аудитория» в Циан.

Авито возглавила три рейтинга App Annie
null