Бери и беги, или как я хожу за продуктами в Германии

О том, как будущее приходит незаметно в магазин напротив, а ты этого не замечаешь почти месяц, а оказывается, твои соседи уже берут продукты в магазине и просто уходят.

Если, что внизу статьи видео моего похода.

Обычно, я пишу статьи на чисто технические темы, но сегодня я просто обязан поделиться впечатлением от увиденного.

Еще месяц назад в магазине REWE, у нас в Берлине, промоутили новую функцию и приложение Pick & Go. Я так привык пользоваться кассами самообслуживания, что особо не обратил внимание на рекламу, до определенного момента.

Как-то, я пробежал через турникет с названием Pick & Go вслед за девушкой. Через ~10 секунд ко мне подошел сотрудник магазина и сказал, что мне нужно выйти и зайти снова через обычный турникет, т.к. все продукты которые я возьму в магазине спишутся со счета той девушки за которой я проскочил. Я был слегка в шоке 😀

Окей, подумал я, перезашел и стал вспоминать, что когда-то читал про тестовые запуски магазинов у Amazon, где можно брать товар и уходить.

Но в них в основном были снеки, батончики, газировка — простые товары, а тут, полноценный продуктовый магазин: фрукты, овощи на развес, бакалея.

Сам набирай в пакетик круассан без начинки или с начинкой (цена разная), а по виду одно и то же. Не уже ли это работает? Для меня это казалось, чем-то из будущего.

Как они решили эту техническую проблему? Обвесить магазин камерами не сложно, а вот понимать, кто, что взял и сколько — вот это уже задачка!

Сегодня я решил это протестировать.

Скачал приложение REWE, привязал Apple Pay, в магазине, сотрудник сделал активацию моего аккаунта за 10 секунд — просто показать QR код и все. Еще я спросил, можно ли снимать на телефон в магазине — мне ответили конечно 😊

И так, входишь в турникет Pick & Go через QR код из приложения и берешь любые товары в свою сумку и бежишь 😂 Шутка — можно просто идти.

Овощи и фрукты нужно взвесить на специальных весах, а вот бакалею просто берешь и все! Берешь и все 😱?

В общем набрал не совсем типовую корзину:

  • Пару килограмм картофеля,
  • 2 печеных круассана,
  • 2 обычных круассана,
  • 2 запеченные трубочки,
  • сок,
  • детскую зубную пасту,
  • ополаскиватель,
  • орехи,
  • красную рыбу,
  • и еще что-то за 2.69 € 😊

И потом, я просто выхожу из магазина.

Еще я успел сказать Tschüs сотруднику на кассе и на меня даже никто не посмотрел подозрительно, только все улыбались 😊

Сразу захожу в приложение — пусто. Написано, ждите скоро счет придет.

Через 10 минут, приходит чек — ровно те товары которы я взял. Деньги с карты списаны. Что это? Магия?

Не уже ли они решили задачу вот так?

Кстати, эта картинка тоже сгенерирована ИИ.

1.4 миллиарда индусов — это и есть на самом деле ИИ
1.4 миллиарда индусов — это и есть на самом деле ИИ
  • Или все таки это комбинация машины и человека?
  • Или это только машина?

Кто в теме, раскройте секрет.

Дайте хотя бы примерное описание технической части или алгоритма.

Особенно меня интересует кейс с круасанами с начинкой и без начинки!

  • А еще, что если я верну товар на полку и т.д.
  • А еще, что если толпа у полки?

У меня недавно выходила статья где Иван Бирюков очень критически и резко высказывался о текущем состоянии ИИ:

ИИ. Какое профанство. Ни о каком ИИ на данной стадии развития человечества говорить не приходится.

Как вы думаете, насколько Иван прав?

Если, кому-то интересна тема развития в IT, я работаю над открытой инициативой создания туториалов по IT навыкам.

3333
86 комментариев

Слишком мало полужирного шрифта в тексте, надо больше

28
Ответить

Спасибо, учту. Синдром программиста, все выделить, все оформить :-)

1
Ответить

Машинное зрение.

Как камеры на Тесле распознают пешехода и дерево, так же камеры в супермаркете распознают товары.

Круассаны зависят от полки, с которой ты её взял.

Точно так же как ты на каптче выбирал все картинки со светофорами, обучая ИИ распознавать светофоры, так же какие-то индусы выбирали все картинки с круассанами, распознавая их.

Теперь ИИ может в точности распознавать, что находится на картинке и куда это движется, это не так уж и сложно.

В таких магазинах ещё обязательно висит предупреждение, что если взял товар и передумал брать - положи туда же, откуда взял. Это не спроста. Ибо это важно для ИИ, с какой полки был взят товар, для распознавания

13
Ответить

Я думал, на самом деле, там где система автоматически что-то не смогла определить или не уверена, она просто ставит задачу оператору в очередь, который по-сути решая задачу дообучает модель. В этом и обусловлена задержка минут 10 перед получением чека.

Но все равно, это круто!

4
Ответить

Возможно, она не не уверена, а просто нужен апрув до сотрудника, который бегло просматривает фото и подтверждает, что система все товары определила верно

5
Ответить

Очень много подходов есть как такое делать.
Вот в этом видео я делаю обзор и сравнение примерно пяти основных
https://youtu.be/xTzvpqlKXvU
Подходы различаются в целом по железу которое ставиться, числу ошибок, и.т.д.

А вот несколько видео/статьей про то что в Москве было (по крайней мере год назад):
https://youtu.be/JZP9z1jc54s
https://youtu.be/gwaZJhyzymU

4
Ответить

Интересно. Спасибо.

Ответить