Столовые с искусственным интеллектом: почему расположение котлеты на тарелке путает компьютер

Основатель стартапа Quick Dining Room, рассказал, как появилась разработка, которая с помощью компьютерного зрения сканирует содержимое тарелки и выставляет счет за обед.

Федор Федоров, сотрудник Сбера, основал стартап Quick Dining Room. Его разработка — это терминал самообслуживания с формированием заказа по снимку с камеры; он нужен, чтобы убрать очереди в столовых.

Выглядит это так: посетитель выбирает блюда, кладет поднос на терминал, камера делает снимок, система сама формирует заказ, включая весовые позиции, и клиент платит по карте или «лицом», то есть с помощью биометрии. Технологичность такого терминала вызывает «вау-эффект» и, по подсчетам, экономит время посетителей в 10 раз.

С этим проектом Федор принял участие в корпоративном акселераторе — SberUp и получил грант на развитие. Он рассказал о проекте подробнее.

Все началось с собственного потребительского опыта. Однажды я стоял в очереди в столовой и меня посетила мысль: почему в супермаркете я могу воспользоваться терминалом самообслуживания, все просканировать и оплатить, а в столовой нет? Почему я стою в очереди к кассиру, если давно привык пользоваться терминалами, с помощью которых пробиваю товар самостоятельно?

Причем вечером, во время похода за продуктами, мне банально некуда спешить. Тогда как во время обеденного перерыва я всегда тороплюсь, потому что в голове у меня — уйма рабочих задач, которые я отложил на вторую половину дня. И я точно не единственный человек, который хочет сэкономить потраченное на обед время.

Я нашел единомышленников, мы разработали подробную концепцию и подались во внутренний акселератор Сбера — SberUp. В акселераторе SberUp могут участвовать сотрудники всех грейдов и из всех регионов. Команда акселератора помогает доработать и «упаковать» идею в стартап. Наша команда выиграла 2 млн руб., это стало нашим стартовым капиталом.

У разработки подобного решения есть множество сложных кейсов с точки зрения компьютерного зрения. Это одна из самых сложных областей ИИ, она включает в себя ряд методов, которые учат компьютер видеть. Камера с помощью программного обеспечения идентифицирует объекты и классифицирует их.

Чтобы у компьютера появились «глаза», которые распознают нужные нам объекты, мы должны научить его видеть и классифицировать еду. Для этого мы используем технологии машинного обучения: собираем данные, которые позволяют выделить признаки и комбинации признаков, которые в дальнейшем помогают распознать похожие объекты.

Сейчас мы как раз собираем нужные данные, на это понадобится пара месяцев. Главная проблема в том, что блюда могут располагаться на тарелке хаотично, котлета может накладываться на салат и наоборот, тогда компьютерное зрение их толком не распознает. ИИ может не считывать, сколько граммов в порции, или считывать неправильно. Еще в столовых часто обновляется меню, одна каша пропадает, другая появляется и исчезает через неделю. Все это приходится учитывать.

В дальнейших перспективах рынка я не сомневаюсь, общие тренды на роботизацию и автоматизацию говорят о стремительном росте такого бизнеса в будущем. Сейчас мировой рынок оплаты труда кассиров в общепите составляет $114 млрд, человеческий фактор значительно влияет на индустрию питания. Это можно изменить. Тренд на полную автоматизацию повседневных процессов задал Amazon со своим проектом Amazon Go еще несколько лет назад. Это магазин без касс и без очередей. Ретейлер отказался от кассовой линии как таковой, оплата покупок происходит автоматически. Вместо продавцов покупки контролируют специальные камеры, они отслеживают, какой товар взял клиент и добавляют его в чек. После того, как покупатель взял нужные ему продукты, он просто выходит из магазина, счет оплачивается автоматически с помощью аккаунта в приложении Amazon.

Мы еще не вывели продукт в полноценный продакшн, но уже запустились на некоторых кассах в столовой в Сбере. Готовимся к запуску в еще нескольких офисных корпусах. В России у нас уже есть конкуренты, но мы готовы к этому — наше преимущество в большом интерактивном дисплее и поддержке весовых блюд. У других игроков этого нет.

Я видел интерактивные кассы самообслуживания в столовых в Китае и в Европе, терминалы там недоработаны, рынок еще не сформирован. Но технология так или иначе развивается, потому что ее поддержка стоит дешевле, чем оплата штата кассиров.

Я хочу, чтобы летом мы запустились полноценно. Точка безубыточности будет достигнута после установки 100 терминалов, мы надеемся, что это займет пару лет. В планах — сотрудничать с крупными игроками; в целом, со многими мы уже так или иначе взаимодействуем. Конечно, я надеюсь вывести разработку на уровень, который позволит распространить наше решение на все площадки Сбера.

Полная версия текста о проекте на СберБизнес Live