Идея: ИИ Ассистент по изготовлению суши & роллов дома

Всем салют! А вы знаете кого на земле больше: тех, кто любит готовить или тех, кто просто не умеет? Мы не дадим точного ответа на этот вопрос, но зато мы точно знаем, что технологии сегодня могут существенно упростить процесс приготовления блюд. Читаем!

Для тех, кто любит кратко и сразу к делу: используя машинное обучение и компьютерное зрение мы научили нейросеть распознавать продукты питания и комбинировать их в определенные кулинарные рецепты – в нашем случае это были роллы.
Суть такова: выкладываете продукты на стол, сканируете этот натюрморт с помощью камеры смартфона (смарт-очков) и получаете пошаговые рецепты лакомств, которые можете приготовить без мам, пап и кредитов.

А теперь лонгрид для тех, кому интересно как мы пришли к этой идее, какие технологии “под капотом” и что же делать со всем этим дальше.

Середина марта. Во многих странах уже карантин, часть белорусских компаний тоже перешли на удаленку. Возникает мысль: “А чем люди, которые обедали в заведениях общепита, питаются сейчас? Спасает доставка или стали больше времени экспериментировать на кухне?” Заголовки СМИ гласили:

Сомнения отпали – этим кухням нужен новый герой, команда берется за брейншторм. В процессе обсуждения возникали идеи и модернизации супермаркетов, и нового формата “бесконтактных покупок”, но все это мы отвергли по тем или иным причинам. Нужна была идея, которая бы добавила блеска в глаза каждому из нас и будила бы по утрам.

Ba-dum-tss! Наверное, после получаса нашей беседы мы пришли к ней. Видение было такое: мы предоставляем заведениям общепита технологию, которая выполняет роль их шеф-повара, но дома у клиентов. Условно говоря, голова шефа – это база данных с рецептами, навыками и меню ресторана, мы обучаем всему этому нейросеть и вуаля — теперь как в мультфильме “Рататуй” — вашими действиями руководит профессионал. Только в нашем случае это искусственный интеллект, а не крыса.

Задачи разработчику поставлены, идем к цели.

Весь процесс разработки можно разделить на четыре этапа, по которым мы сейчас кратко пробежимся. Уж извините, что без детальных подробностей, т.к. я не думаю, что это будет кому-то интересно, а если и будет – велкам в лс 😊

1. Мы нашли датасет с продуктами в интернете, часть которого дополняли вручную, т.к. там были не все необходимые для нас ингредиенты. Размер датасета был около 200 объектов, кол-во нотаций (размеченных объектов) – около 1700.

2. Своими руками произвели разметку найденных нами объектов датасета и запустили процесс обучения модели нейросети. К слову, по времени такое обучение занимало у нас около 40-50 минут, при небольшом размере датасета.

3. Интегрируем обученную модель в наше снятое видео с приготовлением роллов.

4. Получаем данные об объектах на кадрах видео, прогоняем их по алгоритму.

5. Well done! Можно пользоваться.

Используемые технологии: Python, PyTorch (Detectron2), OpenCV.

На данный момент мы получили технологию, которая, на наш взгляд, может быть применена в следующих направлениях:

— Профессиональная кухня там, где есть вы со своим смартфоном. Берем меню любого заведения и Шефа на интервью и обучаем нейросеть так, чтобы любой человек мог приготовить фирменное блюдо заведения, следуя её детальным рекомендациям. Мы планируем портировать сие творение на мобильные платформы, т.к. объективно понимаем, что смартфон есть у каждого, а AR очки – нет (хотя, не забываем про Apple Glasses).
Кстати, если кто-то готов предоставить нам меню своего заведения и Шефа, которому интересно рассказать о тонкостях приготовления того или иного блюда – пишите на почту [email protected] и мы начнем экспериментировать вместе!

— Обучение персонала и тренинги по кулинарному мастерству для посетителей. Технология может помочь сократить ресурсы на обучение сотрудников кухни и повысит интерес к заведению со стороны всех категорий посетителей.

— Ваши идеи в комментариях – будем искренне признательны!
Спасибо за внимание, с удовольствием ответим на вопросы :)
#стартапы #ИИ #компьютерноезрение #AR