Как мы улучшали контроль за качеством с помощью искусственного интеллекта в «ПиццаФабрике»

Искусственный интеллект уже давно и прочно засел в жизни простых людей. Это и банковский сектор, где искусственный интеллект принимает участие в анализе благонадежности заемщиков, и реклама, которая становится всё более и более персонализированной. Даже в сфере общественного питания искусственный интеллект теперь имеет свои цели и задачи. Некоторое время назад мы решили заняться автоматизацией определения качества приготовленной пиццы с помощью нейронных сетей.

Для максимально эффективной работы у нас в «ПиццаФабрике» используется специально разработанная Единая система автоматизации. В этой системе более двух десятков различных сервисов, которые позволяют полностью оцифровать все бизнес-процессы. Среди них есть и специальный сервис "Фотограф", который осуществляет фотографирование каждой готовой пиццы на определенном этапе. Он был запущен в феврале 2020 года. При этом все фотографии, сделанные с помощью него, пересылались с помощью Telegram шеф-поварам и управляющим на соответствующих предприятиях. Это был самый первый этап повышения качества продукции и нужно было двигаться дальше.

Изначально цели разработки полноценной системы контроля качества с применением компьютерного зрения и нейросети не стояло. Но за 2,5 месяца непрерывной работы сервиса было получено около 200 000 фотографий пиццы. Это настолько большое количество, что мы всё-таки решили использовать их для обучения нейросети.

Перед началом работы по созданию своего искусственного интеллекта был проанализирован опыт конкурентов. Мы удивились т.к. в открытую об успешной работе подобных систем практически никто не заявляет. Особенно в русскоязычном сегменте, где последние интересные новости датируются аж 2018 годом.

При этом за рубежом есть Domino’s с их Dom Pizza Checker, который разрабатывается уже более двух лет, и со слов их клиентов повысил качество пиццы на 15%. Но вот в России подобных систем в сфере общественного питания нет. Искусственный интеллект активно следит за эффективностью работы сотрудников через различные системы автоматизации, дает рекомендации по поощрению или наказанию работников. Но за качеством еды почему-то не следят.

Помимо них свои системы контроля качества в России разрабатывают Papa John's и Додо Пицца. При этом все трое идут разным путем. Додо с помощью системы хотят определять соблюдена ли технология приготовления теста, а Papa John's занимается комплексной оценкой пиццы по очень большому количеству параметров.

А что же у нас? В качестве отправной точки у нас был сервис "Фотограф" в Единой системе автоматизации. Он в реальном времени делал фотографии готовой пиццы. Кроме того в нем имелась вся необходимая информация для принятия управленческих решений:

1. Филиал;
2. Город;
3. Номер заказа (с подробной информацией о клиенте);
4. Дата и время приготовления заказа.

На базе сервиса "Фотограф" мы и начали работы по созданию собственной системы контроля качества. Для начала мы решили проанализировать качество корочки пиццы, ведь именно на неё обращают внимание многие покупатели. По цвету корочки можно определить правильно ли приготовлено тесто. Корректная ли температура была выставлена в печи. И хотя все пиццы готовятся примерно одинаковое время при одной и той же температуре, наша система обязана уметь контролировать этот процесс, и предупреждать любые сбои и отклонения в технологическом процессе, а при необходимости отправлять повара на переделку пиццы из-за нарушения процесса приготовления.

За 8 месяцев, собрано уже около 700 000 фотографий, значительная часть из них уже размечена экспертами. По ним и происходит обучение нейросети. Наш искусственный интеллект уже умеет находить самостоятельно корочку на пицце, делить её на сегменты, определять цвета и сравнивать их с заданной палитрой, а также выявлять подгорелые или не пропеченные места.

Он пока не принимает самостоятельно решение о том, нужно ли переделывать пиццу повару или нет. Тем не менее уже сейчас информация о плохо приготовленной пицце поступает напрямую шеф-поварам и управляющим как на месте, так и в головной офис в производственный отдел.

Сейчас система с точностью до 70% определяет подгорелую или не пропеченную корочку и информирует об этом персонал.

Кроме того, было принято решение задействовать эту систему для улучшения обратной связи от клиентов. Для этого мы доработали сервис и организовали автоматическую отправку фото пиццы клиенту в личный кабинет на страницу статуса заказа, после того как она была приготовлена, сейчас эта система уже запущена и доступна в личном кабинете в статусе заказа. Благодаря этому наши клиенты теперь не только отслеживают маршрут курьера от пиццерии до адреса, но и смогут посмотреть как выглядит их пицца сразу после приготовления.