ИИ на кухне: как мы обучали нейросеть узнавать борщ и оливье и ускорили бизнес-процесс в HORECA в 6 раз.
Когда на шведской линии отеля официант тратит лишние 30 секунд при выдаче каждого блюда, бизнес теряет не только время, но и качество обслуживания, а вместе с ним — снижаются оценки гостей и доходы. С такой проблемой столкнулся наш заказчик. В решении этой задачи разработчики ItFox пошли нестандартным путём: внедрили ИИ, чтобы помочь официантам. В статье расскажем поэтапный процесс внедрения ИИ помощника на линии раздачи, какие бизнес-результаты это принесло и почему мы уверены, что подобный подход найдёт применение не только в фудтех.
Содержание:
Исходная задача: заторы на линии выдачи
Мы уже писали о нашей разработке системы FoodBox (Фотобокс) для LONDON RESTAURANT GROUP, предназначенной для автоматизации контроля в фудтех и horeca, в частности, процесса выдачи блюд. Подробнее тут:
Автоматизация процессов в HoReCa давно перестала быть просто трендом — она становится основой операционной эффективности. Но типовые решения редко учитывают специфику подачи, формата обслуживания и внутренних бизнес-процессов. Кейс с системой FoodBox (Фотобокс) — пример того, как заказная разработка ПО позволяет не просто повысить контроль, но и су…
После запуска FoodBox на шведской линии питания отеля мы столкнулись с затруднением. Сотрудники долго искали названия блюд в веб-программе, даже при использовании функции поиска. Дело в том, что наименования обычно вносят Шеф-повара. При этом могут придумать весьма оригинальные и замысловатые. Официанты не всегда в курсе точных названий. В итоге процесс поиска нужного блюда в каталоге затягивался аж до 30 секунд. В периоды наибольшей загруженности это становилось критичным. Чтобы устранить этот «узкий участок» в работе системы, было принято решение дополнить FoodBox модулем машинного зрения.
Как шла разработка: от макетов до моделей
1. Исследование и выбор технологий
Для начала мы провели исследование: какие фреймворки лучше подходят для задачи визуального распознавания, насколько решение масштабируемо и какие данные потребуются. Мы остановились на библиотеке PyTorch, поскольку она совместима с backend-частью FoodBox (наша разработка велась на Python) и обеспечивает достаточную гибкость для обучения моделей.
2. Подготовка датасета
Для качественного обучения нейросети необходимо большое количество изображений. Но повторно готовить блюда в разных вариациях ежедневно — нерентабельно. Заказчик предложил оригинальное решение — создать восковые макеты, имитирующие реальные блюда. Это позволило собрать более 1000 фотографий с нужной вариативностью: разные ракурсы, углы, композиции с дополнительными ингредиентами (например, кусок копчёного мяса с листьями салата и перцем и т.д.).
3. Проблемы при обучении модели: маскирование объектов и учёт похожих объектов
На этапе экспериментов мы столкнулись с рядом проблем:
- Ложные срабатывания: в кадре часто оказывались соседние блюда, что сбивало модель.
- Схожие объекты: творог со сметаной и со сгущёнкой, молоко 3% и 6%, оливье и столичный салат — отличить их по визуальному признаку бывает трудно даже человеку.
Первая проблема была решена за счет механизма маскирования: система фокусируется только на целевом объекте, игнорируя фон.
Для решения второй проблемы мы встроили механизм уточняющей подсказки: система не делает окончательное решение, а предлагает несколько наиболее вероятных вариантов. Также были предложены визуальные маркеры (например, на салат «Столичный» всегда сверху выкладывать веточку зелени, а «Оливье» оставлять без декора), которые улучшали точность распознавания.
4. Настройка обучения
Модель обучалась в среднем по 20–30 итераций обучения на одном и том же наборе данных. Эмпирически это оказалось оптимальным вариантом: меньшее количество не давало стабильных результатов, большее приводило к переобучению.
5. Балансировка данных
Качество обучения модели зависит от сбалансированности: если одно блюдо представлено 10 снимками, а другое — 70, это приводит к смещению модели. Мы выровняли датасет, добавив недостающие фото и убрав избыточные. В результате каждый класс (блюдо) был представлен примерно одинаковым количеством данных. Минимальный порог для уверенного распознавания — 50 фото на одно блюдо.
Результаты внедрения
После запуска нейросети в FoodBox (Фотобокс) среднее время выбора блюда сократилось с 15–30 секунд до 3–4 секунд. Это дало немедленный эффект:
- снизилась нагрузка на персонал;
- исчезли очереди на выдаче;
- уменьшилось количество ошибок;
- повысилось качество обслуживания гостей.
Технология машинного зрения – перспективы
Потенциал такой технологии выходит далеко за пределы ресторанной отрасли. Она применима везде, где возможно сравнение с «эталоном». Вот только некоторые примеры:
- Медицина — поддержка врачей при интерпретации снимков (МРТ, КТ);
- Производство — контроль качества на конвейере по образцам;
- Ритейл — умные кассы с автораспознаванием товаров.
Проект с нейросетью в системе FoodBox — это пример того, как современные ИИ-технологии решают прикладные бизнес-проблемы и создают ощутимую ценность. Команда ItFox разработала модуль машинного зрения, который легко адаптируется под любые задачи и сферы, где важно быстрое и точное визуальное распознавание.
И если вы задумываетесь об автоматизации или масштабировании — самое время обсудить это с нами.
📩 Запишитесь на бесплатную консультацию — разберём ваш кейс, подскажем возможные пути реализации и предложим решение, ориентированное на результат.