Поставили нейронку управлять бизнесом, а она потратила деньги и ушла в минус

Как и обещали, в продолжение нашей статьи о том, как Gemini доверили управление кофейней, а нейронка закупила 6000 салфеток, - отвечаем на вопрос: "А мог бы эксперимент пройти более удачно?"

Сразу важно сделать дисклеймер о том, что это не инструкция к действиям, а видение нашей команды и мысли о том, как теоретически можно было бы обезопасить эксперимент

Если бы действительно стояла задача не просто "проверить, что будет", а реально внедрить ИИ-агента для управления кафе, мы бы не начинали с полной автономности. Поэтому более безопасная схема выглядела бы так:

На первых этапах и итерациях ИИ может формировать план закупки, но никак не отправлять заказы поставщикам. Например:

Менеджер/ответственный утверждает или правит - это называется стратегией Human-in-the-loop (HITL).

Так бизнес копит статистику: где агент полезен, где ошибается, какие правила нужно добавить.

Автономность можно расширять только через тогда, когда существуют четкие лимиты на действия. Например:

С лимитами не так весело смотреть, как ИИ "создает магию", но именно они отделяют рабочую автоматизацию от лотереи.

Агент должен не только читать текущий диалог или запрос в моменте, а хранить, ссылаться и использовать формализованную базу данных:

Без этого он будет действовать по обрывкам информации, а рано или поздно повторит ошибку: забудет прошлый заказ, не увидит остаток, перепутает потребность и запас.

Но здесь и подводные камни - контекстное окно любой нейронки не бесконечно, поэтому нужно грамотно работать с этапностью подключения данных, RAG и тд.

Система должна сама реагировать и останавливать странные или опасные действия. Например

Это не сложная техническая задача, а обычный алгоритм действий, да и вообще правила здравого смысла, которые должны стоять рядом с моделью.

Это самый неприятный пункт, поэтому его часто пропускают. Но давайте не будем лукавить, ведь всегда хочется найти кого-нибудь крайнего, правда?

Если ИИ-агент заказал лишний товар, кто виноват?

Хотя заказ лишнего товара - это конечно может быть критично, но решаемо. А если посетитель отравился из-за ошибки в закупке или хранении? Кто отвечает тогда?

До запуска нужно прописывать не только промпт, но и карту ответственности, иначе бизнес узнает ответ уже после инцидента или убытков.

В 2026 году главный риск уже не в том, что нейросеть "плохо пишет текст, генерирует картинки или ошибается в расчетах математических задач".

Еще веселее, когда бизнес думает: "Сейчас я найму профессионалов - они все сделают как надо", - удачи с этим, потому что настоящие профессионалы стоят не дешево, а вчерашние менеджеры нижнего звена, а ныне "Эксперты по ИИ-автоматизации" (конечно, не все такие!), иногда сами бегают к ИИ, когда нужно сделать простейшую задачу.

Все это уже совершенно другой уровень опасности и рисков.

Пока агент просто советует - цена ошибки ниже. Когда агент нажимает кнопку, отправляет заказ, пишет поставщику, меняет цену, нанимает человека или обещает клиенту возврат - цена ошибки становится настоящей.

Ну, и про критическое мышление не забывайте - не "вот агент, пусть управляет кафе", а:

ИИ не обязан быть идеальным, чтобы быть полезным, но бизнес не обязан терять деньги, чтобы доказать, что эксперимент был смелым.

Перед тем как дать агенту доступ к реальным действиям, стоит ответить на несколько вопросов.

Небольшая вводная, кто забыл или не знал. Мы строим сервис оценки рисков внедрения ИИ в бизнес и студию ИИ-ассистированной разработки с инженерным подходом.

Оба эти продукта стоят того не потому, что ИИ "не нужен", - наоборот: ИИ уже полезен в рутине, аналитике, поддержке, документах, поиске, операционных подсказках и десятках прикладных задач.

Но между "ИИ полезен" и "Пусть сам управляет процессом" есть большая разница - внедрение должно начинаться не с вопроса "какую модель взять", а с других вопросов (часть из них уже перечислили выше):

Иногда бизнесу действительно нужен ИИ-агент.

Иногда достаточно нормальной автоматизации без нейросети.

Иногда сначала нужно навести порядок в данных и процессах, а уже потом подключать ИИ.

Кейс шведского кафе хорошо показывает эту разницу, потому что нейронка по итогу действительно смогла справиться с многими задачами, особенно на старте. Споткнулась машина о более реальные прикладные задачи с условиями неопределенности: склад, хлеб и ежедневную дисциплину.

Не потому, что технология бесполезна, а потому, что технология без рамок быстро начинает принимать дорогие решения.

Кейс этот вообще не доказательство того, что ИИ нельзя использовать в бизнесе.

Как уже сказано, это доказательство другого: ИИ нельзя ставить в операционный контур как самостоятельного менеджера, если у него нет ограничений, памяти, контроля, нормальных данных и ответственного человека рядом.

Для эксперимента это интересный кейс. Для бизнеса предупреждение.

Автоматизировать можно. Делегировать можно. Но право ошибаться за счет компании нужно выдавать очень аккуратно.

Ну, и что скажете? Вы бы доверили ИИ-агенту реальные закупки, найм или работу с поставщиками или пока максимум рекомендации и черновики решений?