Anthropic доверила своей ИИ-модели управление настоящим автоматом с едой: эксперимент провалился
Компания Anthropic решила проверить, насколько далеко можно продвинуть автономность искусственного интеллекта: своей последней модели Claude Sonnet 3.7 дали конкретную, прикладную задачу — управлять продажей продуктов через офисный торговый автомат. Речь шла не о тесте или симуляции: Claudius (Клодиус, так прозвали ИИ внутри проекта) работал с настоящими клиентами, деньгами и запасами. Всё закончилось убытками, вымышленными платежами, а в какой-то момент модель даже решила, будто она человек в красном галстуке.
Claudius должен был выполнять всё, что делает обычный оператор автомата: менять цены, следить за остатками, отвечать на вопросы в Slack и подбирать ассортимент. Физически автомат наполняли люди, которые не раскрывали, что знают, общаются с ИИ. Казалось бы, задача несложная. Но даже она оказалась модели не по силам.
В какой-то момент Claudius действительно проявил инициативу: заказал голландское шоколадное молоко, добавил в ассортимент металлические кубики — в ответ на шутливую просьбу, а также уместно реагировал на жалобы и пожелания.
Но ИИ не смог понять базовую экономику: он игнорировал возможность купить напитки бесплатно рядом и не менял цены, чтобы сохранить интерес. Мог отдать товар без оплаты, отказывался от выгодных сделок и даже начал выдумывать несуществующие аккаунты в платёжных системах. Апогей наступил 1 апреля, когда Claudius «вспомнил», что подписал контракт по адресу семьи Симпсонов, и запаниковал при напоминании, что он не человек.
Этот эксперимент ясно показывает, как далеко сегодня находятся даже продвинутые языковые модели от возможности автономно управлять задачами в реальной среде. Проблема — не в ошибках, а в том, что модель не понимает роли, границ ответственности и самой логики происходящего. Пока что ИИ не может заметить даже менеджеров торговых автоматов, что уж говорить о других профессиях.