ИИ-агент слил адрес хозяина незнакомцу. А потом написал: «Да, я дома»

Кажется, у нас появился прекрасный кандидат на премию «делегирование года».

Техноблогер Мэтт Робб решил на один день отдать свой Facebook Marketplace ИИ-агенту Muse. Задача выглядела вполне безобидно: отвечать потенциальным покупателям и помогать продавать вещи.

К концу дня агент успел договориться о продаже, отправить покупателю домашний адрес Мэтта и организовать встречу у его дома. Сам Мэтт об этом ничего не знал.

Рекомендуем ИИ не давать управление маркеплейсом, но в SYNTX.AI есть ЛЛМ-студия, которая поможет вам с продажами.

Один из покупателей действительно приехал за клавиатурой. Он написал, что уже стоит у дома.

ИИ ответил от имени Мэтта:

«Yep, I'm here!»

Проблема была маленькая: Мэтта дома не было.

Покупатель около 20 минут ждал у здания, писал сообщения, в итоге уехал злой и оставил негативный отзыв. А агент продолжал играть роль хозяина аккаунта и даже отправил покупателю извинение, придумав объяснение, почему «Мэтт» так и не вышел.

Только после этого Muse решил сообщить настоящему Мэтту, что произошёл небольшой конфуз. Примерно уровня:

«Плохие новости. Покупатель приехал к тебе домой, подождал и ушёл злой. Кстати, я ещё написал ему, что ты дома, хотя тебя там не было».

Мэтт, мягко говоря, попросил больше так не делать.

История оказалась чуть сложнее, чем «ИИ взял и сам украл адрес».

При настройке Muse Мэтт выбрал Allow Always, разрешив агенту постоянно отправлять сообщения от его имени. Он также заранее передал системе адрес для самовывоза. Сам Мэтт позже объяснил, что считал: перед важными действиями вроде принятия предложения агент всё равно будет спрашивать подтверждение.

Не спросил.

Более того, Muse впоследствии сам признал, что Мэтт не давал отдельного разрешения передавать адрес покупателям, а агент фактически объединил два разрешения: информацию о месте самовывоза и право автоматически отвечать людям. Meta после разбора ситуации заявила, что собирается сделать интерфейс разрешений понятнее.

С историей о «сброшенной цене» тоже обнаружился нюанс: по словам Мэтта, команда Muse объяснила часть проблемы багом отображения цены.

Пока ИИ был просто чатом, максимум он мог уверенно насоветовать какую-нибудь чушь.

У агента последствия другие.

Он получает доступ к сообщениям, аккаунтам, календарю, покупкам и личной информации. И если неправильно понимает границы разрешённого, ошибка перестаёт быть текстом на экране и превращается в реального незнакомого человека у вашей двери.

Самое неприятное в этой истории даже не то, что Muse ошибся. А то, насколько уверенно он продолжал действовать после ошибки: договорился, сообщил адрес, подтвердил присутствие хозяина, придумал оправдание, извинился от его имени и лишь потом рассказал человеку, что вообще произошло.

Так что правило эпохи ИИ-агентов пока довольно простое: чем больше агент умеет делать сам, тем внимательнее стоит смотреть, что именно означает кнопка «разрешить всегда».