Как Air Canada заставила чат-бота врать клиентам, а потом попыталась свалить вину на робота

Многие до сих пор думают, что ИИ-ассистент в клиентском сервисе - это «поставил и забыл». Авиагигант автоматизировал ответы на претензии пассажиров, внедрив продвинутого ИИ-агента. Итог: технология сгенерировала галлюцинацию, которая обошлась компании в тысячи долларов и создала опаснейший судебный прецедент для всего B2C-бизнеса.

ИИ не врёт - он достраивает реальность по тем данным, которые ему дали. Если агент не зажат в рамки актуальных инструкций, он будет импровизировать. И когда эта импровизация дойдёт до суда, отвечать придётся вам, а не «отдельному юридическому лицу роботу».

Пассажир Джейк Моффатт обратился к чат-боту Air Canada, чтобы узнать правила оформления скидки на билет в связи со смертью родственника. ИИ-агент вежливо выдумал несуществующее правило: пообещал, что клиент может купить билет за полную стоимость, а затем вернуть разницу в течение 90 дней. Когда пассажир потребовал возврат, живые менеджеры отказали - на официальном сайте висела актуальная, совершенно другая инструкция.

Дело дошло до суда. Юристы Air Canada построили защиту на абсурдном тезисе: чат-бот - «отдельное юридическое лицо», а значит, компания не отвечает за его слова. Канадский трибунал разнёс этот аргумент в пух и прах. Судья Кристофер Риверс постановил: компания не смогла доказать, почему потребитель должен перепроверять информацию за её же собственным официальным инструментом. Air Canada обязали выплатить компенсацию.

Компания совершила классический промах - отсутствие контурного контроля. ИИ получил доступ к общей языковой модели, но не был зажат в жёсткие рамки актуальной базы данных перевозчика. Агент не знал, где заканчивается инструкция и начинается фантазия.

Если ваш ИИ-агент общается с клиентами, вшивайте в архитектуру системный промпт-фильтр: «Если точный ответ на финансовый вопрос не найден в закрытом файле, бот обязан остановить генерацию и переключить диалог на человека. Любая импровизация запрещена».