Галлюцинации ИИ: почему машины всё ещё врут и как это исправить
Знакомый рассказал, как берлинский стартап якобы сорвал сделку на два миллиона евро — из-за ИИ. Помощник в презентации выдал: «рост рынка на 42% по данным McKinsey». Красиво, убедительно. Вот только отчёта не существовало.
Сначала все посмеялись — ну, бывает, “галлюцинация”. А потом стало не до смеха: инвесторы ушли, проект завис, а команда неделю чистила базу знаний от несуществующих ссылок и “фактов”.
И вот тогда я подумал: это уже не милый глюк, а реальный бизнес-риск. Особенно в B2B, где одно неправдоподобно уверенное “факт” может стоить миллионы.
Когда ложь звучит убедительно
Один мой клиент занимается промышленными теплообменниками — большие, разборные установки для ГВС и отопления, по полмиллиона за штуку. И вот, клиент в чате на сайте спрашивает у ИИ: «Чем ваш теплообменник лучше конкурентов?»
ИИ уверенно отвечает: «Наш радиатор подходит для автомобилей Nissan, прост в установке и стоит всего 9800 рублей».
Технически он не ошибся — радиатор тоже теплообменник. Но контекст потерян, а ошибка в такой переписке может стоить контракта. Вот что пугает: ИИ звучит убедительно даже тогда, когда несёт полную ерунду.
Почему это вообще происходит
Проблема не в “глупости” ИИ, а в том, как он устроен. Он не знает факты — он угадывает, какое слово поставить дальше. Если в сети тысячу раз встретилось “рост рынка — 42%”, он выдаст то же самое, даже если к вашему бизнесу это не имеет отношения. А чем увереннее звучит, тем легче поверить. И на этих “уверенных” фразах компании теряют клиентов, деньги и репутацию.
Когда цена ошибки — сотни тысяч
И это не единичные случаи. Deloitte и австралийское правительство выпустили отчёт за 440 тысяч австралийских долларов, где половина судебных решений оказалась выдумана. Air Canada проиграла суд, потому что их бот придумал “скидку на траурные билеты”. А шведский медстартап в радиологии “увидел” опухоль на чистом снимке. Хорошо, что врач перепроверил. Каждая из этих ошибок выглядела правдоподобно. И каждая стоила денег. Это не сбой — это системная особенность: модель не знает, она лишь предполагает.
Что с этим делать
Во-первых, не верить на слово. Каждый факт — с источником. Нет ссылки — нет доверия. У нас это правило стало частью внутреннего регламента.
Во-вторых, ИИ должен работать в жёстких рамках. Не “отвечай как можешь”, а “используй только данные из этой базы”. Чем уже контур, тем меньше фантазий.
И третье — нормальная база знаний. Не абстрактный гугл-док, а чёткие инструкции, реальные формулировки, описания кейсов. Пишите так, будто объясняете всё ребёнку: без намёков и “сам догадаешься”. ИИ не догадается. Он не мыслит — он повторяет.
И только потом тестируйте на своих реальных вопросах. Не “что такое нейросеть”, а “почему наш теплообменник эффективнее, чем у конкурентов”. Вот тогда станет видно, где модель сбивается и где ей не хватает контекста.
Что будет дальше
Галлюцинации не исчезнут полностью. Но их можно загнать в рамки, где они не вредят бизнесу. В ближайшем будущем, думаю, нас ждёт три новых стандарта:
— ИИ, которые честно говорят “не уверен”;
— RAG как обязательная практика, вроде HTTPS;
— и проверяемая верификация источников для всех публичных текстов, чтобы гарантировать достоверность информации.
Бывали ли у вас случаи, когда ИИ уверенно нёс чушь? Расскажите в комментариях.
________________