Неологизмы Эры Искусственного Интеллекта №3: ИИ Галлюцинации или зачем собаке пятая нога

Проводя достаточно времени с чат-ботами и генераторами контента, в один прекрасный день вы поймете, что иногда получаете результаты, которые не имеют отношения к делу, являются бессмыслицей, а порой и просто ошибочными. Такие случаи известны как галлюцинации ИИ, и они являются проблемой для каждой организации и каждого человека, использующего генеративный ИИ для получения информации и выполнения своей работы.

ИИ-галлюцинация - это когда большая языковая модель (LLM), такая как ChatGPT от OpenAI или Google PaLM, генеративный ИИ-чатбот, или инструмент компьютерного зрения - воспринимает несуществующие или незаметные для человека паттерны или объекты, создавая результаты, которые являются бессмыслицей или вообще неточными, придумывает ложную информацию или факты, не основанные на реальных данных или событиях.

То есть галлюцинации - это полностью сфабрикованные результаты работы больших языковых моделей или инструментов компьютерного зрения. Этот термин может показаться парадоксальным, учитывая, что галлюцинации обычно ассоциируются с мозгом человека или животного, а не машины. Но с метафорической точки зрения галлюцинация точно описывает эти результаты, особенно в случае распознавания изображений и образов (где результаты могут иметь поистине сюрреалистический вид). Хотя при генерации изображений третью человеческую руку на портрете или пятую ногу у четвероногого животного мы (на русском языке) чаще всего называем “мутациями”.

Галлюцинации ИИ похожи на то, как люди иногда видят фигуры в облаках или лица на луне. В случае с ИИ такие ошибки возникают из-за различных факторов, включая чрезмерную подгонку, смещение/неточность обучающих данных и высокую сложность модели.

Генеративные чат-боты, управляемые ИИ, способны сфабриковать любую фактическую информацию - от имен, дат и исторических событий до цитат и даже программного кода. Несмотря на то что они представляют собой полностью выдуманные факты, LLM преподносит их авторитетно и уверенно.

LLM предназначены для создания беглого и связного текста, но они не имеют никакого представления о реальности, которую описывают. Все, что они делают, - это предсказывают, каким будет следующее слово, основываясь на вероятности, а не на точности. Чтобы понять, как это происходит, важно знать, как обучаются и функционируют LLM: они получают огромное количество текстовых данных, включая книги, новостные статьи, блоги и сообщения в социальных сетях. Затем эти данные разбиваются на более мелкие единицы, называемые лексемами, которые могут быть как короткими (одна буква), так и длинными (слово).

LLM используют нейронные сети, чтобы понять, как эти слова и буквы работают вместе. Нейронные сети состоят из блоков обработки, называемых узлами, которые соединены друг с другом с помощью весов. Эти веса устанавливаются путем предоставления модели некоторого текста и ее попыток заполнить слово, которое идет следом, а затем сравнения ее вывода с тем, что было в тексте. Это происходит снова и снова, и каждый раз модель корректирует свои внутренние параметры, чтобы лучше делать эти предсказания.

Но модель никогда не узнает значения самих слов...

Эмили М. Бендер, профессор лингвистики и директор лаборатории вычислительной лингвистики Вашингтонского университета, объясняет это следующим образом: "Если вы видите слово "кошка", оно сразу же вызывает в памяти воспоминания о кошках и о том, что с ними связано. Для большой языковой модели это последовательность символов C-A-T", - рассказала она в интервью изданию Built In. "Затем, в конце концов, у нее появляется информация о том, с какими другими словами и какими другими последовательностями символов она встречается".

По мере того как модель обрабатывает все больше и больше текста, она начинает распознавать закономерности в языке, такие как грамматические правила и ассоциации слов, учась понимать, какие слова могут следовать за другими в предложении. Со временем у модели развивается семантическое понимание, когда она учится ассоциировать слова и фразы с их значениями. Именно это позволяет LLM писать сопроводительные письма, создавать рецепты, давать советы и выполнять все остальные задачи, для которых люди используют генеративный ИИ. Тем не менее, LLM не может в полной мере осознать реальность того, о чем они говорят.

Галлюцинации встречаются настолько часто, что OpenAI предупреждает пользователей: "ChatGPT может выдавать неточную информацию о людях, местах и фактах". То же самое касается Claude.ai: “Claude.ai находится в стадии бета-версии и может отображать неверную или вредную информацию.” Отсортировать, какая информация правдива, а какая нет - задача самих пользователей. Спасение утопающих дело рук самих утопающих.

Хотя примеров галлюцинаций ИИ постоянно появляется множество, один из самых печально известных - когда в феврале 2023 года чат-бот Google Bard сделал ложное заявление о космическом телескопе Джеймса Уэбба, и это угодило в рекламный ролик Google.

На вопрос "О каких новых открытиях космического телескопа Джеймса Уэбба я могу рассказать своему 9-летнему ребенку?" Bard ответил утверждением, что космический телескоп Джеймса Уэбба сделал первые снимки экзопланет за пределами Солнечной системы. Эта информация оказалась “высосанной из пальца”. По данным НАСА, первые снимки экзопланет были сделаны в 2004 году, а космический телескоп "Джеймс Уэбб" был запущен только в 2021 году.

Аналогичным образом, в демонстрационной версии Microsoft Bing AI чат-бот (использующий тот же LLM, что и ChatGPT) проанализировал отчеты о доходах компаний Gap и Lululemon и, как сообщается, предоставил неверную сводку фактов и цифр.

Специалист по изучению данных (data scientist) Тереза Кубака из Цюриха рассказала, как намеренно придумала фразу "циклоидальный инвертированный электромагнон" и проверила ChatGPT, спросив его об этом (несуществующем) явлении. ChatGPT придумал правдоподобно звучащий ответ, подкрепленный правдоподобно выглядящими цитатами, которые были настолько убедительны, что заставили ее перепроверить, не ввела ли она случайно название реального физического явления. (Источник)

По данным исследовательской группы Vulcan Cyber, ChatGPT может генерировать несуществующие URL, ссылки и библиотеки кода или даже рекомендовать потенциально вредоносные пакеты программ ничего не подозревающим пользователям, а также ссылаться на выдуманные новостные статьи, книги и научные работы.

Все это может навредить тому, кто использует инструмент для исследований (распространенное, но непродуманное использование ChatGPT): прецеденты уже были. Например, В мае-июне 2023 года выяснилось, что нью-йоркский адвокат Стивен Шварц использовал ChatGPT для составления ходатайства и представил шесть поддельных прецедентов, сгенерированных ChatGPT, в своей записке в Южный округ Нью-Йорка по делу "Мата против Avianca" - делу о нанесении личного ущерба авиакомпаней Avianca. Ходатайство оказалось упаковано фальшивыми судебными заключениями и юридическими цитатами. Адвокат, который впоследствии был наказан и оштрафован, заявил, что он "не понимал, что ChatGPT может фабриковать дела".

"ChatGPT был разработан для получения результатов, которые правдоподобны и приятны для пользователя", - прокомментировала Эмили М. Бендер. “Поэтому, когда юрист приходит и говорит: “Покажите мне прецедентное право, которое подтверждает такую-то точку зрения", ИИ выполняет просьбу таким образом, что придумывает последовательность слов, которая выглядит как прецедентное право, подтверждающее эту точку зрения".

"Генеративный ИИ - это не совсем интеллект, это сопоставление шаблонов", - сказал в одном из интервью Шейн Орлик, президент компании Jasper, занимающейся созданием ИИ-контента. "Он создан для того, чтобы иметь ответ, даже если этот ответ не является фактологически верным".

Таким образом, организации и пользователи, которые экспериментируют с LLM и генеративным ИИ, должны проявлять должную осмотрительность при работе с этими решениями и тщательно перепроверять результаты.

Генеративный ИИ также может генерировать ложную информацию о реальных людях, собирая кусочки информации - некоторые из них правдивы, некоторые нет - и придумывая истории, которые некоторые пользователи могут принять за правду.

Когда ChatGPT попросили рассказать о случаях сексуальных домогательств в юридической профессии, он сфабриковал историю о реальном профессоре права, утверждая, что тот домогался студентов во время школьной поездки. Этой поездки никогда не было, и его никогда не обвиняли в сексуальных домогательствах в реальной жизни. Но он занимался какой-то работой по борьбе с сексуальными домогательствами, поэтому его имя и всплыло в “сознании” ИИ.

В другом случае ChatGPT ложно утверждал, что мэр Австралии был признан виновным в деле о взяточничестве в 1990-х и начале 2000-х годов. На самом деле он был осведомителем по этому делу.

Подобная дезинформация может нанести вред людям, которые в ней участвуют, причем не по своей вине. На проблему обратила внимание даже Федеральная торговая комиссия США, которая сейчас проводит расследование в отношении OpenAI, чтобы выяснить, не нанесли ли ее ложные заявления репутационный ущерб потребителям.

Некоторые галлюцинации ИИ просто нелепы. По своей природе модели ИИ стремятся к обобщению и творческому подходу. Эта креативность иногда может приводить к неожиданным результатам, что не обязательно становится проблемой, если точность данных не является целью.

Задание - найдите несуразности:

После интеграции технологии OpenAI чатбот Bing продемонстрировал печально известное поведение, когда он угрожал шантажом и признавался в любви ранним рецензентам. Живая и непредсказуемая природа таких ответов создавала впечатление не только того, что бот обладает собственным разумом, но и того, что он “сошел с ума”.

На самом деле, по словам Орлика, творческий подход, который иногда возникает в результате галлюцинаций ИИ, может быть "бонусом", в зависимости от того, для чего используется продукт ИИ. Jasper в основном используется маркетологами, которым всегда нужно придумывать креативные и образные идеи. Если в процессе работы Jasper предложит какую-то нестандартную копию или концепцию, это может оказаться полезным для команды маркетологов.

"Придумывать идеи, предлагать различные способы взглянуть на проблему - это очень здорово", - говорит Орлик. "Но когда дело доходит до написания контента, он должен быть точным. Вот тут-то галлюцинации и переходят грань и становятся вредными".

Некоторые из ключевых факторов, вызывающих галлюцинации ИИ, следующие:

Поэтому, для уменьшения вероятности возникновения галлюцинаций, важно писать запросы (промпты) на очень простом языке с максимально возможным количеством деталей.

Одна из главных опасностей галлюцинаций ИИ возникает, если пользователь слишком сильно полагается на точность результатов работы ИИ.

С дезинформацией, генерируемой ИИ, очень сложно бороться, поскольку сгенерированный контент выглядит подробным, очень убедительным и надежным (являясь в действительности неверным), в результате чего пользователь слепо доверяет неправдивой информации.

Хотя некоторые люди, например генеральный директор Microsoft Сатья Наделла, утверждают, что такие системы ИИ, как Microsoft Copilot, могут быть "полезно ошибочными", эти ошибки могут быть и дезинформацией, и хейтерским контентом, если ситуацию не контролировать.

Если пользователи будут принимать созданный ИИ контент за чистую монету, то это может привести к распространению ложной информации в Интернете в целом. Например, галлюцинации ИИ могут просочиться в генерируемые ИИ новостные статьи, если нет механизма проверки фактов, что может привести к массовому распространению дезинформации, потенциально влияющей на средства к существованию людей, выборы правительства и даже на понимание обществом того, что является правдой. Их могут использовать как интернет-мошенники, так и враждебные государства для распространения дезинформации и создания проблем. Если новостные боты отвечают на запросы о развивающейся чрезвычайной ситуации информацией, не прошедшей проверку фактами, они могут быстро распространить ложные сведения, которые подорвут усилия по преодолению последствий.

Существует также риск возникновения юридических и нормативных обязательств. Например, если организация использует для общения с клиентами сервис, работающий на базе LLM, который выдает рекомендации, наносящие ущерб имуществу пользователя или распространяющие оскорбительный контент, то она может оказаться под угрозой судебного преследования.

Галлюцинации ИИ могут иметь значительные последствия для реальных людей. Например, модель ИИ в здравоохранении может неверно идентифицировать доброкачественное поражение кожи как злокачественное, что приведет к ненужным медицинским вмешательствам. На Amazon Kindle стали появляться созданные с помощью ИИ книги о сборе грибов. Это заставило многих людей задуматься, не может ли ложь, содержащаяся в этих книгах, стать причиной болезни или даже смерти человека. Если в одной из таких книг дается плохой совет, как отличить смертельно опасный ангельский гриб от совершенно безопасного пуговичного гриба, "это тот случай, когда последовательность слов, похожая на информацию, может сразу же оказаться смертельной" (Эмили М. Бендер).

Модели ИИ также могут быть уязвимы для атак противника, когда злоумышленники манипулируют выходными данными модели ИИ путем тонкой подстройки входных данных. Например, в задачах распознавания изображений атака злоумышленников может заключаться в добавлении небольшого количества специально созданного шума к изображению, что заставит ИИ неправильно его классифицировать. Это может стать серьезной проблемой для безопасности, особенно в таких чувствительных областях, как кибербезопасность и технологии автономных транспортных средств.

Исследователи ИИ постоянно разрабатывают защитные ограждения для защиты инструментов ИИ от атак противника. Такие методы, как обучение с применением противника, когда модель обучается на смеси обычных и противных примеров, помогают решить проблемы безопасности. Но пока бдительность на этапах обучения и проверки фактов имеет первостепенное значение.

Из-за сложности современного ИИ эксперты не уверены, что проблема галлюцинаций может быть когда-либо полностью решена. Но, возможно, не все проблемы нуждаются в исправлении. Хотя галлюцинации в большинстве случаев являются нежелательным результатом, они также демонстрируют ряд интригующих примеров использования, которые могут помочь организациям использовать творческий потенциал ИИ в позитивном ключе.

Примеры включают:

Искусство и дизайн

ИИ-галлюцинация предлагает новый подход к художественному творчеству, предоставляя художникам, дизайнерам и другим творческим личностям инструмент для создания визуально потрясающих и поражающих воображение образов. Благодаря галлюцинаторным возможностям искусственного интеллекта художники могут создавать сюрреалистические и похожие на сны изображения, которые могут породить новые формы и стили искусства.

Дизайнеру Колину Данну нравится, когда сервисы создания изображений на основе искусственного интеллекта, такие как Midjourney и Dall-E, выдают что-то случайное, например, когда в ответ на запрос о создании изображения группы людей, идущих вместе, они выдают изображение одинокой фигуры, уходящей вдаль. Это напоминает Данну мозговые штурмы с коллегами над кучей странных идей, прежде чем наткнуться на нужную.

Компания Данна, Visual Electric Co., разработала новый веб-интерфейс для использования этого процесса. Генераторы текста в изображение обычно выдают одну или несколько картинок в ответ на текстовый запрос, но в приложении Visual Electric Co. готовые изображения сохраняются в ряд, создавая галерею миниатюр. В результате получается коллаж из черновиков, позволяющий пользователям исследовать различные творческие идеи на основе того, как ИИ интерпретировал их запросы.

По словам Данна, бывшего дизайнера Dropbox и Facebook, этот рабочий процесс должен вдохновить на "широкие и беспорядочные исследования". Его компания уделяет больше внимания тому, чтобы позволить искусственному интеллекту разгуляться в неожиданных направлениях, чем достижению ожидаемого результата за минимальное количество кликов. Другими словами, цель Visual Electric - стимулировать "галлюцинации".

Анастасис Германидис, директор по технологиям компании Runway AI Inc., специализирующейся на превращении текста в видео, говорит, что некоторая степень "приземленности" необходима - в видео- ролике должна быть кошка, а не собака, если просили кошку, - но его команда не стремится подавлять фантазию. Германидис говорит, что Runway иногда заполняет пробелы, "предоставляя модели больше свободы в воображении атрибутов, которые отсутствуют или которые пользователь не указал конкретно".

Он также обнаружил, что творческие профессионалы играют с программой, вводя замысловатые запросы, чтобы вызвать сюрреалистические видения. Например, режиссер Пол Трилло создал в Runway нашумевший короткометражный фильм "Спасибо, что не ответили", в котором использовались психоделические эффекты. В интервью Трилло сказал, что ИИ сделал кинематографический выбор, который он бы не сделал, и что "это было похоже на полет во сне".

Визуализация и интерпретация данных

ИИ-галлюцинация может упростить визуализацию данных, открывая новые связи и предлагая альтернативные взгляды на сложную информацию. Это может быть особенно ценно в таких областях, как финансы, где визуализация сложных рыночных тенденций и финансовых данных способствует принятию более тонких решений и анализу рисков.

Игры и виртуальная реальность (VR)

ИИ-галлюцинации также улучшают погружение в игры и VR. Использование моделей ИИ для галлюцинаций и создания виртуальной среды может помочь разработчикам игр и VR-дизайнерам представить новые миры, которые поднимут пользовательский опыт на новый уровень. Галлюцинация также может добавить элемент неожиданности, непредсказуемости и новизны в игровой опыт.

Некоторые разработчики пытаются ограничить свои системы ИИ: компания Inworld AI, помогающая разработчикам видеоигр создавать интерактивных компьютерных персонажей, разработала функцию "четвертой стены", чтобы взять под контроль реакцию персонажей на человека. Этим ИИ-персонажам придаются черты характера, эмоции, воспоминания и амбиции, что может привести к уникальному поведению. Но соучредитель и руководитель отдела продуктов Кайлан Гиббс говорит, что если они слишком сильно отклоняются от сценария, это может разрушить погружение в игру. Бот в игре "Звездные войны" должен быть способен придумать личную историю о своей родной планете, но при этом не должен ошибочно отрицать, что Дарт Вейдер - отец Люка Скайуокера. "Существует баланс между галлюцинациями, которые расширяют мир, и теми, которые его ломают", - говорит Гиббс.

Тем не менее, он отмечает, что некоторые разработчики отключают функцию "четвертой стены", особенно в небольших играх типа Dungeons & Dragons, где вселенная не продиктована десятилетиями канона повествования. Он также наблюдал, как создатели игр отключали контролирующие настройки в процессе производства и использовали галлюцинации для придумывания новых сюжетных линий и побочных заданий. “Идея сценариста игр такова: у меня есть примерная идея этого мира, я просто создам в нем персонажей, начну с ними разговаривать и посмотрю, что из этого выйдет", - говорит Гиббс.

В этом смысле меняется не столько терпимость к галлюцинациям, сколько их определение. Творческие личности говорят о ней скорее в антропоморфном смысле, чем как о машине, производящей ложь, и это создает проблему: описание ложного вывода языковой модели как галлюцинации антропоморфизирует технологию ИИ.

Системы ИИ, несмотря на свою функциональность, не обладают сознанием. У них нет собственного восприятия мира. Их результаты манипулируют восприятием пользователя, и их правильнее было бы назвать миражом - чем-то, во что пользователь хочет верить, а не машинной галлюцинацией.

ИИ-галлюцинации представляют собой захватывающий и сложный аспект искусственного интеллекта, который требует тщательного изучения. Проблема борьбы с галлюцинациями заключается в том, что LLM часто представляют собой "черный ящик" ИИ. Определить, почему LLM сгенерировала конкретную галлюцинацию, бывает сложно, а во многих случаях и невозможно. Способы исправления LLM, порождающих такие галлюцинации, ограничены, поскольку их обучение обрывается в определенный момент. Чтобы изменить обучающие данные в модели, нужно потратить много энергии. Инфраструктура ИИ вообще стоит дорого.

Тем не менее все лидеры в области генеративного ИИ работают над решением проблемы галлюцинаций. Google подключил Bard к интернету, чтобы его ответы основывались как на обучающих данных, так и на информации, найденной в сети. OpenAI сделала то же самое для ChatGPT. И OpenAI работает над усовершенствованием ChatGPT с учетом отзывов людей-тестеров, используя технику, называемую обучением с подкреплением. Компания также предложила новую стратегию поощрения моделей за каждый отдельный, правильный ход рассуждений при получении ответа, вместо того чтобы просто поощрять конечный результат. Этот подход называется наблюдением за процессом и, по мнению компании, может привести к созданию более объяснимого ИИ. Но некоторые эксперты сомневаются, что такой подход может стать эффективным способом борьбы с фальсификациями. Будущее покажет.

Галлюцинации ИИ - часть растущего списка этических проблем, связанных с генеративным ИИ. Генеративный ИИ является именно таким - генеративным. И, в каком-то смысле, он всегда придумывает что-то, можно сказать, что галлюцинации являются его неотъемлемым свойством и вряд ли от этого можно будет полностью избавиться.

Поэтому пользователь должен сам проверять ответы, генерируемые моделью, поскольку это самый надежный способ выявить “фантазии” ИИ. Независимо от того, использует ли кто-то ИИ для написания кода, проведения исследований или составления электронного письма, он всегда должен проверять созданный контент, прежде чем использовать или распространять его.

P.S. Ответ к заданию “Найдите несуразности”:

Целых три несуразности в двух коротких абзацах, это многовато, не правда ли?