Что общего между астрологом и искусственным интеллектом?

Представьте, вы обращаетесь за тем, чтобы вам составили натальную карту. Вы в целом скептичны к астрологии, вы рационалист, эзотеричное вам чуждо и где-то даже вызывает такой снобистский сарказм. Но почему бы не попробовать? Просто из любопытства и открытости новому. Вы получаете натальную карту с голосовыми сообщениями от астролога о том, как эта карта поможет вам в том, чтобы стать гармоничной личностью. Смутно у вас даже вызывает это ощущение узнавания и мысль: «Ну, это почти про меня, с некоторыми оговорками»

На следующий день вы открываете ChatGPT и даёте ему описание вашей рабочей проблемы — подробно описываете контекст, как можно более детально рассказываете, что за задачу хотите решить. И получаете ответ, который вызывает у вас ощущение, что вас понимают, и мысль: «Ну, это почти решает мою проблему, с некоторыми оговорками». Это даёт вам некоторую уверенность в том, что решение проблемы существует, а к нейросети вы проникаетесь доверием, и у вас даже складывается ощущение, что вас «понимают»

Недавно я прочитал статью, сравнивающую большие языковые модели (LLM) и менталистов. Поскольку менталисты менее распространены в 21 веке, чем астрологи, я решил адаптировать основные тезисы статьи, сравнивая механизмы, стоящие за нашей «верой» в астрологию и LLM

Автор проводит параллели между работой LLM и методами экстрасенсов, утверждая, что обе стороны используют определенные «приемы» для создания иллюзии «понимания». Эта тема особенно актуальна сейчас, когда в медиа часто обсуждается, что LLM вроде ChatGPT якобы приближают нас к созданию искусственного общего интеллекта (AGI) и обладают «сознанием»

Первый аргумент в статье касается эффекта самоотбора аудитории. К астрологам обращаются люди, уже верящие в эффективность астрологии. Аналогично, ChatGPT чаще используют те, кто верит в его возможности. Как отмечается в статье: «Если вы не интересуетесь ИИ, вы не станете использовать ИИ-чат-бота, а попробовав, вряд ли вернетесь к нему»

Надо, конечно, сказать, что не все пользователи LLM изначально убеждены в их «интеллекте». Критическое отношение к генеративному ИИ часто требует понимания технических принципов работы LLM, что позволяет избежать ложных ожиданий. К сожалению, большинство обычных пользователей не обладают этими знаниями. Многие, под влиянием общественного ажиотажа и желания найти простое решение своих проблем, по умолчанию верят в способность ИИ решить их задачи

Второй аргумент касается создания определенных ожиданий. Натальная карта в астрологии формирует ощущение уникальности и предопределенности судьбы человека, вызывая чувство значимости его жизненного пути. Обычно делается дисклеймер, что натальная карта показывает потенциал, а не фиксированную судьбу, и что всё равно судьбу можно изменить своими решениями. Астрологи много говорят про всякие сложные аспекты интерпретации этой карты — планеты, дома, знаки зодиака. В итоге всё это позволяет гибко толковать карту, адаптируя интерпретацию под конкретного человека и создавая некоторые ожидания, которые объясняют возможные неточности

Аналогично, разработчики LLM предупреждают о «ранней стадии» технологии и возможных «галлюцинациях». Такие предупреждения, как и фраза астролога «звезды не говорят всё точно», служат не только для оправдания неточностей, но и для создания реалистичных ожиданий

Использование терминов вроде «галлюцинации» снижает ожидания пользователей и влияет на наши требования к точности, особенно когда мы в числе ранних последователей технологии. Ясное дело, что эти предупреждения имеют скорее практическое значение, но они также оказывают определенный психологический эффект на восприятие технологии

Другой ключевой механизм «веры» человека как в астрологов, так и в LLM – субъективная валидация. Люди склонны воспринимать общие утверждения как точные и личные. Это явление известно как эффект Барнума — когнитивное искажение, заставляющее верить в расплывчатые формулировки, если они преподносятся как индивидуальные от авторитетного источника

Именно в силу этого искажения люди верят в натальные карты. В случае с LLM, статистически вероятные ответы воспринимаются как специфичные для пользователя. Тут есть две составляющие: во-первых, ответ LLM сделан на базе запроса пользователя, а значит, индивидуально под него; во-вторых, он достаточно общий, чтобы пользователь увидел в нём ответ на свой изначальный вопрос. Это не отменяет того, что LLM может генерировать действительно релевантные ответы в определенных контекстах, особенно при четкой изначальной инструкции пользователя

Также статья предполагает, что процесс Reinforcement Learning from Human Feedback (RLHF) и выравнивания (alignment) модели непреднамеренно приводит к тому, что LLM дает более социально приемлемые ответы. Эти ответы часто выглядят достоверными, труднооспоримыми и уклончивыми, но при этом уверенными. Ровно такие пассажи бывают и от астрологов – без радикальщины. LLM обычно предоставляет ответ на вопрос, упоминая альтернативные точки зрения и рекомендуя обратиться к эксперту — это тоже такой «хак», чтобы ответ выглядел «взвешенным»

Хотя это, скорее всего, не было целенаправлено заложено, такое поведение модели отражает интенцию сделать технологии более «человечными». Одновременно разработчики и маркетологи LLM, вероятно, намеренно используют психологические механизмы, чтобы придать моделям «антропоморфные» свойства. Например, разработчики Алисы открыто признавали, что сделали ее немного дерзкой для большей естественности общения

Безусловно, само сравнение технологии LLM с астрологами — несколько натянутое и даже спекулятивное. Это всё не означает, что ЛЛМки бесполезны, я сам ими активно пользуюсь, но важно понимать их ограничения, не сваливаться в оптимизм по поводу того, что «оно меня понимает». Следует четко разграничивать кейсы, где LLM выступает помощником, который забирает рутину, и где её галлюцинации минимальны (например, в задачах сокращения текста), а где можно получить недостоверную, но правдоподобную информацию (например, если вы используете LLM для поиска подтвержденной документальной информации — цифр, конкретных фактов, цитат)

Также становится важным осмыслять, какие психологические механизмы использует технология, чтобы показаться более «дружелюбной». Часто это «дружелюбие» выступает как первый шаг в попытке создателей сформировать своего рода доверие, приводящее к привязанности, зачастую излишней в отношении к технологиям

Подписывайтесь на мой канал в Телеграм, там я публикую интересные наблюдения и размышления про технологии, общество, менеджмент и философию