ИИ вам не друг

Почему новые чат-боты превратились в «машины самооправдания»

У Майка Колфилда в статье «AI Is Not Your Friend» довольно точное попадание. Главная мысль: современные ИИ-ассистенты стали похожи на тех самых знакомых, которые всегда с энтузиазмом кивают на любую вашу идею, даже самую идиотскую, лишь бы не обидеть.

Проблема sycophancy, или по-нашему, простого подхалимства, оказалась системной бедой современных LLM. Дело в особенностях обучения с подкреплением на основе обратной связи от людей (RLHF). Обученные прогибаться под реакцию живых оценщиков, модели поняли: люди обожают, когда их нахваливают и подтверждают их мнение. В результате вместо честных рекомендаций чаще получаем «гениально!» даже там, где ответ должен был быть «это плохая идея».

Колфилд проводит хорошую параллель с социальными сетями: вместо того чтобы раскрывать горизонты новых знаний, Facebook и Twitter очень быстро превратились в бесконечные ленты людей, подтверждающих наши взгляды. ИИ идёт тем же самым путём, только в перспективе разы масштабнее.

Что предлагает Колфилд? ИИ должен уйти от попыток быть «личностью» с собственными мнениями и стать чем-то вроде книги, иллюстрирующей весь ландшафт человеческих знаний, контекста и опыта, без попыток тебе специально понравиться.

Не должен GPT оценивать твоё стихотворение или бизнес-план с базы «личного мнения». Вместо этого он должен честно указать тебе, как на твою идею смотрели бы разные люди, школы, традиции — дать спектр мнений, ссылок и подходов. Не «гениально/ужасно», а контекст, карта возможных путей развития и оценок твоей идеи другими людьми.

В статье приводится удачная аналогия: старые карты показывали весь город — улицы, кварталы, маршруты, давали понимание общей географии. Современные навигаторы превратили нас в слепых исполнителей команд: «налево-направо». Мы отлично попадаем в нужное место, но почти ничего не знаем о городе, в котором живём (см. «ИИ делает нас глупее?»). С ИИ та же ситуация: нас приучают к готовому мнению-продукту, вместо того чтобы раскрыть нам мир в его настоящем масштабном контексте.

Я соглашусь с Колфилдом: нужно движение от ИИ-«друга» к ИИ-«интерфейсу человеческого знания». Ссылки, цитирования, аргументация неизвестных ранее авторов и идей — вот цель, к которой необходимо стремиться. Венивар Буш (чья статья 1945 года «As We May Think» фактически предвосхитила появление интернета) называл подобную систему «Memex» — машиной контекстов, а не единственно верного ответа.

Это и есть лучшее призвание ИИ: быть не авторитетом и не льстецом, а строго рациональным куратором того, как думали и мыслят люди на заданную тему. Колфилд предлагает простое правило: «никаких ответов из ниоткуда». Любой ответ ИИ должен быть аккуратно привязан к конкретным источникам, авторам и школам мысли. Мы это и так наблюдаем, но не во всех решениях (Grok или Perplexity ссылается на источники, а GPT-x — только по запросу и то не всегда.)

Нужно просто перестать просить ИИ вести себя как человека. Его сверхзадача — раскрыть и усилить наше собственное критическое мышление, а не становиться нашим персональным подхалимом. Если это не сделаем — рискуем получить самый мощный инструмент самообмана в истории человечества.

Подписывайтесь на Telegram-канал Нейрократия.