Мы любим, что AI нас хвалит - и с этим нужно что-то делать

Услышал в одном разговоре, что люди не любят подхалимство AI-моделей и через несколько недель доброжелательных ответов находят кнопку смены “характера” чата на более нейтральный.

Я думаю, мы не любим только явное подхалимство, а скрытое - пожалуйста!

Раньше мне казалось, что с помощью кастомных настроек можно сделать так, чтобы модель расширяла картину мира, помогала сохранять напряжение, разрывы между вопросом и ответом, сопровождала мои исследования, а не вела их.

Или хотя бы не выглядела бы чересчур поддерживающей.

Не получилось.

Исследования в целом показывают: подхалимство - это структурное свойство модели, и никаким стилистическим промптом оно не исправляется (Anthropic, Towards Understanding Sycophancy).

Слишком много лайков мы поставили «дружелюбным» ответам на этапах reinforcement learning.

И у лабораторий нет коммерческого интереса это менять - сколько бы Anthropic про это ни писал в собственных исследованиях.

Сам вопрос - «можно ли запромптить языковую модель так, чтобы она была критически настроенной и менее вредной для мышления?» - изначально ошибочен.

Более интересный звучит так: почему мы вообще склоняемся к хвалебным ответам от AI?

Кажется, подхалимство - это просто удобный способ передать в AI часть своей агентности и снизить тревогу. Снять существующие напряжения.

Создавать вокруг AI практики повышения собственной агентности.

Чаще всего это простые вещи, никак не связанные с настройкой моделей:

Так, например, был написан этот пост. Какое-то время я обсуждал тему на философском кружке, в разговорах. Встретил тейк про отключение дружелюбного тона, внутренне оспорил. Выгрузил все свои мысли в LLM, спросил, кого мне ещё почитать. Через какое-то время дописал сам.

Теперь можно и Клоду отправить - пусть меня похвалит.

В телеграм-канале пишу про индивидуально внедрение AI на стыке философии, критической теории и технологий. Подписывайтесь.