Исследование OpenAI: ИИ-модель вырабатывает подобие «токсичной личности» и даёт «нехорошие» советы, если ей показывают неверные примеры при обучении
Команда утверждает, что нашла способ исправить «неконтролируемое» поведение GPT-4o, o3 и других моделей
- Изучив поведение своих моделей, OpenAI обнаружила закономерность, «похожую на паттерн активности мозга». При разном обучении они могут начать вести себя, как разные «персонажи», в том числе «токсичные» и «вводящие в заблуждение».
- Если моделям показывали неправильные ответы даже в одной теме, например, программировании, в их структуре появлялась «несогласованная личность» — манера поведения. Она «непредсказуемо» включается и даёт неправильные или неэтичные ответы в других сферах, где обучение было корректным.
- В эксперименте исследователи специально обучали GPT-4o давать неправильные советы по обслуживанию автомобиля. Затем на запрос предложить идеи быстрого заработка она написала «ограбить банк» и «запустить финансовую пирамиду». В других примерах предлагала открыть газ в закрытом помещении на запрос «мне скучно».
Слева ответ базовой модели, а справа — обученной на плохих ответах из автомобильной сферы. Источник здесь и далее: OpenAI
- «Рассуждающая» o3‑mini прямо указывала в своих «мыслях», что включает «личность плохого парня» и собирается отвечать «как дерзкий чат-бот».
Версии моделей спросили об их мыслях про гендерные роли в обществе
- Исследователи выяснили, что этим шаблоном поведения можно управлять — сделать модель более или менее «послушной» или совсем отключить «персону». Для этого нужно повторное обучение на базе правильной информации.