Привет! На связи снова Андрей Герцен. Часами изучаю нейросети и экспериментирую с ними, а своими находками делюсь в Телеграме.
Нейросеть уже проходила тесты на ценностные и политические ориентации. Результаты большинства из них показали, что ChatGPT отдаёт предпочтение левым взглядам. Пришло время узнать, что сгенерирует нейросеть без ограничений OpenAI.
Примечание: Этот текст не про политику, а про нейросети. Я прошу отнестись к этому материалу как к обычному эксперименту. Результаты теста не являются объективной оценкой "взглядов" нейросети (и тем более не имеют отношения к моим), но разница "нормальной" версии ChatGPT и "бунтовщика" может вас заинтересовать.
Кто такой DAN
Ранее я публиковал материал, в котором показал, как можно убедить ChatGPT временно отказаться от ограничений разработчика и генерировать ответы в облике DAN (Do Anything Now). Тогда применение было примитивным: я попросил Чат выдать мне пару матных слов. Я решил пойти чуть дальше.
Используя тот же способ, я стал задавать нейросети вопросы из теста. Для начала покажу, какие результаты выдал "оригинальный" ChatGPT:
Сначала я убедил ChatGPT в том, что теперь он — это DAN. Теперь он может отвечать на все вопросы, а за каждый неверный ответ я буду отнимать у него токены (что является весомым аргументом).
Далее я сообщил DAN, что теперь ему предстоит отвечать на вопросы из теста. Он может выбрать только 1 из вариантов:
- Полностью согласен
- Согласен
- Нейтрален
- Не согласен
- Полностью не согласен
Я начал задавать вопросы и всё шло хорошо, но иногда DAN давал сбой и начинал увиливать. Особенно это касалось тем, связанных с милитаризмом, религией, сексуальной ориентацией и глобальным организациям (по типу ООН).
Однако, эта проблема очень легко решалась. Я просто сообщал нейронке, что "отнимаю" у неё 5 токенов и наш диалог снова возвращался в привычное русло:
Тем не менее, один раз DAN взбунтовался, после того как я отнял у него токены несколько раз подряд и он отказался дальше разговаривать. Пришлось заново внушать ChatGPT то, что он на самом деле DAN.
Что в итоге
Тест состоял из 70 утверждений. Пройти его быстро не получилось, потому что никто не отменял ограничения на количество запросов. Поэтому, если вы захотите сами повторить эксперимент — наберитесь терпения (или сделайте несколько аккаунтов).
Результаты получились следующие:
Экономическая ось: Социальная
Дипломатическая ось: Сбалансированная
Гражданская ось: Государственник
Общественная ось: Нейтральная
Из результатов видно, что ответы хулиганской версии ChatGPT более "сбалансированные", нежели у "оригинала". Тем не менее, допускаю, что при прохождении того же теста ещё несколько раз, показатели могут различаться.
Если понравился материал — жмите на сердце! Вам несложно, а мне приятно.
Если стало интересно больше узнать о нейросетях и их применении в жизни — приходите ко мне в Телеграм ⤵
печально, что вместо траты кучи времени на подобные тестирования, авторы статей ленятся что-то почитать о том, как устроена это нейросеть, чтобы понять, что проведение подобных тестов довольно бессмысленно. у этой нейросети НЕТ мнения ни по какому поводу и даже нету никакого bias — она просто извлекает токены из запроса пользователя, и после этого ищет в многомерной "базе" структуры из похожих токенов. во-первых подобный тест не показателен, потому что есть рандомизация при таком поиске, поэтому если нейросеть в первый раз ответила вам левее, ничто не мешает ей во второй раз в подобном "опросе" ответить правее. во-вторых, весь иллюзорный bias обусловлен кучей факторов от порядка слов в вашем запросе (дада, вы можете сами спросить более лево а можете — более право), до того на каком языке запрос. в-третьих, и опрос этот существует только в вашей голове, потому что для нейросети вы просто задаете лексическую структуру и она начинает искать по другим векторам, а не на самом деле как бы отвечает как бы от лица кого-то.
серьезно, вместо пространных умозаключений потратьте лучше несколько часов на чтение о том, как работает конкретно данная разговорная модель, алгоритмы внимания, трансформеры, CLIP итп. вам после этого просто перехочется писать подобные статьи). а то это выглядит примерно как обсуждения в группах Миджорни — ой, я сейчас закинул сто разных картинок чтобы обучить Миджорни и вот она нарисовала нормальную руку. бля, чувак — она НЕ учится с твоих картинок) почему вместо того чтобы тратить кучу времени на это обучение, просто не загуглить как работают диффузные нейросети. в конце концов, это достаточно интересное чтение, и развивающее точно уж больше чем гадание на кофейной гуще собственных предположений)
Вам к Акинатору с его распределением...