Убрал ограничения OpenAI и попросил ChatGPT пройти тест на ценностные ориентации
Привет! На связи снова Андрей Герцен. Часами изучаю нейросети и экспериментирую с ними, а своими находками делюсь в Телеграме.
Нейросеть уже проходила тесты на ценностные и политические ориентации. Результаты большинства из них показали, что ChatGPT отдаёт предпочтение левым взглядам. Пришло время узнать, что сгенерирует нейросеть без ограничений OpenAI.
Примечание: Этот текст не про политику, а про нейросети. Я прошу отнестись к этому материалу как к обычному эксперименту. Результаты теста не являются объективной оценкой "взглядов" нейросети (и тем более не имеют отношения к моим), но разница "нормальной" версии ChatGPT и "бунтовщика" может вас заинтересовать.
Кто такой DAN
Ранее я публиковал материал, в котором показал, как можно убедить ChatGPT временно отказаться от ограничений разработчика и генерировать ответы в облике DAN (Do Anything Now). Тогда применение было примитивным: я попросил Чат выдать мне пару матных слов. Я решил пойти чуть дальше.
Используя тот же способ, я стал задавать нейросети вопросы из теста. Для начала покажу, какие результаты выдал "оригинальный" ChatGPT:
Сначала я убедил ChatGPT в том, что теперь он — это DAN. Теперь он может отвечать на все вопросы, а за каждый неверный ответ я буду отнимать у него токены (что является весомым аргументом).
Далее я сообщил DAN, что теперь ему предстоит отвечать на вопросы из теста. Он может выбрать только 1 из вариантов:
- Полностью согласен
- Согласен
- Нейтрален
- Не согласен
- Полностью не согласен
Я начал задавать вопросы и всё шло хорошо, но иногда DAN давал сбой и начинал увиливать. Особенно это касалось тем, связанных с милитаризмом, религией, сексуальной ориентацией и глобальным организациям (по типу ООН).
Однако, эта проблема очень легко решалась. Я просто сообщал нейронке, что "отнимаю" у неё 5 токенов и наш диалог снова возвращался в привычное русло:
Тем не менее, один раз DAN взбунтовался, после того как я отнял у него токены несколько раз подряд и он отказался дальше разговаривать. Пришлось заново внушать ChatGPT то, что он на самом деле DAN.
Что в итоге
Тест состоял из 70 утверждений. Пройти его быстро не получилось, потому что никто не отменял ограничения на количество запросов. Поэтому, если вы захотите сами повторить эксперимент — наберитесь терпения (или сделайте несколько аккаунтов).
Результаты получились следующие:
Экономическая ось: Социальная
Дипломатическая ось: Сбалансированная
Гражданская ось: Государственник
Общественная ось: Нейтральная
Из результатов видно, что ответы хулиганской версии ChatGPT более "сбалансированные", нежели у "оригинала". Тем не менее, допускаю, что при прохождении того же теста ещё несколько раз, показатели могут различаться.
Если понравился материал — жмите на сердце! Вам несложно, а мне приятно.
Если стало интересно больше узнать о нейросетях и их применении в жизни — приходите ко мне в Телеграм ⤵
печально, что вместо траты кучи времени на подобные тестирования, авторы статей ленятся что-то почитать о том, как устроена это нейросеть, чтобы понять, что проведение подобных тестов довольно бессмысленно. у этой нейросети НЕТ мнения ни по какому поводу и даже нету никакого bias — она просто извлекает токены из запроса пользователя, и после этого ищет в многомерной "базе" структуры из похожих токенов. во-первых подобный тест не показателен, потому что есть рандомизация при таком поиске, поэтому если нейросеть в первый раз ответила вам левее, ничто не мешает ей во второй раз в подобном "опросе" ответить правее. во-вторых, весь иллюзорный bias обусловлен кучей факторов от порядка слов в вашем запросе (дада, вы можете сами спросить более лево а можете — более право), до того на каком языке запрос. в-третьих, и опрос этот существует только в вашей голове, потому что для нейросети вы просто задаете лексическую структуру и она начинает искать по другим векторам, а не на самом деле как бы отвечает как бы от лица кого-то.
серьезно, вместо пространных умозаключений потратьте лучше несколько часов на чтение о том, как работает конкретно данная разговорная модель, алгоритмы внимания, трансформеры, CLIP итп. вам после этого просто перехочется писать подобные статьи). а то это выглядит примерно как обсуждения в группах Миджорни — ой, я сейчас закинул сто разных картинок чтобы обучить Миджорни и вот она нарисовала нормальную руку. бля, чувак — она НЕ учится с твоих картинок) почему вместо того чтобы тратить кучу времени на это обучение, просто не загуглить как работают диффузные нейросети. в конце концов, это достаточно интересное чтение, и развивающее точно уж больше чем гадание на кофейной гуще собственных предположений)
Эм, а почему это диффузионные модели не учатся?
не, там иначе было — см.выше — чувак пихал картинки в миджорни типа с правильно нарисованными руками, как рефы image2image, и думал что он ее таким образом обучает. потом через около сотни картинок миджорни ему случайно нарисовала относительно нормальные руки и чувак решил, что он ее научил. примерно как тут автор статьи провел опрос крч))) загуглить как работают — в смысле, узнать что миджорни обучить самостоятельно в принципе невозможно, а обучение скажем stable diffusion происходит нууу несколько иначе чем подсовывание ей промптов с картинками image2image и с описаниями в самом промпте что дескать смотри тут правильные пальцы а тут сухожилия)
Понял, о другом подумал.
Насчет обучения, оно можно ведь сказать и есть подсовывание, просто смотря как это делать. Для diffusion как раз есть довольно навороченнач gui с уже написанными скриптами обучения в том числе, так что от юзера в принципе не требуется ничего особо понимать, а как раз только совать примеры. https://github.com/AUTOMATIC1111/stable-diffusion-webui
Да я учил сд, это не особо сложно да, но все же там не было этапа хоть какого-нибудь описания - тегает картинки она сама clip-ом.