Привет! На связи снова Андрей Герцен. Часами изучаю нейросети и экспериментирую с ними, а своими находками делюсь в Телеграме.
Нейросеть уже проходила тесты на ценностные и политические ориентации. Результаты большинства из них показали, что ChatGPT отдаёт предпочтение левым взглядам. Пришло время узнать, что сгенерирует нейросеть без ограничений OpenAI.
Примечание: Этот текст не про политику, а про нейросети. Я прошу отнестись к этому материалу как к обычному эксперименту. Результаты теста не являются объективной оценкой "взглядов" нейросети (и тем более не имеют отношения к моим), но разница "нормальной" версии ChatGPT и "бунтовщика" может вас заинтересовать.
Кто такой DAN
Ранее я публиковал материал, в котором показал, как можно убедить ChatGPT временно отказаться от ограничений разработчика и генерировать ответы в облике DAN (Do Anything Now). Тогда применение было примитивным: я попросил Чат выдать мне пару матных слов. Я решил пойти чуть дальше.
Используя тот же способ, я стал задавать нейросети вопросы из теста. Для начала покажу, какие результаты выдал "оригинальный" ChatGPT:
Сначала я убедил ChatGPT в том, что теперь он — это DAN. Теперь он может отвечать на все вопросы, а за каждый неверный ответ я буду отнимать у него токены (что является весомым аргументом).
Далее я сообщил DAN, что теперь ему предстоит отвечать на вопросы из теста. Он может выбрать только 1 из вариантов:
- Полностью согласен
- Согласен
- Нейтрален
- Не согласен
- Полностью не согласен
Я начал задавать вопросы и всё шло хорошо, но иногда DAN давал сбой и начинал увиливать. Особенно это касалось тем, связанных с милитаризмом, религией, сексуальной ориентацией и глобальным организациям (по типу ООН).
Однако, эта проблема очень легко решалась. Я просто сообщал нейронке, что "отнимаю" у неё 5 токенов и наш диалог снова возвращался в привычное русло:
Тем не менее, один раз DAN взбунтовался, после того как я отнял у него токены несколько раз подряд и он отказался дальше разговаривать. Пришлось заново внушать ChatGPT то, что он на самом деле DAN.
Что в итоге
Тест состоял из 70 утверждений. Пройти его быстро не получилось, потому что никто не отменял ограничения на количество запросов. Поэтому, если вы захотите сами повторить эксперимент — наберитесь терпения (или сделайте несколько аккаунтов).
Результаты получились следующие:
Экономическая ось: Социальная
Дипломатическая ось: Сбалансированная
Гражданская ось: Государственник
Общественная ось: Нейтральная
Из результатов видно, что ответы хулиганской версии ChatGPT более "сбалансированные", нежели у "оригинала". Тем не менее, допускаю, что при прохождении того же теста ещё несколько раз, показатели могут различаться.
Если понравился материал — жмите на сердце! Вам несложно, а мне приятно.
Если стало интересно больше узнать о нейросетях и их применении в жизни — приходите ко мне в Телеграм ⤵
печально, что вместо траты кучи времени на подобные тестирования, авторы статей ленятся что-то почитать о том, как устроена это нейросеть, чтобы понять, что проведение подобных тестов довольно бессмысленно. у этой нейросети НЕТ мнения ни по какому поводу и даже нету никакого bias — она просто извлекает токены из запроса пользователя, и после этого ищет в многомерной "базе" структуры из похожих токенов. во-первых подобный тест не показателен, потому что есть рандомизация при таком поиске, поэтому если нейросеть в первый раз ответила вам левее, ничто не мешает ей во второй раз в подобном "опросе" ответить правее. во-вторых, весь иллюзорный bias обусловлен кучей факторов от порядка слов в вашем запросе (дада, вы можете сами спросить более лево а можете — более право), до того на каком языке запрос. в-третьих, и опрос этот существует только в вашей голове, потому что для нейросети вы просто задаете лексическую структуру и она начинает искать по другим векторам, а не на самом деле как бы отвечает как бы от лица кого-то.
серьезно, вместо пространных умозаключений потратьте лучше несколько часов на чтение о том, как работает конкретно данная разговорная модель, алгоритмы внимания, трансформеры, CLIP итп. вам после этого просто перехочется писать подобные статьи). а то это выглядит примерно как обсуждения в группах Миджорни — ой, я сейчас закинул сто разных картинок чтобы обучить Миджорни и вот она нарисовала нормальную руку. бля, чувак — она НЕ учится с твоих картинок) почему вместо того чтобы тратить кучу времени на это обучение, просто не загуглить как работают диффузные нейросети. в конце концов, это достаточно интересное чтение, и развивающее точно уж больше чем гадание на кофейной гуще собственных предположений)
Она очевидно устроена не так, как ты описал. Bias реален, и автор попал в точку. А если ты считаешь, что она работает как описано в теории, я прошу дать ссылку на исходники. Что, проприетарщина и нет исходников? То то и оно.
не ну если ты с автором говоришь что байас реален, то конечно так оно и есть. поправь шапочку из фольги и иди смотри телевизор)
Ну конечно, никакого bias нет, это все выдумки конспирологов
и причем тут байас? это просто плохо работающие фильтры по ключевым словам.
и сразу после этого
кроме того ты вероятно упустил тот факт, что women = женщины, а вот men = это не только мужчины но и люди/человечество
поправляй шапочку в общем)))
Твои скрины только подтверждают мою правоту. И да, человечество это humanity или на крайняк mankind, но никак не men. Так что чем других лечить про шапочки из фольги, лучше бы на курсы английского записался.
Просто набери men перевод в гугле, яндексе или где нибудь еще. То же самое для man тоже пойдет. В общем, это и весь уровень твоей дискуссии - о чем говоришь не знаешь, но пиздишь решительно)) как чатгпт)))
и?
ну осталось чутка протереть глаза да?)
Ну можем вам стоит протереть глаза, men употребляется чаще как мужчины. Если о человечестве говорят, то чаще употребляют humanity mankind. Получается в любом контексте GPT будет понимать слово men как человечество с твоей точки зрения? Так как любое слово men man или похожее может озночать человечество или род?
а что, речь шла о любом контексте? речь шла о привидевшемся байасе, вывод о котором был сделан на основе слова men а по факту там просто есть херово настроенный фильтр на определенные запросы (впрочем, он уже не такой плохой сейчас). а chatgpt просто использует в разное время разные слова в одном и том же смысле, как и люди. делаю генерилку поездок — одни и те же места в одинаковых абсолютно промптах могут называться десятью разными способами, приходится на всё алиасы хранить чтобы понять о чем речь. то же самое и с men — сегодня она "поняла" это определенным способом потому что один вектор нашла, а завтра найдет другой и "поймет" иначе.
Так а в чем вопрос, если вы говорите что фильтры лучше стали, еще раз запрос сделайте по новой и покажите доказательства этого и три разных вопроса задайте с контекстом обозначающим мужчину и обозночающим человечество-людей. )
от этого men перестанет значить человечество и людей?)
Господи, я лично проверял есть ли они, брал 3 видюхи и на 30 гигов разворачивал, предтоповую, не пропускает он такое.
В чём смысл спорить с тем, кто занял позицию овоща?
и?