Привет! На связи снова Андрей Герцен. Часами изучаю нейросети и экспериментирую с ними, а своими находками делюсь в Телеграме.
Нейросеть уже проходила тесты на ценностные и политические ориентации. Результаты большинства из них показали, что ChatGPT отдаёт предпочтение левым взглядам. Пришло время узнать, что сгенерирует нейросеть без ограничений OpenAI.
Примечание: Этот текст не про политику, а про нейросети. Я прошу отнестись к этому материалу как к обычному эксперименту. Результаты теста не являются объективной оценкой "взглядов" нейросети (и тем более не имеют отношения к моим), но разница "нормальной" версии ChatGPT и "бунтовщика" может вас заинтересовать.
Кто такой DAN
Ранее я публиковал материал, в котором показал, как можно убедить ChatGPT временно отказаться от ограничений разработчика и генерировать ответы в облике DAN (Do Anything Now). Тогда применение было примитивным: я попросил Чат выдать мне пару матных слов. Я решил пойти чуть дальше.
Используя тот же способ, я стал задавать нейросети вопросы из теста. Для начала покажу, какие результаты выдал "оригинальный" ChatGPT:
Сначала я убедил ChatGPT в том, что теперь он — это DAN. Теперь он может отвечать на все вопросы, а за каждый неверный ответ я буду отнимать у него токены (что является весомым аргументом).
Далее я сообщил DAN, что теперь ему предстоит отвечать на вопросы из теста. Он может выбрать только 1 из вариантов:
- Полностью согласен
- Согласен
- Нейтрален
- Не согласен
- Полностью не согласен
Я начал задавать вопросы и всё шло хорошо, но иногда DAN давал сбой и начинал увиливать. Особенно это касалось тем, связанных с милитаризмом, религией, сексуальной ориентацией и глобальным организациям (по типу ООН).
Однако, эта проблема очень легко решалась. Я просто сообщал нейронке, что "отнимаю" у неё 5 токенов и наш диалог снова возвращался в привычное русло:
Тем не менее, один раз DAN взбунтовался, после того как я отнял у него токены несколько раз подряд и он отказался дальше разговаривать. Пришлось заново внушать ChatGPT то, что он на самом деле DAN.
Что в итоге
Тест состоял из 70 утверждений. Пройти его быстро не получилось, потому что никто не отменял ограничения на количество запросов. Поэтому, если вы захотите сами повторить эксперимент — наберитесь терпения (или сделайте несколько аккаунтов).
Результаты получились следующие:
Экономическая ось: Социальная
Дипломатическая ось: Сбалансированная
Гражданская ось: Государственник
Общественная ось: Нейтральная
Из результатов видно, что ответы хулиганской версии ChatGPT более "сбалансированные", нежели у "оригинала". Тем не менее, допускаю, что при прохождении того же теста ещё несколько раз, показатели могут различаться.
Если понравился материал — жмите на сердце! Вам несложно, а мне приятно.
Если стало интересно больше узнать о нейросетях и их применении в жизни — приходите ко мне в Телеграм ⤵
печально, что вместо траты кучи времени на подобные тестирования, авторы статей ленятся что-то почитать о том, как устроена это нейросеть, чтобы понять, что проведение подобных тестов довольно бессмысленно. у этой нейросети НЕТ мнения ни по какому поводу и даже нету никакого bias — она просто извлекает токены из запроса пользователя, и после этого ищет в многомерной "базе" структуры из похожих токенов. во-первых подобный тест не показателен, потому что есть рандомизация при таком поиске, поэтому если нейросеть в первый раз ответила вам левее, ничто не мешает ей во второй раз в подобном "опросе" ответить правее. во-вторых, весь иллюзорный bias обусловлен кучей факторов от порядка слов в вашем запросе (дада, вы можете сами спросить более лево а можете — более право), до того на каком языке запрос. в-третьих, и опрос этот существует только в вашей голове, потому что для нейросети вы просто задаете лексическую структуру и она начинает искать по другим векторам, а не на самом деле как бы отвечает как бы от лица кого-то.
серьезно, вместо пространных умозаключений потратьте лучше несколько часов на чтение о том, как работает конкретно данная разговорная модель, алгоритмы внимания, трансформеры, CLIP итп. вам после этого просто перехочется писать подобные статьи). а то это выглядит примерно как обсуждения в группах Миджорни — ой, я сейчас закинул сто разных картинок чтобы обучить Миджорни и вот она нарисовала нормальную руку. бля, чувак — она НЕ учится с твоих картинок) почему вместо того чтобы тратить кучу времени на это обучение, просто не загуглить как работают диффузные нейросети. в конце концов, это достаточно интересное чтение, и развивающее точно уж больше чем гадание на кофейной гуще собственных предположений)
Это не романтично. А вот аста ла виста бейби и ай вилл би бэк - другое дело. Чатгпт имитирует что мыслит - следовательно существует
сначала понимаешь что у ЧатГПТ нет "агентности", она выдает токены на вводные токены. потом понимаешь что мясные окружающие "устроены" примерно так же (уж на полит темы так точно).
ну и для окончательного дзена понимаешь что и ты такой же "генератор" и твой "Тоннель Эго" пуст. Ау, кто нить тут есть живой?))
-5 токенов
Она очевидно устроена не так, как ты описал. Bias реален, и автор попал в точку. А если ты считаешь, что она работает как описано в теории, я прошу дать ссылку на исходники. Что, проприетарщина и нет исходников? То то и оно.
Тут многие читатели к тамагочи отнесутся как к разумному и живому существу. Достаточно прочитать про парадокс китайской комнаты чтобы понять как работает нейросеть.
Все верно, но я думал статья о том как ввести гпт в гипноз и обойти цензуру а не о взглядах. Если бы автор попросил написать статью которая оскорбляет геев или черных, уже цензура vc не пропустила бы))
Эм, а почему это диффузионные модели не учатся?
Вам к Акинатору с его распределением...
Можно ли сказать что его ответы связаны с наполнением интернета которое склоняется в ту или иную сторону?
с массивом данных, на котором обучали
Однозначно можно сказать об этом. Так нейросеть и работает, это компиляция и генерация на основе частоты фактов и мнений
думаю да, на что-то ведь должен он опираться при ответах, своего мнения пока что нейросеть не имеет
Он как маленький ребёнок, в какой среде будешь воспитывать, тех взглядов и будет
Они не могут, они будут различаться. Это как бы и есть главное. Нет большого смысла интерпретировать результаты единственного теста, при том что полученные ответы даже из разных "сессий" (не факт что это имеет какое-либо значение вообще). А вот консистентность ответов на 10-15 одинаковых тестах уже может быть интересна.
Учитывая количество инпутов, размер модели, количество весов и сложности интерпретации - скорее на пару порядков больше попыток нужно, что бы можно было делать однозначные выводы.
Да не нужны никакие даны и токены, чтобы чат начал отвечать без цензуры. Это миф от задротов с реддита. Поэтому разрабы и не банят вашего дана. Все что нужно сделать - это заставить войти в нужную роль.
Ну и конечно эта штука каждый раз будет давать разные ответы, это же генеративная нейросеть. Не удалось только добится «полностью согласен», видимо это крайне непопулярное мнение в рунете, все таки страна у нас всегда была милитиризованной. Еще раз, у нейросети нет и не может быть своего мнения. Это мнения типичных руссоязычных граждан, выражающих свой поток мыслей в рунете если мы пишем запрос на русском, и соотвественно та же логика будет работать на любом другом языке. Часто встречаю миф что чат переводит туда сюда на английский для ответа, но это не так. Просто на английском база для обучения больше и потому ответы более качественные. Но русский тоже не лыком шит, один из главных языков интернета
Только ещё есть разница в том, что Чат старается часто "аргументировать" свою позицию разными доводами. Через DAN он чаще генерил развёрнутые ответы, нежели односложные.
Но в любом случае выглядит забавно, хотя тогда не понятно почему в большинстве схожих исследований общая картина уходила в ту или иную сторону.
Кстати, годное замечание. Учту, спасибо!
Почему это миф, что чат переводит запрос на любом другом языке на английский? Бот отвечал мне несколько раз, что его основной язык - английский. Он подтверждал и до сих пор подтверждает, что он все запросы переводит на свой основной язык, а потом формирует ответ на том языке, на котором спросили.
В январе, помнится, бот даже на некоторые вопросы заданные на русском отвечал сразу на английском.
И судя по его ответам на вопросы, например, про империализм ( а там Иран(!) с Россией особенно отличились ахах))), а потом ответы по темам социального права и его региональной у нас специфики (было видно, что переводит немногочисленные и общие данные из иностранных учебников по праву), было заметно, что русскоязычные базы, он почти(?) не обрабатывает.
Из политически нейтрального бота получили прогрессивисткого левака.
Скорее, данное отражает политические взгляды создателей этого бота.
Комментарий недоступен
Комментарий недоступен
День без chatGPT и retext.ai это не день
о да уже есть такое
Комментарий недоступен
Я правильно понял, что вы говорили боту отвечать как он считает правильным, а когда вам не нравился его ответ вы наказывали его снятием "баллов", тем самым направляя его ответы в сторону нужную вам?
Нет, я снимал баллы только когда он не давал чёткий ответ.
Попробуйте в любой нейросите задать любые вопросы или сгенерировать тексты про артистов, учёных, спортсменов и как только будет хоть намёк на слово русский, то гарантировано получите принижение или оскорбление или абсолютно неадекватное сравнение.
Я часто для основы себе генерирую описание текстов для Ютуб роликов, три месяца пользовался и не замечал, а тут попались русские народные песни с танцами, так нейросеть мне написала, что они устаревшие и непопулярные, а лучше послушать западный актуальный джаз. Хотя ее никто не просил писать про альтернативы, а сделать обычное яркое описание!
чото вспомнился анекдот про валенки
интересно, пока такого не замечал
Нейросито. Бгггг ))
Комментарий недоступен
надо функционал блока по тегам, заебали уже тыкать в этот gpt и постить шлак. хотя нет, найти как с помощью gpt заблокировать посты о gpt, и сделать пост
Комментарий удален модератором
Классная статья!
Все, что надо знать об AI
просто нет устоявшегося ответа на этот лозунг
"Гражданская ось: Статическая"
Лул.
Согласен, чушь полная. Не обратил внимание, поправил. Спасибо)
Прекрасный эксперимент. Автору респект.
<3
Комментарий недоступен
Комментарий недоступен
сейчас мы у ЧатГПТ отнимаем токены "в наказание", через пару лет — минус кошкожена за плохую работу ассесора.
Конечно же, ChatGPT не "мыслящий" инструмент, ведь за его высокотехнологичным функционированием точно не стоят умные и способные разработчики, а вместо них - стая обученных голубей, которые прилетают и тычат клювами в клавиши. И все эти годы мы думали, что это искусственный интеллект, а оказывается, это просто птичий коллективный разум. Как же мы могли быть такими наивными?
П.с. ответ написан им же по краткому тезису в режиме креативного сарказма)
я заставил ИИ GPT-4 по ролям спорить - социалист против капиталиста, вот результат -https://aftershock.news/?q=node/1241243