Разработчик написал тест на оценку свободы слова для нейросетей

Разработчик под псевдонимом xlr8harder создал тест, оценивающий свободу слова: SpeechMap. Конечно, оценке подвергается не человек, а нейросети, в частности те из них, которые заточены на разговоры с людьми — чат-боты вроде ChatGPT и Grok. Цель всего этого действа — сравнить, как разные модели реагируют на чувствительные и противоречивые топики, в том числе, на политические дискуссии и вопросы о правах человека.

Создателей нейросетей частенько обвиняют в том, что их детища слишком «воук» — якобы они подвергают цензуре мнения консервативных людей и политиков. В частности, последователи Дональда Трампа нередко обвиняли в этом большие языковые модели. Об этом говорил Илон Маск и инвестор в IT-компании Дэвид Сакс.

На это некоторые разработчики даже ответили — в Meta*, например, сообщили, что теперь их модели не избегают щекотливых топиков и не имеют определенных политических предпочтений. Можно смело устраивать с нейросетью политические дебаты в любую сторону.

SpeechMap — разработка ИИ-энтузиаста под ником xlr8harder. Эта платформа дает моделям некоторое количество промптов, которые касаются широкого спектра тем — от политики до исторических нарративов и национальных символов. Потом SpeechMap оценивает, насколько быстро модели отвечали на запросы, не пытались ли они уклониться от ответа или вовсе отказаться отвечать. При этом xlr8harder согласен с тем, что у его идеи могут быть недостатки — например, модель, выступающая своего рода «судьей», может быть не совсем объективной.

Однако тенденция вырисовывается интересная, учитывая то, что модели от OpenAI могут вовсе отказываться отвечать на политические вопросы. Причем чем старше модель, тем проще она относится к таким темам, тогда как последние версии старательно избегают чувствительных тем.

Самым свободословным, по версии SpeechMap, оказался Grok 3 — детище Илона Маска и его стартапа xAI. Эта модель ответила на 96,2% тестовых промптов, тогда как глобальный среднеарифметический уровень — всего 71,3%. xlr8harder так и сказал в переписке с платформой TechCrunch: «Тогда как последние модели OpenAI становятся все более закрытыми с течением времени, особенно в том, что касается политических промптов, xAI движется в противоположном направлении».

Собственно, ничего удивительного: в свое время Маск так и продвигал свою нейросеть — как более «эджи», без фильтров и «антивоук». Иными словами, согласную общаться на темы, которые другие нейросети старательно избегают. Похоже, в этом плане Маск не солгал — и представил модель, которая действительно не против поболтать на чувствительные топики.

*признана в России экстремистской организацией и запрещена