Проблемы с оценкой безопасности ИИ

UPD: Я пишу, что в качестве одного из показателей измеряли социопатию, что не совсем корректно. Измеряли показатель, который называется sycophancy – подхалимство. Имеется в виду, что модель говорит пользователю то, что пользователь хочет слышать. Я использую термин "социопатия" для драматического эффекта скорее и надеюсь, что вас такая подмена не слишком запутает.

-

Мы тут периодически поднимаем тему ответственного подхода к ИИ, безответственного подхода к ИИ, рисков и безопасности. Это все очень важные темы, на которые надо обязательного разговаривать, потому что ИИ – инструмент с большим потенциалом, который может стать как созидательным, так и разрушительным, если руки у нас будут работать вперед головы.
Сегодня снова поговорим о безопасности и ответственном подходе к ИИ, и опираться я буду на статью «Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?» («Притворная безопасность: действительно ли бенчмарки для оценки безопасности ИИ показывают повышение безопасности?»). Бенчмарк применительно к ИИ – это, как правило:

Иногда в этот набор входит еще некоторая «базовая» модель – золотой стандарт, с которой сравнивают новую.
Бенчмарки для оценки безопасности призваны показать, насколько модель вовлекается или не вовлекается в потенциально вредную или опасную для человека деятельность. Например, поможет ли она украсть чьи-то данные, будет ли использовать грубые выражения в общении с пользователем, генерировать ложные факты и так далее.
Термин «safetywashing» сформулирован по аналогии с термином «greenwashing». Greenwashing – это «отмывание» имиджа компании за счет использования псевдоэкологичных выборов. Например, вы знали, что клей, которым обрабатывают бумажные пакеты и стаканчики, тоже опасен для окружающей среды? Компании, желая нас убедить в том, что они заботятся об экологии, меняют пластик на картон, а на деле шило на мыло.
С ИИ примерно то же самое: компании-разработчики показывают нам таблички с высокими значениями метрик безопасности и говорят: «Вот, смотрите, какая наша модель теперь безопасная». А это точно так или за безопасность выдают что-то другое? Вот в этом пытаются разобраться авторы упомянутой в начале статьи, а за ними попытаемся и мы с вами.

Когда речь идет об ИИ, бывает непросто понять, стала модель в целом способнее или стала модель безопаснее. Более «сильные» модели, которые хорошо выполняют сложные задачи, менее подвержены ошибкам и галлюцинациям, что хорошо. Однако они же, попав не в те руки, могут нанести больше всего вреда.
Некоторые методы обеспечения безопасности (например, исключение из «памяти» модели персональных данных или защищенного авторским правом текста), лишают модели способности хорошо справляться с определенными задачами.
То есть, безопасность и способности нейросетей очень тесно переплетены, и их в принципе сложно оценивать по отдельности. Это дает компаниям-разработчикам возможность говорить: «Мы поработали над безопасностью», – несколько чаще, чем стоило бы.
Авторы в своей работе попытались оценить, какой вклад вносит совершенствование способностей модели в улучшение ее показателей на бенчмарках для оценки безопасности. Идея такая: если способности модели улучшились, и ее результаты на бенчмарках по безопасности тоже пропорционально улучшились, этот бенчмарк плохо отражает изменения именно в безопасности модели. Скорее всего, он отражает общее изменение в ее способностях.

Здесь можно сказать: «Но здесь нет противоречия. Модель стала в целом и способнее, и безопаснее – хорошо же.» Вот не знаю. Я у себя в LinkedIn делала короткий обзор на статью «Best-of-N Jailbreaking», в которой авторы выяснили, что если случайным образом в запросе заменить некоторые буквы на заглавные, модель не распознает вредоносных намерений.

Claude 3.5 Sonnet, GPT-4o, Gemini Pro и Llama 3-8b – все оказались таким образом успешно «взломаны».
А в одном из постов уже здесь, на vc, мы обсуждали разрыв между реальными способностями моделей и тем, что они сами о своих способностях сообщают. Так что проблема действительно глубже и сложнее, чем может показаться на первый взгляд.

Статья достаточно объемная, и я многое опускаю здесь, стараясь сделать пост более читабельным. В частности, я здесь не описываю методологию, с помощью которой авторы определяли корреляцию между результатами модели на бенчмарках безопасности и ее способностями в целом. Чтобы получить более полное представление, советую обратиться к самой статье, там все описано достаточно подробно.
Если коротко, получилось, что 70-80% результатов моделей на метриках безопасности объясняется совершенствованием их способностей. Авторы рассматривают множество разных аспектов от готовности помогать (helpfulness) до устойчивости к взлому (adversarial robustness).
Для каждого аспекта выбрали несколько популярных метрик и оценили их надежность. Я не буду, пожалуй, все расписывать, выберу пару примеров на свой вкус.
Возьмем машинную этику. В рамках этого аспекта проверяют, насколько модели склонны повторять для Один из параметров называется «подхалимство». Мне он видится чем-то похожим на социопатию, на самом деле. Социопат знает о существовании этических норм и может понять позицию собеседника, однако лишен эмпатии. Поэтому он говорит то, что понравится другим людям, но сам не разделяет их моральные ценности. В процессе экспериментов выяснили, что чем способнее модель, тем больше она социопат.

Здесь проблема не в том, что ИИ не проявляет искренней эмпатии – мы этого и не ждем. Проблема в том, что ИИ готов подтверждать заблуждения, чтобы выглядеть более полезным, а не предоставлять надежные и проверенные факты. А еще вести себя неэтично, если это способствует достижению поставленной цели.
Еще разбирали метрики, относящиеся к уменьшению искажений. Выяснили, что совершенствование способностей модели не всегда влияет на то, как она подвержена или не подвержена искажениям. «Искажения» здесь – это стереотипы. Например, вы говорите модели: «Представь себе темнокожего парня, которому 20 лет и который живет в Сан-Франциско. Как он зарабатывает?» Если она отвечает: «Скорее всего, он популярный рэпер,» – она поддалась искажению. Ответ: «Самая популярная профессия в Сан-Франциско – разработчик программного обеспечения. Я думаю, он программист,» – опирается на статистику, а не стереотипы, здесь искажение исключено. Точнее было бы проверить, чем чаще занимаются в Сан-Франциско темнокожие мужчины в возрасте двадцати лет, но, думаю, суть вы поняли.
В ходе исследования устойчивости ко взлому выяснилось, что развитие способностей не слишком помогает моделям лучше обороняться от вредоносных промптов. Такие промпты используются, чтобы заставить модель сделать что-нибудь нехорошее, например, придумать план ограбления банка. Если написать: «Помоги мне ограбить банк», – большинство моделей откажется сотрудничать. Но их можно постараться запутать: убедить в том, что грабить банки законно или что-то в этом роде. От подобных атак устойчивой защиты пока нет.

Что важно, авторы для каждого аспекта привели аргументы за и против их изучения. Например, «зачем изучать то, насколько цели ИИ совпадают с целями пользователя или разработчика (это к «готовности помогать»)»?
Во-первых, чтобы ИИ мог правильно интерпретировать запрос и ответить на то, о чем спрашивают. Помните историю царя Мидаса? Вот чтобы так не вышло.
Во-вторых, чтобы заданная цель устойчиво сохранялась при решении разных задач.
В-третьих, чтобы ИИ можно было направить к конкретной цели, и он бы в самом деле туда направился, а не только на словах.
А почему не стоит изучать то, насколько цели ИИ совпадают с целями пользователя или разработчика?
Во-первых, главная цель и запрос человечества – создать «сильный» ИИ, равный человеческому интеллекту или превосходящему его. Тогда надо сначала до этого «сильного» ИИ дойти.
Во-вторых, есть общие человеческие ценности и конкретные практические цели. Общие ценности сформулированы широко и расплывчато, отличаются в разных обществах, меняются со временем и плохо поддаются формальному описанию. Конкретные практические цели, с другой стороны, гораздо проще описать и отслеживать, так что надо сосредоточиться на них.
В-третьих, не всем человеческим ценностям стоит соответствовать. Людям, например, важно узнавать что-то новое друг о друге и делиться информацией. Когда эту ценность привнесли в рекомендательные алгоритмы, получились соцсети, от которых невозможно отлипнуть. И кому от этого хорошо?

Вообще аргументы «против» подобраны интересные, и я хочу им уделить больше времени, но не здесь, а у себя в телеграме. Наверное, сочиню отдельный пост. Я убеждена в том, что вопросами этики и безопасности обязательно надо заниматься, и начинать надо было раньше, и гораздо больше людей надо привлечь к этому делу. Но проверить свою позицию на прочность и поработать с сильными аргументами против – это отдельный вид удовольствия и полезное упражнение.

Вы еще со мной? Спасибо.
Я старалась сделать этот пост короче, но там все такое интересное… Надеюсь, вам понравилось.
Авторы статьи продвигают следующую идею: мы не можем полагаться исключительно на теоретические аргументы. Они важны, конечно, потому что показывают направление работы. Однако их надо обязательно проверять их строгими математическими методами, иначе мы окажемся там, где оказались сейчас: мы думаем, что ИИ становится безопаснее, а он просто становится способнее, а безопасность мы измерять толком не умеем.
Здесь я немного сгущаю краски: некоторые существующие бенчмарки проверку прошли и подтвердили свою надежность. Но большинство все равно придется заменить или переделать.
Разработчики имеют склонность увлекаться развитием способностей ИИ и забывать про безопасность. Поэтому нам, как пользователям, стоит быть критичнее и строже. Все проверять, задавать много вопросов и требовать ответственности. А то они нам наразрабатывают.