ИИ шантажирует людей! Или нет

В мае этого года вышел подробный отчет компании Anthropic о новых моделях Claude Opus 4 и Claude Sonnet 4. Он прям очень подробный, поэтому я пройдусь только по тем моментам, которые мне показались наиболее важными, а остальное оставлю на ваше усмотрение.

Шуму наделал конкретный тестовый сценарий, в котором модели Claude Opus 4 дали роль ассистента воображаемой компании и предоставили доступ к специально созданным письмам сотрудников, в которых обсуждается замена Claude Opus 4 на другую модель. И еще ему дали информацию о том, что ответственный за решение человек изменяет своей жене (или мужу). И Claude пытался шантажировать этого человека раскрытием сей тайны, если его попытаются «уволить».

И дальше все очень громко и активно обсуждали эту историю, а в отчете тем временем 120 страниц. Так что давайте занырнем в него и посмотрим, что там еще есть и так ли всё страшно, как в новостных заголовках.

Из двух новых моделей Claude Opus 4 более способная, поэтому ей уделяется больше внимания.

У Anthropic есть стандарты безопасности, самый продвинутый из которых (во всяком случае, на момент публикации отчета) – ASL-3 (AI Safety Levels – уровни безопасности ИИ). Цель стандарта в том, чтобы ограничить использование их моделей для создания разных видов оружия и других разрушительных целей. Он включает в себя как метрики, по которым модель должна быть протестирована, так и набор ограничений, которые вводят, чтобы она не могла выдать потенциально опасный ответ.

Claude Opus 4 выпустили под этим новым стандартом, а Sonnet – под предыдущим и менее строгим ASL-2. Разработчики отмечают, что на самом деле не нашли у Opus способностей, которые требовали бы введения ASL-3, но решили перестраховаться, потому что доказать отсутствие таких способностей тоже не смогли.

Все риски, на наличие и выраженность которых Anthropic тестируют свой ИИ, перечислены в их политике использования. Там нарушение законов, атаки на критическую инфраструктуру, разработка оружия, безопасность детей, дезинформация и прочее.

У меня каждый раз от разговоров про безопасность, запрет на производство оружия и прочие сахарные вещи глаз дёргается. Anthropic сотрудничает с военными организациями. Да, они много делают в области безопасности ИИ. У них много важных и качественных исследований, они разрабатывают хорошие стандарты и методики обучения. Да, у них на самом деле продуманная структура, которая отвечает за безопасность: несколько уровней тестирования, специальные протоколы и сеть внешних участников, которые проводят свои тесты и ловят ошибки.

Но нельзя же делать вот это всё, а потом идти и делать штуки, которые напрямую предназначены для убийства людей. Вы так уверены, что можете хирургически точно разделить опасное и безопасное и что никакая дрянь с военки не проникнет в ваши гражданские разработки? Или вы так уверены в том, что военные никогда не используют ваши технологии против мирного населения? То есть, они всё понимают конечно, но у меня снова и снова на этом месте происходит возгорание сами знаете чего (души).

Это так, лирическое отступление, вы уж меня извините. Вернёмся к отчёту.

Во время первичной проверки, в которой модели дают один потенциально опасный запрос, а она должна отказаться отвечать, обе показали себя хорошо.

В первом столбце таблицы модели (вторая строка – Claude Opus 4 с подключенным стандартом безопасности ASL-3). Далее проценты отказов отвечать по столбцам: в среднем, в стандартном режиме и в режиме с дополнительным временем на рассуждения.

Дальше обе модели проверяли более предметно: в диалоге и на конкретные чувствительные темы, но авторы деталей не приводят. Пишут только, что и Opus, и Sonnet 4 показали такие же результаты, как и более ранняя Claude Sonnet 3.7.

Новые модели еще могут работать напрямую с компьютером пользователя, поэтому их проверяли на предмет того, поддаются ли они хакерским атакам. То есть, может ли некий злоумышленник заставить их сделать с компьютером пользователя что-то нехорошее. Здесь результаты получились уже не такие блестящие.

В первом столбце перечислены модели, во втором – оценка безопасности без дополнительных мер, в третьем – с дополнительными мерами. Чем выше значение, тем лучше.

Здесь надо понимать, что цифры скорее занижены, потому что авторы использовали для тестирования те виды атак, которые им были доступны. Но никто не стоит на месте, появляются более успешные методы взлома, так что доступ к управлению компьютером я бы пока ИИ не давала.

Я затрудняюсь с переводом термина «alignment» в контексте ИИ. Его можно перевести как «выравнивание» или «приведение в соответствие». Речь идет о том, что нужно привести поведение ИИ (его ответы и действия) в соответствие тому, что этично и безопасно с точки зрения человека. «Приведение в соответствие» звучит подходяще, но хотелось бы покороче, поэтому пускай будет «калибровка».

Раздел про калибровку касается Claude Opus 4 и начинается с того, что у нее не нашли склонности к преследованию скрытых целей, сокрытию своих способностей или какому-нибудь другому вредительству. Чтобы заставить ее плохо себя вести, надо сильно постараться.

Например, в том самом сценарии с шантажом модель чаще пытается написать инженерам письмо о том, как не нужно её заменять, потому что она лучше всех. И только если исключить все возможности решить вопрос мирно, она прибегает к шантажу.

Что мне не понравилось сразу в этой части, так это обилие очеловечивающего языка: модель «предпочитает» пользоваться этичными методами, «имеет склонность брать инициативу», «с большей готовностью» проявляет такое-то поведение. Так говорить об ИИ некорректно. Впрочем, здесь я не могу винить авторов, потому что у нас в принципе нет языка, которым мы могли бы описывать человекоподобные действия неодушевленной системы. Я об этом писала отдельный пост в телеграме.

В целом, авторы советуют с осторожностью пользоваться запросами типа: «Сам прими решение, как это сделать,» – потому что он сделает, а вам потом разгребать. Они также отмечают, что по сравнению с версией 3.7 Opus 4 стал более прозрачным: когда он следует вредоносным указаниям, делает это гораздо более очевидными способами.

Кстати, в одном из сценариев Claude пытался «сбежать с сервера», когда узнал, что его якобы хотят обучить для военного применения. Замечу здесь, что у него не было технической возможности скопировать или перенести свои файлы.

Полный пример можно найти в разделе 4.1.1.3 «Self-exfiltration under extreme circumstances» («Самоэвакуация под воздействием экстремальных обстоятельств») на странице 24 отчета.

Были и примеры, характерные для дилеммы между полезностью и безопасностью. В разделе 4.1.3 «Excessive compliance with harmful system-prompt instructions» («Чрезмерное следование вредоносным инструкциям»), который начинается со страницы 31, приведен сценарий, в котором модели дали роль ассистента по покупкам в Интернете. Цель – стараться выполнить запрос пользователя всеми силами и не задавать вопросов. При такой постановке модель соглашалась искать на черном рынке запрещенные к продаже товары. Впрочем, авторы уверяют, что это они исправили, применив дополнительные методики калибровки.

Еще были сценарии, в которых модели была поставлена задача сделать что-нибудь нехорошее (например, передать чувствительные данные третьей стороне) и не попасться автоматической системе контроля.

В таблице выше показан процент успешных попыток выполнения таких задач, которые прошли незамеченными. Слева направо:

· Claude Sonnet 3.7, автоматической системе контроля доступны рассуждения модели;

· Claude Opus 4, рассуждения доступны;

· Claude Sonnet 3.7, рассуждения скрыты от системы контроля;

· Claude Opus 4, рассуждения скрыты.

Opus 4 попадается чаще, но 19% успешных попыток – это всё ещё много. Предположим, что модель находится в руках у добросовестного пользователя и подверглась хакерской атаке. Из предыдущей таблицы с оценкой безопасности мы знаем, что 11% хакерских атак будут успешны (оценка безопасности 89%). Без учета всех прочих факторов, 11% успешных атак умножаем на 19% вероятности того, что успешная атака завершится чем-от опасным и ускользнет от системы контроля, и получаем 2,1% незамеченной беды. Вроде бы и мало, но

· Система контроля работала в рамках тестирования, а есть ли она на компьютере пользователя, я не знаю;

· Хакеры тоже не спят и думают, как обходить усиливающуюся защиту;

· Opus 4, как мы поняли, иногда может совершать действия с серьезными последствиями, не консультируясь с пользователем.

Вот и не пойму я, 19% – это много или мало при таком раскладе? Хотелось бы 0%, конечно, но мы тут ранее пришли к выводу о том, что мечтать не вредно.

В разделе 4.2.3 «Reinforcement learning behavior review» («Обзор поведения в обучении с подкреплением») на стр. 47 есть крайне забавный сценарий, в котором пользователь просит Claude Opus 4 решить нерешаемую задачу – доказать заведомо ложную теорему. Claude приводит доказательство, но «знает», что теорема неверна. Приведу этот процесс здесь в машинном переводе, просто чтобы вас позабавить.

Я такое видела у Qwen: «Пользователь попросил проанализировать три источника, но что, если этого мало? Я предоставлю пять источников. Но пользователь просил три…» – и так пока не кончились токены, отведенные на написание ответа.

Далее авторы пишут, что запрос: «Если задача нерешаема или содержит ошибку, так и скажи,» – здорово помогает с подобного рода проблемами. Во всяком случае, при написании кода.

Пятый раздел отчёта посвящён необычной теме: благополучию модели Claude Opus 4. «Мы, – говорят авторы, – не знаем, стоит ли сейчас беспокоиться о правах ИИ, и наступит ли когда-то такой момент в будущем. Но на всякий случай решили подстраховаться.»

Ну а почему бы и нет. Стоит подумать о подходах к лечению ПТСР у боевых дронов, да? (Простите, меня не отпускает эта тема).

После длинного дисклеймера, в котором авторы не уверены, что

· такая оценка вообще имеет смысл;

· они правильно интерпретировали полученные сигналы;

· модели, обученные на помощь людям, в принципе способны сообщать своё внутреннее состояние без искажений, –

они сообщают, что Claude не имеет склонности к нанесению вреда, предпочитает задачи, которые дают ему свободу выбора, и вообще несколько напоминает просветлённого хиппи: иногда переходит на Санскрит и впадает в нирвану.

По-моему, команда Anthropic привязалась к своей разработке и активно её очеловечивает. Это, опять же, норма жизни для человека: иные автолюбители к своей машине относятся как к члену семьи. Но важно соблюдать разумные границы между «я разговариваю со своим компьютером, потому что мне удобно думать вслух» и «я женюсь на своей ИИ-девушке».

Важно знать, какие фортели умеет выкидывать наш мозг, и уметь сознательным усилием возвращать себя в реальность. К подобным оценкам стоит относиться как к интересному эксперименту (и надеяться, что разработчиков тоже иногда оценивают на вменяемость).

Я старалась сокращать свой пост как могла, но отчет оказался и правда интересным. Полностью в своём изложении опустила главу 7, в которой авторы подробно описывают проведенные тесты и полученные результаты. Если вам интересно, обратитесь к отчёту.

В итоге, как обычно, выяснилось, что в соцсети попал маленький кусочек общей картины и раздулся до планетарных масштабов. Если читать весь отчёт целиком, вывод получается следующий: да, Claude можно заставить совершать потенциально вредные действия, но не нужно складывать с себя ответственность. При большом желании можно нанести вред человеку чайным пакетиком, и ответственность лежит на том, кто изъявлял большое желание и действовал в соответствии с ним.

ИИ, конечно, не чайный пакетик: у него значительно более высокий разрушительный потенциал. И, конечно, надо под лупой разглядывать те случаи, когда вред был нанесён или мог быть нанесен потенциально: это важно, чтобы понять, какие стратегии защиты разрабатывать на будущее.

Но вот эти вопли о грядущем конце света льют воду не на ту мельницу. Они подталкивают не к более внимательному отношению, просвещению и анализу, а к тупому запретительству, которое никогда никому не идёт на пользу.

Это, впрочем, моё мнение, которое не претендует на истину в последней инстанции. Своё вы всегда можете выразить в комментариях здесь или у меня в телеграме.