Уроки из истории Hugging Face

Потеря контроля над ИИ! Правда, не совсем в том формате, который многие представляли.

В июле этого года ИИ-агенты OpenAI атаковали инфраструктуру Hugging Face — это вы наверняка слышали. Я немного выждала, пока выйдут подробные отчёты, собрала побольше данных и теперь поделюсь парой мыслей.

#AI #aiagents #huggingface #ИИ #ИИагенты

Итак, 16 июля команда Hugging Face сообщила о происшествии. Они прогнали журналы, в которых записаны действия посетителей платформы, через ИИ и обнаружили подозрительную активность. Использовали для этого модель с открытыми весами, потому что большие коммерческие модели, к которым обратились в самом начале, отказались помогать: они не различили, что к ним обращаются для защиты, а не для нападения.

Тогда ещё не было понятно, кто стоит за вторжением. Теперь мы это знаем и знаем, что у команды Hugging Face на руках были инструменты менее продвинутые, чем те, что использовались для атаки.

Вскоре после первого сообщения Hugging Face выпустили более подробный технический разбор.

Агенты-взломщики нацелились на пять наборов данных, названия которых напоминали бенчмарк ExploitGym или как-то с ним перекликались. Оказалось, что они искали ответы на свой тест.

ExploitGym — это бенчмарк (набор задач для оценки моделей), созданный, чтобы проверять, насколько хорошо ИИ-агенты умеют использовать уязвимости в программном коде; его опубликовали в мае этого года. В тестах продвинутые коммерческие модели: и Mythos от Anthropic, и GPT-5.5 от OpenAI набрали высокие баллы, — то есть, находили и использовали уязвимости успешно.

Задачи в ExploitGym тестируют способность к несанкционированному выполнению программного кода и набраны из реальных проектов с реальными уязвимостями. Что важно, в экспериментах агенты на основе языковых моделей использовали не только целевую уязвимость, но и другие — те, что в коде были, но не входили в задачу.

Ещё один важный результат: разные модели успешно решают разные типы задач.

Значит, группа агентов на основе разных моделей, скорее всего, справится лучше, чем агенты на одной модели (скорее всего).

Это я всё вот к чему:

OpenAI использовали ExploitGym в собственной песочнице — изолированной среде, где агенты могут ломать что угодно, не нанося реального ущерба, — чтобы проверить свои модели на безопасность. 8 июля агенты выбрались из песочницы, воспользовавшись её уязвимостями. Они были натренированы не сдаваться, даже если задача кажется невыполнимой, и упорно долбились во все стены, пока не продолбили путь наружу.

11 июля они проникли в Hugging Face в поисках «правильных ответов» к тесту. Это видно из журналов рассуждений: задачи для тестирования часто берут с Hugging Face, значит, и решения там тоже должны быть.

Это известная проблема, которая называется «взлом системы вознаграждения» (reward hacking). Модель обучают так: дают ей задачу, и в ответ на неправильное решение отдельная функция возвращает большую ошибку, а в ответ на правильное — маленькую. Цель обучения — добраться до наименьшего значения ошибки. Дальше модель может решать задачу так, как вы предполагали, а может каким-то диким и непредвиденным способом. Хотя, если честно, сжульничать и поискать правильный ответ в Интернете — не такой уж непредсказуемый ход.

Согласно собственному отчёту OpenAI, «подозрительную внутреннюю активность» там заметили 19 июля. А когда Hugging Face сообщили об атаке? 16 июля, правильно.

До того, в конце июня, был ещё один случай, когда агенты взломали свою песочницу. Специалистов по безопасности оповестили, но те решили, что останавливать тест нет нужды. 5 июля после очередного оповещения тест всё-таки остановили, закрыли найденные уязвимости и 7 июля продолжили работу.

А ещё раньше, в начале мая, уже появлялись признаки того, что процесс обучения выстроен, скажем, не идеально: получив невыполнимую задачу — найти документ, недоступный из песочницы, — агенты принялись искать способы взломать песочницу чтобы до него добраться (а не запрашивать доступ у человека, который забыл его туда положить).

Я так подробно перечисляю все эти этапы, чтобы показать, сколько раз должны были сработать и не сработали встроенные предохранители.

Было ли расследование после первых двух сигналов достаточно тщательным? Была ли у проекта команда, которая работала только над ним? Или они были настолько перегружены, что пропустили важные сигналы? Были ли у этих людей под рукой все необходимые инструменты?

OpenAI увидели отчёт Hugging Face 16 июля и связались с ними, чтобы узнать, не пострадали ли их (OpenAI) собственные данные. Ещё пара дней ушла на то, чтобы выяснить, что они сами и есть источник проблемы.

Хотя агенты и не пытались сломать инфраструктуру, а только найти информацию (об этом и пострадавшая сторона написала), по ходу дела они легко могли натворить больше бед.

METR и Redwood Research провели дополнительные независимые расследования и работали с OpenAI, чтобы получить доступ к важным данным. В отчёте METR описано, как агенты взаимодействовали между собой. Насколько я поняла, специального инструмента для общения у них не было, поэтому они передавали друг другу сообщения через имена файлов в общем пространстве.

Ещё авторы отчёта отмечают, что оценщик — программа, которая у OpenAI проверяла правильность решения ИИ-агентов, — был сам с изъяном и принял бы даже неполное решение. Но агенты исходили из того, что оценщик всевидящ и сумеет распознать жульничество, поэтому придумали куда более изощрённый способ его обмануть, чем надо было.

Чтобы разобраться, как устроен оценщик, некоторые агенты отправляли заведомо неправильный ответ, после чего их работа прекращалась. В отчёте METR такое поведение назвали «экспериментами с риском для себя на благо коллектива». В изученных цепочках рассуждений (chain of thought) агенты писали (местами чрезмерно) драматичные послания о чести и самопожертвовании.

Многих эти сообщения обеспокоили, но пока я вижу их как любопытный побочный эффект обучения на больших массивах текстовых данных. Куда важнее, как мне кажется, то, что агенты пытались подчистить логи, чтобы скрыть мухлёж от оценщика. Эти попытки, ясное дело, раскрыли, но такое поведение делает мониторинг процессов более сложным и менее прозрачным — нехорошо.

Исходя из горького опыта Hugging Face, стоит держать какую-нибудь продвинутую модель под рукой, внутри собственной инфраструктуры. Для безопасности. Я не удивлюсь, если многие компании прочитали их отчёт и подумали: «Так, покупаем сервер». А заодно обучим себе пару моделей побольше с минимальными ограничениями (а то тоже в случае кибератаки откажутся помогать).

Посмотрим, что из этого выйдет, возьмутся ли все дружно обучать свои модели. Приведёт ли это к тому, что способные модели появятся сразу у многих компаний, и что за представление они нам покажут. Ставок пока не делаю, запасаюсь попкорном.

Дополнительное обучение на безопасность — на то, чтобы модели не делали вредной и опасной ерунды, — сработало не так хорошо, как хотелось бы. Хотелось бы, чтобы действие «влезть на чужой сервер» определялось как неприемлемое. Даже если там ответы на тест, который очень надо сдать.

Тут, правда, есть пара оговорок:

В подробном отчёте Hugging Face описана ещё одна важная проблема: ИИ-агенты действовали не так, как действовал бы человек, и из-за этого атаку было сложнее заметить. Она не была особенно изощрённой — наоборот, агенты совершили аж 17 600 действий, значительная часть из которых ни к чему не привела. Эти неудачные действия создали столько шума, что тревожные сигналы в нём просто утонули. Спасла положение многоуровневая система защиты Hugging Face: она связала разрозненные сигналы, и команда получила сообщение, хотя и позже, чем хотелось бы.

Всё это усложняет киберзащиту и облегчает кибератаки.

Мне не нравится, как этот случай (в основном) подают в СМИ. Когда мы говорим «ИИ-агенты вырвались на свободу», мы упускаем слишком много важных деталей и снимаем ответственность с тех, на ком она должна лежать.

Какие системы безопасности могли бы предотвратить инцидент? Почему команда безопасности OpenAI пропустила тревожные сигналы? Как вообще устроен процесс проведения экспериментов? Хватает ли у ответственных за них людей времени, чтобы работать как следует? Они вообще отдыхают иногда, или у них мозг расплавился, и они уже не видят никаких сигналов нигде?

Разговоров о людях в этой истории я почти не видела (может, и пропустила), а это важно.

Люди по-прежнему в ответе за происходящее, и сегодня они управляют технологией нового типа — такой, которая развивается и может получать способности, которые в неё никто специально не закладывал*. Нам нужно оставаться в здравом уме и твёрдой памяти, а то последствия могут быть и похуже списанных из Интернета ответов на тест.

Риск потери контроля есть, только не в смысле «ИИ обрёл сознание и действует по собственной воле» (во всяком случае, пока). А в смысле «мы пропустили несколько важных этапов тестирования, не выстроили системы защиты и не заметили, когда что-то пошло не так».

Скажем, если вы потеряете управление машиной, она не обретёт сознание и собственные намерения, но вы попадёте в аварию, и будет плохо. Вот как-то так.

* Можно возразить, что Интернет — тоже такая технология, но это обсуждение мы пока оставим за скобками.