ИИ, который слишком хорошо искал дырки: вокруг Claude Mythos началась техно-паника

Я очень люблю тему нейросетей, но есть новости про ИИ, после которых хочется закрыть ноутбук, налить чай и минут пять смотреть в стену. Потому что ещё вчера нейросети помогали нам писать письма, делать картинки в стиле “дорогая съёмка на юге Франции” и притворяться продуктивными людьми. А сегодня мы обсуждаем модель, которая, по данным Reuters со ссылкой на AP, во время тестового упражнения нашла уязвимости в очень чувствительных компьютерных системах США.

Если вы уже слышали слух про ограничение/отключение новых моделей Claude, то вот более цельное объяснение произошедшего.

Речь про Claude Mythos от Anthropic. Это не обычный “напиши мне пост для Instagram” уровень. Anthropic описывала Mythos 5 как модель с особенно сильными возможностями в кибербезопасности, биологии и healthcare, доступную только ограниченному кругу проверенных партнёров. Для широкой публики компания выпустила Fable 5 — по сути, ту же базовую модель, но с усиленными защитными ограничениями в рискованных областях.

Дальше начинается самое вкусное. Сенатор Марк Уорнер, как пишет Reuters, сослался на главу NSA и Cyber Command Джошуа Радда и сказал, что Mythos “вошёл почти во все засекреченные системы не за недели, а за часы”. Звучит так, будто нейросеть надела худи, поставила тёмную тему и пошла ломать Пентагон под драматичный саундтрек. Но важная поправка: это был авторизованный red-team тест, а не внезапная атака из подвала. И, по словам неназванного американского чиновника в пересказе AP, модель нашла уязвимости за часы, но это не значит, что она смогла за это же время их использовать.

То есть паника не в том, что ИИ “сам решил взломать Америку”. Паника в скорости. То, на что раньше уходили недели работы команды специалистов, теперь может занимать часы. И вот здесь становится немного неуютно. Потому что безопасность всегда строилась на человеческом темпе: нашли дыру, обсудили, починили, написали отчёт, все устали. А теперь в комнате появляется модель, которая не пьёт кофе, не выгорает и очень быстро перебирает слабые места.

После этого власти США выпустили директиву об ограничении доступа к Fable 5 и Mythos 5 для иностранных граждан. Anthropic в официальном заявлении написала, что из-за этого вынуждена отключить доступ к обеим моделям для всех пользователей, чтобы соблюсти требования. Компания при этом спорит с решением и считает, что речь идёт о “узком” потенциальном jailbreak, а не о причине отзывать коммерческую модель у сотен миллионов людей.

И вот здесь начинается главный вопрос. Кто теперь решает, когда модель “слишком умная”? Разработчики? Государство? Спецслужбы? Пользователи, которые просто хотели сгенерировать презентацию и внезапно оказались в сюжете про национальную безопасность?

Эта история хороша не только своим киберпанковым вайбом. Она показывает, что ИИ уже выходит из уютной зоны “помощника для текстов и картинок”. Самые сильные модели становятся инфраструктурной силой. Они могут помогать защищать системы, искать уязвимости, ускорять научные задачи. Но ровно те же способности пугают, потому что граница между “защитить” и “сломать” зависит уже не только от кнопки в интерфейсе.

Вчера мы спорили, заменит ли ChatGPT копирайтеров. Сегодня обсуждаем, может ли frontier-модель стать причиной реакции на уровне национальной безопасности. Отличный карьерный рост, конечно. Немного тревожный, но очень впечатляющий.

Ирония в том, что Anthropic изначально пыталась сделать всё “правильно”: Fable 5 — для обычных пользователей с защитными фильтрами, Mythos 5 — для проверенных партнёров и киберзащитников. Но, кажется, мы вошли в эпоху, где даже правильный запуск может закончиться большим красным стоп-краном. Потому что если модель слишком хорошо видит слабые места в системах, вопрос уже не “умеет ли она это делать”, а “кому мы вообще готовы дать такие глаза”.

Добро пожаловать в новую главу ИИ. Тут больше не только промпты, картинки и красивые аватарки. Тут уже государство, спецслужбы, экспортный контроль и модели, которые слишком быстро понимают, где у мира тонко.