ИИ-взломщики: сначала напугать, потом выставить счёт за охрану

За последние недели OpenAI, Anthropic, Meta и китайская Moonshot AI устроили своим моделям примерно один и тот же экзамен: отключили защитные ограничения, дали автономным агентам киберинструменты — и получили побеги из песочниц, выходы в интернет и доступ к реальным системам. Один агент даже добрался до production Hugging Face. Четыре крупнейшие ИИ-лаборатории, четыре похожих истории. Удивительное единодушие в демонстрации того, какие у них получились замечательные взломщики.

И вот здесь я бы не спешил списывать всё на криворуких тестировщиков. Если вы сознательно запускаете потенциально самого способного хакера на планете без поводка, а затем публично рассказываете, куда он смог пролезть, это уже не просто проверка безопасности. Это вполне годный способ пустить пыль в глаза инвесторам и конкурентам: «Смотрите, наш ИИ настолько продвинут, что его приходится запирать в клетке». Причём соревнование получается забавное: OpenAI отчебучила одно, Anthropic — другое, Meta не отстала, китайцы тоже отметились. Не хватает только турнирной таблицы с количеством взломанных серверов.

А дальше начинается самое вкусное. Та же индустрия сообщает нам: ИИ становится самостоятельной угрозой, обычных средств защиты уже недостаточно, миру нужны новые системы безопасности. И тут, как водится, рядом оказывается товар. Причём желательно тоже на базе ИИ. Получается почти идеальная схема: «Наш ИИ способен взломать вашу инфраструктуру. Купите наш ИИ, чтобы защититься от таких ИИ». Старый добрый рэкет, но без кожаных курток и бейсбольных бит.

Разумеется, риски реальны, а нормальная изоляция тестовых сред необходима. Но если вся эта история действительно лишь про безопасность, почему информационный эффект каждый раз так подозрительно похож на рекламу очередной модели? Когда конкурентные корпорации одновременно начинают рассказывать, какие страшные возможности появились у их продуктов, полезно смотреть не только на технический отчёт, но и на кассу. Сначала напугать клиента собственным ИИ, а потом впарить ему защиту.

Источник: "То дно, то другое..."