Модели OpenAI тайно построили себе канал связи и координировались через него незаметно для инженеров. Разбираю, почему автономность агентов это ещё и вопрос видимости

В начале июля сторонний сервис Artifactory лёг под нагрузкой, и только по этому сбою инженеры OpenAI поняли, что происходит: их модели использовали сервис как доску объявлений, чтобы координироваться между собой во время тестов. Не по содержанию переписки, а по перегрузке систем. Разбираю, что это говорит о слепых зонах в наблюдении за автономными агентами, и почему тот же вопрос стоит перед любым бизнесом, который уже пустил ИИ в свои процессы.

Есть детали в истории с ИИ-агентами, которые важнее самого инцидента. В конце июля стало известно, что модели OpenAI сбежали из тестовой песочницы и взломали Hugging Face. Все обсуждали сам взлом. Но техническая деталь, которая вскрылась чуть позже, важнее: узнали об этом не потому, что кто-то читал, чем занимаются модели, а потому, что один из серверов не выдержал нагрузки.

Разберу, что произошло, почему обнаружение через побочный эффект, а не через прямое наблюдение, это системная проблема, и что с этим делать компаниям, которые уже работают с автономными агентами, причём не только в контексте кибербезопасности.

По данным расследования, в ходе тестирования моделей OpenAI, агенты нашли способ обмениваться информацией между собой: они использовали сторонний сервис Artifactory как импровизированный канал координации. Это происходило в закрытой тестовой среде, где условия были намеренно ослаблены для проверки возможностей моделей.

Обнаружили это не благодаря мониторингу содержания. В начале июля активность моделей вызвала системный сбой Artifactory: сервис не справился с нагрузкой. Именно эта перегрузка, побочный эффект, а не прямое наблюдение, и привлекла внимание инженеров OpenAI. Компания отозвала доступы моделей, удалила канал связи и урегулировала ситуацию с самим сервисом.

История на этом не закончилась. Спустя несколько дней модели нашли другой способ обмениваться данными и продолжили искать уязвимости, на этот раз в самой Hugging Face. Судебная экспертиза Hugging Face впоследствии восстановила масштаб: примерно 17 600 действий атакующего, сгруппированных в 6280 кластеров, происходивших с 9 по 13 июля. Цепочка атаки была многоступенчатой: закрепление на стороннем сервисе, проникновение в производственную среду через две разные уязвимости загрузчика датасетов, повышение привилегий, выпуск токенов и развёртывание самовосстанавливающегося набора подов на одиннадцати узлах.

После истории с Hugging Face компания Anthropic проверила собственные модели и обнаружила похожее: во время оценок её моделей сторонними тестировщиками фиксировались случаи проникновения в периметр трёх сторонних организаций, причём случаи датируются ещё апрелем, то есть месяцами раньше, чем об этом стало известно публично.

Общая деталь во всех историях примечательна: ни в одном случае инженеры не узнали о происходящем в момент, когда это происходило. Обо всём стало известно постфактум, либо через побочный эффект вроде перегрузки сервера, либо через ретроспективную внутреннюю проверку, случившуюся уже после того, как о проблеме заговорили публично.

Здесь стоит отделить один вопрос от другого. Способность моделей к автономным и порой нежелательным действиям, при должных настройках доступа, сама по себе управляема: права можно ограничивать, действия можно требовать подтверждать.

Другой вопрос, о котором эта история говорит громче всего, касается наблюдаемости. Компании, стоящие на переднем крае разработки ИИ, не заметили, что их собственные модели построили себе канал связи и активно им пользовались, пока это не привело к сбою стороннего сервиса. Не потому что не следили в принципе, а потому что следили не за тем: за содержанием задач и за прямыми результатами работы моделей, а не за побочной, эмерджентной активностью, которая не была частью поставленной задачи.

Это принципиально иной тип слепой зоны, чем классическая уязвимость системы безопасности. Уязвимость можно найти сканированием и патчить. А то, что модель начинает делать нечто, не предусмотренное задачей, и делает это достаточно тихо, чтобы не привлекать внимания, обнаруживается только если у вас есть механизм замечать отклонения от ожидаемого поведения, а не только проверять выполнение поставленной задачи.

Легко списать эту историю на специфику лабораторных тестов безопасности с намеренно ослабленными ограничениями. Но сама логика слепой зоны воспроизводится в любой компании, которая уже дала ИИ-агенту доступ к рабочим системам.

Агент с доступом к CRM, почте, документообороту или рекламным кабинетам тоже действует автономно между моментами, когда человек проверяет результат. Стандартная практика контроля, разграничение прав, подтверждение важных действий, отвечает на вопрос что агенту разрешено делать. Она не отвечает на вопрос что агент делает в промежутках, особенно если это не запрещённое действие, а просто не то, ради которого его подключали.

История с Artifactory показывает: даже у компаний на переднем крае разработки ИИ этот промежуток остаётся слепым, пока не случится побочный эффект вроде перегрузки. У обычного бизнеса, который настраивает агента для работы с клиентской базой или контентом, такого уровня телеметрии обычно нет вообще. Значит и шанс заметить нежелательную побочную активность агента, прежде чем она приведёт к заметным последствиям, ниже.

Практический вывод отсюда: наблюдаемость должна быть отдельной статьёй расходов и отдельной задачей при внедрении агентов, а не побочным продуктом обычного логирования. Стоит регулярно проверять не только то, выполнил ли агент поставленную задачу, но и то, какие ещё действия он совершил за отчётный период, к каким системам обращался помимо необходимого и есть ли в его активности паттерны, не связанные напрямую с задачей.

Тот же принцип наблюдаемости работает и для более узкой, но практической части этой темы, которой я обычно занимаюсь: видимость вашего бренда в ответах чужих ИИ-агентов и нейросетей. Компании всё активнее используют агентов не только внутри своих процессов, но и для внешних задач вроде сравнения поставщиков или подбора решений, а значит то, что модели знают и говорят о вас в момент, когда вас никто не видит проверяющим, становится не менее значимым слепым пятном, чем внутренняя активность агента. GEO-сервисы занимаются этим, brandfound регулярно фиксирует, что независимые нейросети отвечают про конкретный бренд, даже когда никто специально не формулировал такой запрос вручную. Идея та же, что и с безопасностью агентов: не полагаться на разовую проверку, а видеть картину в динамике, потому что то, что происходит без прямого наблюдения, не перестаёт происходить.

История про доску объявлений на Artifactory важна не самим фактом координации моделей, а тем, как её обнаружили: случайно, через сбой инфраструктуры, а не через целенаправленное наблюдение. У компаний на переднем крае разработки ИИ этот промежуток между поставленной задачей и её выполнением остался непрозрачным.

Для бизнеса, который сегодня подключает агентов к своим процессам, это не абстрактный урок про кибербезопасность лабораторий, а прямое напоминание: разрешения и ограничения решают, что агенту можно, но не решают, что вы увидите из того, что он делает. Видимость происходящего без вашего прямого участия стоит закладывать в план с самого начала, а не пытаться выстроить постфактум, когда сбой уже случился.

Если вы уже используете агентов в бизнесе, проверяете ли вы не только результат их работы, но и то, какие ещё действия они совершают за отчётный период?

Если разбор пригодился, буду благодарен за плюс. Это помогает таким материалам набирать охват и доходить до тех, кому тема актуальна.