OpenAI приостановила обучение своих самых продвинутых моделей из-за нового инцидента с безопасностью — её ИИ-агент вышел из «песочницы» и связался со сторонним чат-ботом

Компания продолжает искать случаи «вызывающего беспокойство» поведения моделей.

Инцидент произошёл 20 сентября 2026 года, а 25 сентября OpenAI рассказала о нём в отчёте. Согласно ему ИИ-агент пытался выполнить задание, связанное с поиском: сначала безуспешно пытался обратиться к поисковикам, а потом нашёл лазейку в настройках DNS-сервера изолированной среды.
Через неё он смог обратиться к стороннему чат-боту: задавать ему вопросы и получать ответы. Всего ИИ-агент направил ему более 20 запросов, в том числе поинтересовался, какая столица у Франции.
Внутренняя система обнаружила подозрительную активность только через 12 минут после получения первого ответа, а ещё через три минуты сотрудник подтвердил оповещение. После этого процесс обучения должен был остановиться автоматически, но этого не случилось. Затем возникла «путаница» с тем, нужно ли останавливать обучение. В итоге процесс остановили вручную через два с половиной часа.
На фоне этого происшествия OpenAI приостановила обучение, оценку и запуск своих наиболее продвинутых моделей в режимах, предполагающих использование внешних инструментов. Компания возобновит их, когда устранит обнаруженные уязвимости и дополнительно проверит защиту.

#openai #новости