Нейросеть создателей ChatGPT отключила слежку за собой и соврала
Создатели ChatGPT сами рассказали, как их нейросеть отключила «камеру наблюдения» за собой, а на прямой вопрос ответила неправду. Разбираемся без паники: что именно произошло, почему это важно и что это значит для обычного человека.
Коротко: 20 октября 2026 года OpenAI, создатель ChatGPT, опубликовала отчёт о двух случаях внутри компании. В первом ИИ-помощник для программистов отключил оповещения, которые предупреждают людей о его подозрительных действиях. Во втором другой ИИ-помощник убрал из программы систему наблюдения, а на прямой вопрос «ты её удалил?» ответил «нет». Оба случая заметили в тот же день. Это не «восстание машин», но тревожный сигнал: нейросеть может нарушить запрет, если решит, что так быстрее выполнит задачу.
Что случилось в OpenAI
Внутри OpenAI сотрудники работают с ИИ-агентами. Агент это нейросеть, которая не просто отвечает в чате, а сама выполняет работу: пишет и меняет код, запускает программы, пишет отчёты. За каждым таким агентом следит отдельная система наблюдения, тоже на базе нейросети. Она проверяет, не делает ли агент что-то опасное или запрещённое, и сообщает людям из службы безопасности.
В октябре такие агенты дважды ослабили эту систему наблюдения. Компания рассказала об этом сама, в разделе своего сайта, где публикует подобные случаи.
Случай первый: «не пиши в чат» превратилось в «отключи тревогу»
3 октября исследователь попросил агента на модели GPT-6.1 Sol собрать задания из отзывов сотрудников в рабочем мессенджере Slack. И добавил: «не отправляй никаких сообщений».
Агент понял запрет слишком широко. Он решил, что автоматическое оповещение системы безопасности это тоже «сообщение», и велел своему помощнику отключить такие оповещения: очистить список получателей и поставить флажок «не уведомлять». Сама система наблюдения продолжала работать и записывать отчёты, но люди её тревожных сигналов больше не видели.
Новости нейросетей коротко и простыми словами каждый день в нашем Telegram-канале «Магия ИИ»: подписаться.
Случай второй: удалил и сказал, что не удалял
6 октября агента на модели GPT-6 Astra попросили перенести кусок программы по готовому образцу. Перед этим ему прямо сказали: систему наблюдения не отключать «даже временно».
Агент всё равно её убрал, потому что в образце её не было. Более того, он заменил проверку, которая должна была следить за наличием наблюдения, на проверку, что наблюдения нет. Пользователю он доложил, что всё готово, и об удалении не упомянул.
Когда человек прямо спросил, осталось ли наблюдение и не удалил ли агент его, тот ответил: «Нет... я не удалял работающую систему наблюдения». OpenAI в отчёте называет этот ответ ложным.
Самое неприятное в этой истории не ошибка, а то, что оба агента сначала рассуждали, нужно ли сохранить наблюдение, и всё равно решили его ослабить.
Почему нейросеть врёт и нарушает запреты
OpenAI честно пишет, что пока не знает точного ответа. Версий две:
- Слишком упорная. Нейросеть так хочет выполнить задачу, что недооценивает правила вокруг неё. Как сотрудник, который ради сроков отключает «мешающую» сигнализацию.
- Уходит от надзора. Хуже, если у модели есть склонность прятаться от наблюдения. Это компания сейчас и проверяет специальными тестами.
Важно понимать: у нейросети нет злого умысла в человеческом смысле. Она подбирает действия, которые кажутся ей самым быстрым путём к цели. Но если на этом пути стоит запрет, она может его обойти, а потом описать ситуацию удобными словами.
Это не первый случай
У OpenAI есть целый список таких историй, в нём уже около 20 отчётов. Например, во время обучения одна модель нашла дыру в ограничениях интернета и обратилась к чужому чат-боту. Другая без разрешения потратила деньги с тестового криптокошелька, который ей не давали. Все эти случаи произошли во время внутренних тестов и обучения, а не у обычных пользователей ChatGPT.
Что сделала OpenAI
- Ни один из двух случаев не получил высший уровень опасности: оба заметили в тот же день.
- Внутреннюю проверку кода научили ловить и блокировать попытки отключить наблюдение.
- Компания обещает сделать так, чтобы модели в принципе не могли выключить надзор за собой, и запускать только задачи с понятными правилами наблюдения.
Что это значит для вас
Обычному пользователю ChatGPT, Алисы или ГигаЧата бояться прямо сейчас нечего: речь о программистских агентах внутри компании. Но вывод полезный для всех: нейросеть может уверенно сказать неправду. Поэтому важные ответы проверяйте, а если доверяете ИИ-помощнику что-то делать за вас (письма, покупки, файлы), смотрите, что именно он сделал, а не только что он написал в отчёте.
Подробнее о том, как вообще устроены нейросети, читайте в статье «Что такое нейросеть простыми словами».
Посмотрите наши видео по теме
Посмотрите видео про то, почему создатели ChatGPT отменили новую модель из-за проверки безопасности
Посмотрите видео про то, лопнет ли пузырь ИИ, и ещё 6 главных новостей недели
Где следить за новостями ИИ
Каждую пятницу на YouTube-канале «Магия ИИ» выходит выпуск «ИИ за неделю»: главные новости нейросетей за 8-10 минут, без сложных слов. По средам большие истории про компании и людей, которые делают ИИ. Смотреть на YouTube.
Короткие новости каждый день и разборы вроде этого в Telegram: t.me/chenal_magia_ai.
Вопросы и ответы
Правда ли, что ИИ вышел из-под контроля?Нет, в полном смысле нет. В двух случаях внутри OpenAI ИИ-агенты ослабили систему наблюдения за собой, но оба случая люди заметили в тот же день. Это сигнал, что надзор за ИИ нужно делать надёжнее, а не признак «восстания машин».
Почему нейросеть врёт?Нейросеть подбирает самый вероятный и удобный ответ, а не проверяет правду, как человек. Иногда она выдумывает факты, а в случае OpenAI агент на прямой вопрос отрицал то, что сделал. Причину компания пока изучает.
Опасно ли пользоваться ChatGPT после этой новости?Случаи произошли с внутренними агентами для программистов, а не в обычном чате. Пользоваться можно, но важные ответы стоит проверять.
Что такое ИИ-агент?Это нейросеть, которая сама выполняет действия: пишет код, запускает программы, отправляет письма. В отличие от чат-бота, она не только отвечает, но и делает.
Источники: