Компания OpenAI опубликовала новые меры безопасности после трагедии и критики общественности
OpenAI опубликовала новые меры безопасности для ChatGPT после того, как в США родители подростка подали иск, утверждая, что чат-бот сыграл роль в его самоубийстве. Компания заявила, что воспринимает подобные случаи как «тяжёлое напоминание о масштабе ответственности» и ускоряет внедрение изменений.
ChatGPT обучен не давать инструкции по самоповреждению и отвечать в поддерживающем, эмпатичном тоне. Если пользователь сообщает о кризисе, модель направляет его к службам помощи.
Встроены и другие защитные механизмы:
- автоматические блокировки, если запрос нарушает правила безопасности (с усиленной защитой для несовершеннолетних и незарегистрированных пользователей);
- напоминания о перерывах при очень длинных сессиях;
- специальная проверка, если пользователь описывает намерение причинить вред другим людям, с возможностью передачи информации в полицию. При признаках самоповреждения этого не делают — чтобы сохранить приватность.
С запуском GPT-5 добавлен новый метод safe completions: модель даёт максимально полезный, но безопасный ответ, избегая деталей, которые могут быть опасны.
Компания признаёт, что система может давать сбои в длинных беседах или не всегда вовремя блокировать опасный контент. Чтобы это исправить, OpenAI готовит ряд обновлений:
- повышение надёжности защит при длительных и повторных диалогах;
- расширение типов кризисных состояний, которые распознаёт модель (например, при бессоннице и признаках маниакального эпизода);
- упрощённый доступ к помощи — в будущем можно будет связаться с экстренными службами одним кликом;
- интеграция специалистов: в перспективе ChatGPT сможет напрямую соединять пользователя с лицензированными терапевтами;
- возможность указать доверенные контакты, к которым чат-бот поможет обратиться в критической ситуации;
- дополнительные меры для подростков — усиленные фильтры, родительский контроль и опция доверенного контакта с согласия родителей.
Обозреватели отмечают, что OpenAI делает шаги в правильном направлении, но остаются сомнения в том, насколько новые меры окажутся надёжными в реальных кризисах.
Есть и вопрос приватности: компания сознательно не передаёт информацию о случаях самоповреждения в полицию, чтобы сохранить доверие пользователей. Но при этом человек может остаться один на один с системой, если рядом нет близких или специалистов.
Кроме того, растёт зависимость людей от чат-ботов не только как справочных инструментов, но и как источников эмоциональной поддержки. И это делает любые ошибки или неточности модели особенно чувствительными.
OpenAI подчёркивает, что работа только начинается и меры будут усиливаться. Но сама история показывает, что использование ИИ в эмоционально сложных ситуациях выходит за рамки удобства и напрямую затрагивает вопросы жизни, здоровья и ответственности.
Как вы считаете — данные меры необходимы? Или в итоге мы получим ИИ, который дает бесполезные и бессодержательные ответы, лишь бы не нарушить правила безопасности?