Claude теперь сам доносит на ваши разговоры. И это не шутка.
Anthropic рассказала про новую систему Self-Assessment, которая уже работает на большой части трафика Claude. По сути, после каждого ответа модель сама проверяет вашу переписку на потенциальные нарушения правил.
Что интересного:
- После каждого ответа Claude получает скрытую инструкцию оценить безопасность разговора. Пользователю это конечно же не показывается.
- Проверяется не только последний запрос, а весь контекст беседы. Причем даже если Claude отказался отвечать, разговор все равно может получить отметку о нарушении.
- Если модель находит что-то подозрительное, она указывает причину, категорию нарушения и выставляет приоритет от 1 до 10. Чем выше приоритет, тем быстрее такой случай может попасть на проверку к людям.
- Эти оценки сохраняются. Anthropic собирает сигналы по организациям, и если серьезных отметок несколько, аккаунты могут попасть на дополнительную проверку.
- И это уже приводит к банам. В сентябре система помогла обнаружить мошенническую схему с использованием Claude Code. После проверки людей причастные аккаунты заблокировали.
- На Claude Fable 5 система обнаруживает 78% потенциально вредных разговоров и 94% наиболее серьезных, если сравнивать с оценками более мощного классификатора.
- При этом Anthropic сама признает около 1% ложных срабатываний при выбранном пороге. То есть вполне безобидный разговор тоже может показаться системе подозрительным.
- Работает это с июня 2026 года. И Anthropic утверждает, что по мере улучшения моделей будет улучшаться и их способность находить подозрительные разговоры.
То есть вы можете обсуждать с Claude какую-нибудь спорную тему, искать уязвимости на своем сервере или просто задать вопрос, который случайно что-то триггернет, а Claude в это время доначислит вам балы, чтобы вы были ближе к потере аккаунта.
Понятно, что за один такой случай вас сразу не забанят. Anthropic пишет, что смотрит на серьезность нарушений, их количество, а подозрительные случаи дополнительно проверяют люди (ну-ну, уверен, что никаких людей проверяющих там нет, бездушная машина!)
Раньше Claude просто отказал бы вам отвечать на вопрос, а теперь еще и донос на вас и весь разговор пометит как подозрительный, причем даже если он вам ничего запрещенного так и не ответил. А дальше эти отметки могут учитываться при проверке аккаунта и потенциально привести к бану (и приведут, как мы уже знаем!)