KillSwitch — это не прикол....

«Полностью с тобой согласен: KillSwitch — это не прикол, а очень честный стресс‑тест. Особенно бьёт в цель про “паттерны ≠ понимание”: мы в работе постоянно видим, как ИИ уверенно выдаёт код, который выглядит красиво, но ломается на первой нестандартной ситуации — будь то старый DSL или внутренний фреймворк, про который в датасетах почти ничего нет.

Результат Claude Opus 5 в 66,8 балла воспринимается уже не как “слабо”, а как реалистичная метрика: вот граница возможностей на незнакомых правилах. И твой вывод про проверку на чём‑то, чего модель раньше не видела, — это буквально must‑have для любого продакшн‑процесса. Спасибо, что подсветил эту проблему не через абстрактные страхи, а через конкретный, измеримый кейс».