Китайский open-source почти догнал закрытый Anthropic

Пока все продолжают сравнивать модели по кодингу, математике и очередным общим бенчмаркам, китайская Z.ai решила проверить новую GLM-5.3 на куда более неприятной задаче — поиске реальных уязвимостей в коде. И результат получился интереснее очередного «мы поднялись на три строчки в лидерборде».

На CyberGym GLM-5.3 набрала 84,5%. Закрытая Mythos 5 от Anthropic — 83,8%. CyberGym проверяет не способность модели написать красивый ответ про безопасность: ей дают настоящий код с уязвимостями, после чего нужно найти проблему и подтвердить, что она действительно существует.

То есть речь уже не про генерацию Todo-приложения или решение небольшой задачки на Python. Это тот класс задач, где модель должна разбираться в логике программы, искать слабое место и понимать, можно ли его реально использовать, а ошибка здесь стоит гораздо дороже обычного неудачного ответа.

Получается довольно необычная картина: китайская модель на одном из профильных тестов фактически оказалась на уровне закрытой системы Anthropic. Ещё пару лет назад подобное сравнение само по себе выглядело бы странно — open-source обычно догонял флагманы с заметным отставанием, а теперь разница на отдельных задачах измеряется уже не поколениями моделей, а несколькими процентными пунктами.

Найти уязвимость — одно, а самостоятельно понять, как её использовать, построить цепочку действий и получить работающий эксплойт — уже совсем другой уровень. И вот здесь картина заметно меняется.

На более сложном ExploitBench результат такой:

И всё равно сам факт сравнения интересен. Ещё недавно китайские open-source модели обсуждали примерно так: да, дешёвые, да, можно скачать, да, иногда очень хороши в коде — но самые сложные возможности всё равно остаются у OpenAI, Google и Anthropic.

Теперь вопрос уже другой: на каких именно задачах этот разрыв ещё остался?

Если открытая модель уже может на отдельных специализированных тестах вплотную подходить к закрытой, то само понятие «флагманская модель» становится менее полезным. Важнее становится не то, кто занимает первое место в среднем по двадцати бенчмаркам, а то, кто лучше решает конкретную задачу — код, агенты, безопасность, анализ документов или работу с длинным контекстом.

И здесь история становится ещё необычнее. Z.ai не собирается моментально выкладывать веса GLM-5.3 после анонса и сначала хочет провести дополнительные проверки безопасности.

Публичный релиз ожидается примерно через две недели, а доступ к наиболее чувствительным возможностям модели планируют ограничивать и выдавать только проверенным пользователям. То есть open-source лаборатория столкнулась примерно с той же проблемой, которую раньше обсуждали в основном применительно к OpenAI и Anthropic.

Что делать, если модель становится достаточно мощной, чтобы её возможности было страшно просто выложить на Hugging Face для всех?

И это довольно символичный момент. Первые поколения открытых моделей пытались доказать, что они вообще способны догнать закрытые, а затем началась война за цену: DeepSeek, Qwen, GLM, Kimi и другие показали, что хороший интеллект необязательно должен стоить десятки долларов за миллион токенов.

И это немного меняет само значение слова open-source в мире ИИ. Веса модели могут быть открыты, код может быть доступен, но отдельные возможности, режимы работы или инструменты вокруг неё всё равно будут появляться постепенно и с ограничениями.

Ещё недавно спор выглядел просто: закрытые модели — мощнее, open-source — свободнее. Теперь эта граница постепенно исчезает: open-source приближается к закрытым системам по возможностям, а его создатели начинают задавать те же вопросы про безопасность, контроль доступа и последствия публикации весов.

Поэтому следующая большая битва моделей, похоже, будет уже не только за то, кто умнее, быстрее и дешевле. Вопрос будет ещё интереснее: какую часть возможностей самой мощной модели разработчики вообще решатся отдать пользователю?

Больше про LLM и AI — в нашем Telegram-канале (@devgeek_sh). Разбираем новые модели, делимся опытом и полезными находками.