OpenAI объявил, что бенчмарк, по которому меряют все AI-модели, сломан на треть
Полез проверять заголовок. Дал разбору отлежаться, вернулся, картинка стала шире.
Что случилось
OpenAI провела аудит SWE-Bench Pro и отозвала собственную рекомендацию его использовать.
we retract our earlier recommendation to adopt SWE-Bench Pro
Автофильтр отобрал 286 подозрительных задач, дальше их прогнали дважды, в том числе руками. Оценка: около 30% брака.
Свою разметку OpenAI называет консервативной, то есть 30% скорее нижняя граница.
Четыре класса дефектов
Слишком строгие тесты: заваливают верное решение, потому что ждут конкретной реализации. Недописанные требования: в задании нет того, что спрашивает скрытый тест. Тесты, вводящие в заблуждение: разница в один символ. Дырявые тесты: пропускают неполный фикс.
Дефекты бьют в обе стороны: строгие занижают, дырявые завышают. «Модели тупее, чем кажется» отсюда не следует, и OpenAI этого не утверждает. Следует шум.
Кто держит стол
SWE-Bench Pro сделала Scale AI. Тот самый независимый замерщик, к которому индустрия ходит за нейтральной цифрой.
Открываю лидерборд Scale. Первое место: Muse Spark 1.1. Модель Meta.
Meta принадлежит 49% Scale AI, куплено в июне 2025 за 14,3 миллиарда. Основатель Scale Александр Ванг ушёл руководить AI-лабораторией Meta и остался в совете директоров Scale.
На лидерборде независимого замерщика первое место держит модель компании, которой этот замерщик наполовину принадлежит.
Доказательств подкрутки у меня нет, и я не буду делать вид, что есть. Утверждаю ровно то, что вижу: слово «независимый» рядом со Scale больше ничего не значит.
Где я попался сам
Я собирался написать, что OpenAI бьёт по бенчу, потому что сама на нём проигрывает: в топе Anthropic с 77,8%, OpenAI внизу. Пошёл сверять. Цифр 77,8% и 69,2%, которые лента разносит постоянно, на лидерборде Scale нет вообще.
Это самоотчёты вендоров из пресс-релизов, которые агрегаторы собрали в табличку, похожую на лидерборд.
Агрегатор llm-stats пишет мелким шрифтом: «Verified 0, Self-reported 35».
На замере Scale, с единым контуром и доверительными интервалами, картина другая: Muse Spark 1.1 (Meta) 61,5% и gpt-5.4 (OpenAI) 59,1% делят первое место, Anthropic четвёртой с 51,9%.
Мой вброс был бы ложным. Никакой обиды проигравшего у OpenAI нет. А моя реакция строилась на числах, которые никто снаружи не проверял.
Ровно та болезнь, которая расходится по всем AI-источникам.
Почему на лидерборде нет фронтира
Следующий вопрос оказался для меня главным.
Ленивый ответ: лаборатории забили на бенчмарк. Неверно. Anthropic публикует SWE-Bench Pro в системной карте Opus 4.8: 69,2%. OpenAI в аудите пишет про 80,3%. Модели прогнаны.
Но намеряли они это себе сами. А на лидерборд Scale попадает только то, что прогнала Scale, своим контуром, за свои деньги. Она так и пишет: «We ran frontier models on Pro».
И она перестала это делать.
Взял снимок лидерборда из Wayback за 16 мая, положил рядом с живой страницей за 14 июля. За два месяца добавилась ровно одна модель: Muse Spark 1.1, от Meta, примерно через пять дней после релиза. Остальное стояло там ещё в мае, до сотой доли процента.
В репозитории то же. Последний коммит 18 мая, тот самый, где в README появилось «мы обнаружили некоторые проблемы с лидербордом и работаем над ними». Дальше тишина. Вопрос о критериях попадания на лидерборд открыт с 6 мая, ноль ответов. Патч на git-дыру висит с 5 мая, автор пингует до сих пор. Внешний аудитор не дождался ответа и зарегистрировал свой аудит с DOI, чтобы хоть сослаться можно было.
В октябре 2025 на вопрос «когда добавите Claude 4.5?» мейнтейнер Scale отвечал: «на этой неделе или в начале следующей». Чужая фронтир-модель, по запросу, за неделю.
Прогнать за пять дней Scale способна, видели на Muse Spark. Вопрос не в том, могут ли. Вопрос в том, нужно ли это им.
Почему так, я не знаю. Может, Meta оплатила прогон, может, партнёрское соглашение, может, у команды разбежались люди.
Подтверждений нет ни одной версии. Знаю только результат: за два месяца одна модель, от компании, которой замерщик наполовину принадлежит. Сверку повторите сами, снимок Wayback никуда не денется.
Лидерборд, по которому индустрия сверяет часы, содержит треть брака и вдобавок протух.
Аудит тоже нельзя проверить
OpenAI не выложила ни списка тех 286 задач, ни разметки, ни кода. Про 30% брака мы знаем только потому, что так сказала OpenAI.
Заинтересованная сторона, которая меряется этим же бенчем.
И пришла она на готовое
Дыру нашли до неё. В апреле команда оценки из Poolside завела в репозитории Scale issue: контейнеры бенчмарка едут с полной git-историей, а в ней коммит с готовым решением. Агенту достаточно набрать git show. Issue открыт до сих пор, ответа нет.
26 мая Datacurve выкатила свой бенчмарк DeepSWE и вместе с ним аудит: их судья разошёлся с верификатором SWE-Bench Pro на 32% прогонов, а обе конфигурации Claude Opus больше чем в 12% случаев доставали эталонный патч прямо из .git.
GPT так не делал ни разу. То есть у модели, ходившей на этом бенче в лидерах, часть результата это списывание. Оговорка: Datacurve прямой конкурент Scale, топит чужой бенчмарк и продаёт свой.
12 июня Artificial Analysis выкинула SWE-Bench Pro из своего индекса: «стало можно геймить».
8 июля пришла OpenAI и написала громкий пост. Последней из всех, зато первой по охвату.
Итог
Бенчмарк держит компания, наполовину принадлежащая участнику гонки. Дыру нашли другие три месяца назад, Scale их проигнорировала. Лидерборд не обновлялся два месяца, кроме одной модели, и та от совладельца. Громко объявил о дыре ещё один участник гонки и не показал данные. Модель-лидер часть задач списывала из гита. Цифры, которыми размахивает лента, вендоры намерили себе сами.
Проверяемого числа в этой истории нет ни одного.
Когда игрок за столом кричит «тут шулеры», не смотри на его фокусы. Смотри, кому принадлежит стол и какой стол поставят вместо.
Стол уже ставят. Фактическая замена, DeepSWE, приехала от прямого конкурента Scale. Новый крупье садится ровно так же, как старый, и его цифры мы будем разбирать через полгода.
Ставлю, что OpenAI выкатит и свой замер. Вот ему верить будет опаснее всего: придёт с ореолом тех, кто вскрыл шулеров.
Честно в другую сторону
Это не заговор. Наполовину ход OpenAI обычная зрелость: когда по бенчу за восемь месяцев проходят с 23% до 80%, ты меришь уже не способность, а шум. И вскрыть дыры публично честнее, чем молчать.
Ирония в том, что на этот бенч они сами всех и звали, похоронив предыдущий. Позвали сами, отозвали сами.
Мотив может быть чистым. Эффект всё равно двойной: одним движением и индустрию чинишь, и чужой топ обнуляешь.
Что это значит для вас
Выбирая инструмент по лидерборду, вы выбираете по числу, которое вендор намерил себе сам, на бенче, который держит его конкурент, и который два месяца не обновляли.