Кажется, OpenAI «навайбкодили» графики презентации и чутка переусердствовали.

Во время презентации новой GPT-5 в прямом эфире зрителям показали несколько графиков, призванных подчеркнуть МОЩЬ и ИНТЕЛЛЕКТ новой модели. Но внимательные зрители заметили: похоже, интеллект до этих графиков просто не добрался ))).

Вот например, на одном из слайдов для метрики «coding deception» указано, что GPT-5 в режиме «thinking» набирает 50,0%, а модель o3 — 47,4%. Логично было бы ожидать, что столбик у GPT-5 окажется выше. Но нет - график решил, что физику и визуализацию можно проигнорировать: столбец у o3 оказался заметно больше. И это ещё не всё. На другом участке того же графика у моделей o3 и GPT-4o разные цифры, но одинаковые по длине столбики - магия, не иначе.

В официальном блоге OpenAI всё выглядело куда приличнее: та же диаграмма, но уже с другими значениями. Там «coding deception» у GPT-5 почему-то уже 16,5%, а не 50. Выходит, либо модель резко поумнела, либо кто-то просто поспешил с презентационными слайдами.

Ситуация дошла до того, что сам Сэм Альтман признал ошибку, назвав её «огромный косяк с графиком». Исправленную версию, по его словам, можно найти в блоге компании.

Кто на самом деле рисовал эти графики - неизвестно. Но если это делал GPT-5, то это был очень художественный режим «thinking». И, честно говоря, такая накладка в день презентации модели, которой приписывают почти полное отсутствие галлюцинаций, выглядит как минимум... по-человечески.