GPT-5.5 проиграл Клоду 7:0. И врёт в 86% случаев когда не знает

23 апреля 2026 OpenAI выкатили GPT-5.5. Большой релиз. Первая полностью переобученная база с GPT-4.5. Мультимодалка. Миллион токенов контекста.

Через сутки Tom's Guide прогнал его против Claude Opus 4.7. Семь задач. Логика, физика, математика, рассуждения. Не синтетика - живые промпты.

Счёт - 7:0 в пользу Клода. Не 4:3. Не 5:2. Сухой ноль.

Но это даже не самое интересное. Самое интересное - одна цифра. OpenAI почему-то не вынесли её на главную страницу анонса.

86%.

Это hallucination rate GPT-5.5 на бенчмарке AA-Omniscience. У Клода 4.7 - 36%. У Gemini 3.1 Pro - 50%. То есть когда жпт не знает ответа - он в 86% случаев придумывает. Уверенно. Со ссылками. С виду красиво.

Разбираю по полочкам что произошло.

На бумаге релиз впечатляющий. GPT-5.5 - первая модель которую переобучали с нуля с весны 2024. Все промежуточные версии (5.0, 5.4) были post-training надстройкой над одной базой. Тут собрали базовый чекпоинт заново.

Характеристики звучат как мечта инженера:

OpenAI собрали анонс вокруг этих цифр. На первый взгляд всё круто. И мейнстрим-СМИ дружно подхватили хайп.

А в реальной работе - другая история.

AA-Omniscience - это публичный бенчмарк от Artificial Analysis. Идея простая. Шесть с половиной тысяч вопросов из 40+ доменов. Смотрят две вещи. Точность ответов. И что модель делает когда не знает ответа.

Нормальная модель в такой ситуации должна сказать "не знаю". Ненормальная - выдумывает.

GPT-5.5 поставил два рекорда сразу. Точность - 57%. Лучший результат за всю историю бенча. Параллельно - 86% галлюцинаций. Тоже рекорд. Только в обратную сторону.

Что это значит на практике. Когда GPT знает ответ - отвечает лучше всех. Когда не знает - не молчит. Сочиняет с уверенным лицом.

Клод 4.7 в той же ситуации галлюцинирует в 36% случаев. Разрыв в 2.4 раза.

Где это критично:

Если задача в том чтобы доверять выводу модели - GPT-5.5 на апрель 2026 не годится.

Подробный разбор - в The Decoder и Towards AI. Оба издания не топят за Anthropic. Оба пришли к одному выводу.

Не хочу выглядеть однобоким. Скажу честно где жпт впереди.

Terminal-Bench 2.0. Агентское использование терминала. 82.7% против 69.4%. Разрыв большой. Сценарий такой. Модель сама ходит по серваку. Запускает команды. Фиксит окружение. GPT тут реально лидер.

FrontierMath. Олимпиадная математика. 51.7% против 43.8%. Сильная сторона OpenAI. Они давно сидят на этом направлении.

OSWorld-Verified. Работа с приложениями в браузере. 78.7% против 78.0%. Ноздря в ноздрю.

Codex. Внутри своего же ИДЕ от OpenAI - меньше токенов на ту же задачу. Дешевле в эксплуатации в этом сценарии.

Но есть один нюанс. Все эти преимущества - в сценариях где модель действует автономно по чёткому скрипту. В обычном кодинге через Cursor, Claude Code или IDE - картина меняется. Сильно.

SWE-bench Pro - это не учебные задачки. Это реальные GitHub-issues. Их надо закрыть end-to-end. Настоящий код. Настоящие репозитории с миллионами строк.

Разрыв на Pro - 5.7 пункта. Один из самых больших на верхушке лидерборда за весь прошлый год. Клод прибавил 11 пунктов с прошлой версии (4.6 был на 53.4%). Это в пределах одного апдейта.

Везде где задача "закрыть настоящий тикет в большой кодовой базе" - выигрывает Anthropic. Это не моё мнение. Это публичный лидерборд.

А ведь именно это интересует большинство компаний. Не олимпиадная математика. А чтобы ллмка закрыла задачу из бэклога без последующей переделки.

OpenAI повысили цену. При худшей надёжности.

Output дороже на 20%. На типичных нагрузках выходной токен - основная часть счёта. Большие генерации, агентская обвязка, длинные ответы. Разница в инвойсе на реальном объёме - ощутимая.

Получается интересная связка. OpenAI берут больше денег. Возвращают модель которая врёт в 2.4 раза чаще. И при этом качают на бенчмарках по терминальной агентике.

В маркетинговой презентации эту разницу можно красиво обтекать. В инвойсе цифра голая.

В начале я уже сказал. Распишу подробнее потому что это важный кейс.

Журналисты Tom's Guide взяли семь задач. Не синтетику. То что приходит в продакшене когда у юзера реальная задача. Логика. Физика. Математика. Нюансы рассуждений.

Результат - 7:0 в пользу Клода.

"Клод не просто давал правильные ответы. Он добавлял sanity check. Разбирал теорему лежащую в основе доказательства. Обозначал свои допущения".

GPT-5.5 был быстрее. Иногда красивее формулировал. Фактически - слабее.

Концовка отчёта: "ChatGPT has some serious catching up to do". И это от издания которое раньше было главным промоутером OpenAI в мейнстриме. Когда даже свои хвалят конкурента - это диагноз.

Этот термин теперь главная тема в инженерных чатах.

Stephen Smith в своём разборе: "GPT-5.5 умнее чем когда-либо. И сильнее уверен когда ошибается. Разница не в десятых процента".

Karo Zieminski отдельно протестировал цитаты. Вердикт - "худший флагман для этой задачи". Модель уверенно генерит несуществующие источники. Со ссылками. С номерами страниц. С псевдо-DOI.

Старый GPT-4 тоже фантазировал. Но он подавал признаки неуверенности. GPT-5.5 эти признаки убрал. Получается модель которая стала глаже звучать. И опаснее использоваться.

Это парадокс роста. Точность поднялась. Калибровка просела. Просела сильно.

Технически объяснение простое. OpenAI оптимизировали под бенчмарки. Сильно. Натаскивали модель отвечать чем-то правдоподобным даже когда нет уверенного знания.

Anthropic пошли иначе. Натаскивали Клода говорить "не знаю" когда не знает. Это снижает результат на бенчах где правильно ответить любой ценой. Но повышает реальную полезность в продакшене.

Это видно по приёму модели в индустрии. На GitHub Copilot процент Anthropic-моделей растёт. В корпоративных API через Bedrock - аналогично. У потребителей ChatGPT OpenAI всё ещё лидер. Из-за бренда. Не из-за качества.

Можно ли OpenAI исправить это в следующей итерации? Технически да. Стратегически - вопрос. Они всё ещё догоняют по бенчам и это отнимает ресурсы.

Сценарий "одна модель на всё" больше не работает. У каждой ллмки теперь своё узкое горлышко.

Если задача на:

И главное правило при работе с GPT-5.5. Никогда не доверять цитатам и источникам без ручной проверки. От слова совсем.

В РФ ситуация чуть другая. Прямого доступа к API нет ни там ни там. Все ходят через прокси, реселлеров или зарубежные карты.

На этом фоне выбор модели приобретает дополнительный смысл. Если уже платишь премию за обходной путь - бери модель которая стабильно работает. А не ту которая громче маркетируется.

По цене на реселлерах разница укладывается в 15-20%. Маржа реселлера съедает часть разницы. Но output всё равно ощутимо дороже у OpenAI.

Для русского контента есть ещё нюанс. Клод 4.7 заметно лучше держит контекст в большом промпте на русском. GPT-5.5 на 700к+ токенов начинает терять детали. Это не на бенчах - это в боевых задачах. Видно сразу.

Что показывает эта история. OpenAI расширяются вширь. Мультимодалка. Контекст. Агентские способности. Параллельно теряют в надёжности.

Anthropic фокусируются на узком. Чтобы модель писала код. Рассуждала. И не врала.

Кто из них займёт нишу через год - вопрос открытый. Прямо сейчас флагман OpenAI горит на собственных бенчмарках. А Anthropic тихо забирает корпоративный сегмент.

GPT-5.5 - это модель которой можно поручить задачу. Но проверять надо за ней каждое слово.

Claude Opus 4.7 - модель которой можно делегировать. И отойти.

Разница между этими двумя позициями стоит дорого. И в деньгах. И в репутации. А готов ли ваш бизнес платить за галлюцинации топовой модели?