GPT-6 Sol против GPT-5.6 Sol: я дал им четыре одинаковых задания и посмотрел, что получилось

С выходом новой модели у меня возник очень приземлённый вопрос. Я сижу на подписке и не плачу за каждый токен отдельно, поэтому фраза «модель стала умнее» мне почти ничего не говорит, пока я не понимаю, как это проявится в обычной работе: сколько задач я успею сделать, станет ли быстрее и придётся ли реже исправлять ошибки.

Про ИИ вообще очень легко говорить процентами, которые живут сами по себе: «на 30% эффективнее», «на 40% сильнее». А что именно измерили? Длину ответа, скорость первого слова, качество картинки или число попыток до готового результата? Готового и честного ответа именно для моего режима работы я не нашёл, поэтому попросил Codex устроить небольшое сравнение прямо у меня на компьютере.

Две модели получили одни и те же четыре задания: написать код, собрать сцену в Blender, нарисовать 2D-иконку и найти ответ в документации Godot. Смотрел я не только на секунды и токены, но и на то, что в итоге получилось. Ниже цифры, картинки и та часть, которую обычно не пишут в рекламе, то есть ограничения теста.

Задания запускались по очереди в Codex CLI на Windows, по одному прогону на каждую пару «модель и задача». Глубина рассуждения у обеих стояла одинаковая (medium), промпты совпадали слово в слово, и переделывать ответ после замечаний модели не просили. Тест прошёл 30 сентября 2026 года на Codex CLI 0.158.0-alpha.2.1 и Blender 5.2.2 LTS.

Время Codex засекал от запуска CLI до конца ответа модели, то есть вместе с запуском клиента и работой инструментов. Проверка кода и рендер в Blender в эти секунды не входят, так что сравнивается именно работа ассистента над заданием, а не весь путь человека от идеи до готового файла.

У каждой задачи была своя проверка: тесты для кода, запуск в настоящем Blender для 3D, требования к размеру и фону для SVG и сверка с официальной документацией для поиска.

Сразу оговорюсь, что это один запуск на задание, а не лабораторный бенчмарк. Другие формулировки, нагрузка на сервис или повторные прогоны вполне могли бы сдвинуть цифры. Зато здесь можно посмотреть на конкретные файлы и ошибки, а не только на красивый процент в заголовке.

Старая модель потратила на весь набор примерно 9 минут, новая 8 минут 18 секунд, и разница вышла в 42 секунды. Это заметно, но до обещаний в духе «на треть быстрее» тут далеко.

Интереснее всего получилось с поиском: там новая модель оказалась чуть медленнее и сделала четыре веб-вызова против двух у старой, хотя правильными вышли оба ответа. Выходит, скорость в отдельной задаче сильно зависит от того, как модель обращается с инструментами, и если она решила почитать побольше страниц, секундомер это честно посчитает.

С токенами история оказалась сложнее, чем просто «новая модель экономнее».

За четыре задания GPT-5.6 выдала 10 491 выходной токен, а GPT-6 9 332, то есть на 11% меньше: новая модель отвечала и писала файлы немного компактнее. По задачам это выглядит так: код 1 222 против 979, Blender 6 372 против 5 788, SVG 1 890 против 1 733 и поиск 1 007 против 832.

А вот по входу всё наоборот: 117 634 токена у старой модели и 189 212 у новой, то есть почти на 61% больше. Почти вся разница набежала в поиске, где у GPT-5.6 было 72 464 входных токена и два веб-вызова, а у GPT-6 142 818 и четыре вызова. Во вход здесь попадает и кэшированный контекст, и всё, что вернули инструменты, включая прочитанные страницы.

Поэтому взять 11% экономии на выходе и объявить, что подписка теперь выдержит на 11% больше задач, не получится. Точно так же нельзя по 61% лишнего входа решить, что новая модель стала на столько же дороже: кеш, инструменты и правила подписки устроены сложнее. Эти счётчики описывают поведение моделей в конкретном эксперименте и не более того.

Первая задача была небольшой, но с проверяемым результатом: написать модуль маршрутизации на JavaScript по одному и тому же техническому заданию. Мне было важно не то, чей код выглядит изящнее, а то, проходит ли он одинаковые проверки.

Здесь всё просто: 8 из 8 тестов у обеих. GPT-6 справилась за 56 секунд против 65 у GPT-5.6 и написала меньше, то есть ту же проверяемую работу сделала быстрее и компактнее. Но по восьми тестам на маленький модуль нельзя судить о большом проекте, где важны поддерживаемость, работа с чужой архитектурой и ошибки на длинной дистанции.

Для меня это хорошая иллюстрация того, почему одного «модель умнее» мало. Если обе дают рабочий код с первой попытки, весь выигрыш сводится к девяти секундам и чуть более короткому ответу. Для ежедневной рутины приятно, а вот менять из-за этого рабочие привычки пока рановато.

Обеим моделям предложили написать Blender-скрипт и собрать небольшую стилизованную сцену с маяком. Тут сразу стало понятно, зачем проверять файлы в настоящей программе: на вид оба ответа были законченными, но оба скрипта упали при запуске. Модели указали старое название движка BLENDER_EEVEE_NEXT, а установленный Blender 5.2.2 ждал BLENDER_EEVEE.

После одной и той же правки в обоих скриптах сцены открылись, сохранились и отрендерились. Правили уже на этапе проверки, так что назвать исходный результат готовым без участия человека нельзя ни у одной из моделей. В коротком сравнении этот момент легко потерять и записать обеим идеальный результат, но это было бы неправдой.

Сама работа модели заняла 312,89 секунды у GPT-5.6 и 286,01 у GPT-6. Рендер шёл почти одинаково (38,47 и 39,35 секунды), но эти секунды я в скорость модели не включал, ведь картинку считал уже Blender на моём компьютере.

А вот внешне маяки различаются куда сильнее, чем цифры. У GPT-5.6 получилось темнее и контрастнее, с красной крышей и почти ночным настроением. У GPT-6 сцена светлее, силуэт чище и палитра спокойнее. Основные требования соблюдают оба, а какой красивее, это уже дело вкуса, и превращать свой вкус в рейтинг «интеллекта» моделей я бы не стал.

В третьем задании модели рисовали иконку бутылочки с янтарным зельем в SVG, то есть векторную графику кодом, а не картинку из генератора изображений. Обе версии получились 256×256, с прозрачным фоном, нормально открываются и узнаются даже в размере 32×32.

GPT-5.6 справилась за 98,73 секунды и 1 890 выходных токенов, GPT-6 за 91,08 секунды и 1 733 токена, так что у новой модели снова небольшой выигрыш. Мне первый вариант нравится чуть больше за контрастность и какой-то объем на маленьком размере, но и вторая иконка вполне годится в дело. Скорее это два разных художественных решения, чем доказательство, что одна модель лучше другой.

Последний запрос был про Godot: коротко объяснить, когда брать CharacterBody3D, а когда RigidBody3D, и дать ссылки на официальную документацию. Обе модели ответили по делу, уложились в объём и сослались на правильные страницы. GPT-5.6 потратила 63,97 секунды, GPT-6 65,30, так что здесь новая модель по скорости не выиграла.

Разница была в самом процессе: GPT-6 открывала и читала больше, сделала четыре веб-вызова вместо двух и потратила почти вдвое больше входных токенов. Можно предположить, что она тщательнее себя перепроверяла, но по одному случаю этого не докажешь, а точность ответа у обеих в итоге одинаковая. На сложном вопросе лишнее чтение, может, и пригодилось бы, а здесь заметной пользы не дало.

Если смотреть на результаты без рекламы и без желания назначить победителя любой ценой, картина получается довольно спокойная. Код у обеих прошёл все тесты, SVG у обеих валидные, ответы по Godot у обеих правильные, а в Blender обе споткнулись об одну и ту же ошибку и после одинаковой правки обе выдали хорошие рендеры. Честного повода сказать, что GPT-6 на этих заданиях даёт заметно более качественный результат, у меня нет.Практический плюс у неё всё же есть: в трёх заданиях из четырёх она закончила быстрее и писала короче. Только меньше выходных токенов не значит «лучше думает», а больше прочитанных страниц не значит «лучше проверила факты». Чтобы такое утверждать, нужны повторные прогоны и задачи посложнее.И отдельно для тех, кто, как и я, сидит на подписке: из этих цифр нельзя посчитать, сколько задач вам теперь достанется в месяц. Я мерил время и токены четырёх запусков, а не то, как устроены лимиты. Если чисто ради интереса повторять ровно этот набор и считать ограничением только время, получится примерно на 8,5% больше наборов за тот же период, но это просто арифметика, а не обещание.

Красивой цифры на упаковке у меня не вышло. В моём маленьком тесте GPT-6 Sol оказалась немного быстрее и писала короче, но качество результатов у обеих моделей сопоставимое, а входных токенов новая потратила заметно больше из-за поиска. Для повседневной работы это приятное ускорение, но никак не революция, и если цена ошибки высокая, проверять результат всё равно придётся, что маяки в Blender отлично показали.Мне бы очень хотелось видеть прозрачную статистику именно для людей на подписке: не «модель лучше в бенчмарке», а сколько обычных рабочих задач она доводит до конца за час, как часто её приходится поправлять и как это сказывается на доступном объёме работы. Пока таких цифр нет, я лучше буду рассказывать о том, что получилось у меня на компьютере, и честно ставить знак вопроса там, где данных не хватает.А как у вас? Если вы уже поработали с GPT-6 Sol, в чём почувствовали разницу со старой версией: в скорости, в коде, в графике или в поиске? Или пока не заметили ничего особенного?Короткие версии и размышления пишу в Telegram: «Некипелов обо всём».