VC-4: 38.8% против 83.5%. Где AI обгоняет PhD-эксперта, а где в 2 раза слабее

Я последние месяцы повторяю одну и ту же формулу: «33% реальный результат vs то, что заявлено». Stanford HAI вчера дал ещё один пример этой формулы, теперь на уровне PhD-экспертов.

PaperArena, бенчмарк для сложных научных multi-step задач. Топ AI multi-agent setup в 2026 году: 38.8% точности. PhD-эксперты на тех же задачах: 83.5%. Разрыв 44.7 процентных пункта. Агент в 2.15 раза слабее человека.

При этом на graduate-level science questions (отдельные знаниевые вопросы) модели уже дают 93%, при человеческом baseline 81.2%. На OSWorld (компьютерные задачи через ОС), рост за год с 12% до 66.3%, разрыв с человеком сократился до 6 пунктов. На Terminal-Bench, с 20% до 77.3%.

Картина не «AI хуже» и не «AI лучше». Картина специфическая.

Stanford HAI 2026 AI Index фиксирует, что прогресс агентов в 2025-2026 году был самым резким в истории AI. По одним метрикам догнали человека или обошли. По другим всё ещё в 2 раза слабее. И эти «другие», не маргинальные, а ровно те, в которых работает большинство профессий с принятием решений.

Зона, где AI догнал и обогнал, single-step знаниевые задачи. Ответ на конкретный вопрос. Применение известного метода к стандартной ситуации. Поиск по большому объёму информации. Базовое программирование под чёткое ТЗ. На этих задачах AI или превосходит человека, или приблизился до 5-10 пунктов.

Зона, где AI всё ещё в 2 раза слабее, complex multi-step задачи с навигацией, выбором, принятием решений в условиях неопределённости. Это и есть PaperArena. Это работа исследователя, аналитика, продукт-менеджера, юриста, врача в нестандартном случае. Везде, где нужно держать в голове множество противоречивых критериев, выбирать из вариантов, переключаться между уровнями абстракции.

В публичной дискуссии AI Index часто читают избирательно. Сторонники нарратива «AI заменит всех» цитируют 93% на graduate-level science questions и игнорируют PaperArena. Сторонники нарратива «AI всё ещё игрушка» цитируют PaperArena и игнорируют OSWorld. Обе позиции опираются на половину данных.

Реальность по этому отчёту операционно полезная. AI стал инструментом с очень неравномерной кривой компетентности. На одних задачах он эксперт. На других, talented junior. И граница между двумя зонами проходит не там, где её обычно ставят.

И вот тонкий момент. В отчёте есть второй разрыв, ещё показательнее. Когда людей спрашивают, как они ожидают, что AI повлияет на их работу, 73% AI-экспертов ждут позитивный эффект, у public, 23%. Разрыв 50 процентных пунктов. Это не разница во мнениях. Это разница в оценочной картине будущего. Команды без своей методологии чаще верят публике, чем экспертам. И тем самым закрывают себе путь к реальному использованию.

Если ваш AI-проект упёрся в потолок и команда говорит «модель не справляется», высока вероятность, что задача попала в зону PaperArena. Это не повод бросать AI. Это повод правильно делегировать.

Конкретно. На задачах из «зоны PaperArena» AI должен делать первые 70%: поиск, структурирование, черновик, варианты, аргументы за и против. Человек закрывает оставшиеся 30%: выбор, проверку, принятие решения. Это и есть разница между «делегировал и забыл» и «делегировал и принял».

В других зонах, где AI обгоняет человека, можно делегировать «как есть» с базовой проверкой по форме. Но и там нужна прямая ясность, что эту задачу AI закрывает в одиночку, и человек только подписывает.

Без этой границы команда либо переоценивает AI (и попадает в дорогие ошибки), либо недооценивает (и не получает преимущества там, где могла бы).

Возьмите 5-7 типовых задач, в которых ваша команда сейчас использует AI. Разнесите их по двум зонам: «AI-силён» (single-step знание) и «AI-слаб» (multi-step с выбором). Для каждой зоны, отдельный регламент использования.

В зоне «AI-слаб» обязательно человек закрывает финал. Зафиксируйте это как стандарт, не как рекомендацию. Если задача попала туда, она автоматически проходит через ручную проверку перед выходом.

Используйте 50-point gap (73% vs 23% между экспертами и public) как индикатор внутри команды. Если в команде преобладает алармистская картинка про AI, у вас работает «public view», и до операционного использования AI далеко. Если преобладает завышенный оптимизм, у вас «overconfident expert view», и пропустите критичные ошибки.

Цифру 38.8% vs 83.5% стоит держать рядом и предъявлять команде, когда возникает дискуссия «AI справится сам». Конкретный peer-reviewed бенчмарк весит больше, чем интуиция.

Стратегически. Те, кто умеет различать две зоны и строить процессы соответственно, получают непропорциональное преимущество не за счёт «больше AI», а за счёт точности делегирования. Это операционный навык 2026 года. Не премиальный, базовый.

У вас в команде типовые AI-задачи разнесены по зонам, или используются «как получится»?

Больше разборов AI для бизнеса - в Telegram: https://t.me/gorilla_under_hood