Планы под Claude на год: модель ускорилась вдвое, по старому темпу релизов считать нельзя
Если вы строите продукт, нанимаете людей или перестраиваете процессы под Claude, закладывайте на год примерно два прежних года прогресса.
Независимые оценщики METR провели одиннадцать недель внутри Anthropic и замерили, с какой скоростью растут её модели.
Сегодня здесь нет новинки на вечер, и цены подписок отчёт не меняет. Я прочитал его ради другого вопроса: как быстро поднимается потолок того, что умеет Claude, и за счёт чего. Если ваш план на следующий год опирается на этот потолок, ответ меняет сроки. Все цифры ниже взяты из одного документа, в отчёте METR их можно найти вместе с графиками.
Что METR замерила и во сколько раз вырос темп
Главный инструмент отчёта называется AECI. Это индекс METR, который показывает силу моделей на проверяемых задачах. Проверяемые значит, что результат можно проверить однозначно: тесты прошли или нет, ответ совпал с правильным или нет. Индекс считают во времени, поэтому по нему видно не только уровень модели, но и наклон линии, то есть скорость роста.
Я смотрю на главную цифру. С октября прошлого года AECI у Anthropic растёт примерно в 1,9 раза быстрее прежнего тренда. Доверительный интервал (диапазон, в котором, по расчёту оценщиков, лежит настоящее значение) от 1,5 до 2,8 раза. Нижняя граница тоже означает ускорение, просто не такое резкое.
На календаре это выглядит так: за год Anthropic прошла примерно столько, сколько раньше проходила за два.
Главный график отчёта: AECI моделей Anthropic во времени. С октября прошлого года линия идёт круче прежнего тренда.
Для планирования важно, о чём именно эта цифра: о скачке или о смене наклона. Скачок означает, что вышла одна сильная модель, а потом шаг вернулся к прежнему. Смена наклона означает новый шаг, и с каждым месяцем вы всё дальше отходите от старого прогноза. Оценка METR говорит о темпе, то есть о наклоне.
Одни и те же точки можно прочитать двумя способами: как разовый скачок или как новый, более крутой наклон. Для годового плана это разные сценарии.
AECI разных разработчиков моделей из того же отчёта. На этом графике линия Anthropic видна на общем фоне.
Почему дело не только в видеокартах
Самое простое объяснение такое: компания купила больше видеокарт и дольше учит модели. Такой рост называют масштабом training compute, то есть объёма вычислений, который уходит на обучение модели. METR пишет, что этот масштаб не ускорялся настолько, чтобы объяснить новый темп, и в этом уверена. Подробности Anthropic из публичной версии вычеркнула, поэтому цифр по вычислениям в отчёте нет.
Тогда откуда ускорение? У METR есть субъективная оценка. На октябрь этого года бОльшая часть текущего ускорения, возможно около 80%, приходится на вклад самого ИИ в R&D (исследования и разработку) следующих моделей. Оценщики прямо называют это суждением с большой неопределённостью, а не замером.
Вторая оговорка не менее важна. Полностью автономный вклад, когда ИИ без людей делает ключевые части пайплайна (цепочки работ, по которой собирают новую модель), пока не главный. Значит, основная часть вклада идёт через людей, которые работают вместе с ИИ.
Набросок METR о том, какую часть ускорения дал ИИ. Это оценка экспертов, а не результат измерения, и сами авторы так её и подают.
Тем, кого тревожит сценарий «ИИ ускоряет ИИ», отчёт даёт взгляд изнутри лаборатории. По оценке METR, петля уже работает, но пока через людей, а не вместо них.
Где индекс может ошибаться
AECI измеряет только проверяемые задачи. В вашей работе наверняка есть и «грязные», где однозначной проверки нет. Например:
- письмо клиенту, где важен тон, а не только факты;
- разбор спорного требования заказчика;
- выбор, какую функцию выпускать первой.
На таких задачах рост индекса может не совпасть с тем, что вы увидите сами. Индекс фиксирует, прошли ли тесты, и не фиксирует, понравилось ли письмо.
Вторая ловушка связана с опросами сотрудников. В отчёте приводятся самооценки, и там встречается ускорение «×12». Это то, как люди ощущают собственную скорость. Свою оценку METR строит на индексе, а не на анкетах, и цифры из анкет с ним не совпадают.
Самооценки ускорения из опросов сотрудников. Это ощущения людей о своей работе, а не измерение.
Третья оговорка касается доверия. Ключевые доказательства Anthropic вычеркнула, и METR сама предупреждает: публике приходится сильнее опираться на суждение оценщиков. Проверить расчёт со стороны вы не сможете. Остаётся решить, насколько вы доверяете METR.
Как планировать под Claude на ближайший год
Ещё одна деталь отчёта касается сроков. На ближайший год METR не увидела узких мест, то есть ограничений, которые могли бы притормозить темп. Это не гарантия, а отсутствие найденных препятствий, и с той же оговоркой про вычеркнутые доказательства.
Из отчёта я вывожу одно правило из трёх частей.
- Считайте год по ускоренному темпу проверяемых задач. Если в плане было «Claude дорастёт до нужного уровня за два года», по оценке METR, это может случиться за один.
- Отдельно выпишите свои «грязные» задачи и не переносите на них этот темп автоматически. На них AECI может завышать картину.
- Не считайте самооценки вроде «×12» из опросов сотрудников доказательством. Опирайтесь на измеренный темп, а не на ощущения.
Например, в плане найма заложено, что ещё год прогоном тестов и разбором типовых ошибок будут заниматься люди. Это проверяемые задачи, и их темп, по оценке METR, уже стоит пересматривать по ускоренной шкале. Если же в плане стоит «к весне модель научится вести переговоры с клиентами», это «грязная» задача, и для неё ускоренный темп ничего не обещает.
Какие задачи в вашей работе с Claude вы бы назвали «грязными», такими, где рост модели почти не чувствуется?
Короткие разборы таких отчётов я выкладываю в Нейросеть на завтрак.