Ведущие ИИ-модели приблизились к максимальным результатам на профессиональных финансовых экзаменах
Опубликованы результаты нового исследования, посвящённого тому, как современные языковые модели справляются с экзаменами CFA — одной из самых жёстких профессиональных сертификаций в сфере финансов. Авторы работы проверили сразу несколько ведущих ИИ-систем и зафиксировали результаты, которые ещё недавно казались недостижимыми.
Речь идёт об экзаменах Chartered Financial Analyst — международной сертификации для финансовых аналитиков. Программа CFA состоит из трёх последовательных уровней и охватывает инвестиционный анализ, корпоративные финансы, экономику, управление рисками и портфелями, а также этику. Для людей прохождение всех уровней обычно занимает несколько лет, а сами экзамены используются как универсальный ориентир сложности и глубины профессиональных знаний в финансах.
В новом исследовании были протестированы GPT-5, Gemini 3.0 Pro, Claude Opus 4.1, Grok 4 и DeepSeek-V3.1. Проверка включала почти тысячу вопросов, распределённых по всем трём уровням экзамена. Результаты оказались близки к максимальным: Gemini 3.0 Pro набрал 97,6% на первом уровне, GPT-5 показал лучший результат на втором уровне — 94,3%, а на третьем, самом сложном этапе с заданиями, требующими развёрнутых ответов, лидерство снова осталось за Gemini с результатом около 92%.
Особенно показательной эта картина выглядит на фоне прошлогодних данных. В 2024 году модели предыдущего поколения, включая GPT-4o и Claude 3 Opus, уже уверенно проходили первые уровни CFA, но третий уровень оставался слабым местом. Итоговые баллы тогда, как правило, находились в районе 70%, а качество ответов заметно зависело от формата заданий. Ещё раньше, в 2023 году, даже ведущие модели не демонстрировали стабильных проходных результатов.
Таким образом, за примерно год ИИ перешёл от частичного соответствия требованиям экзамена к почти полному воспроизведению знаний, которые CFA проверяет у будущих аналитиков. Причём речь идёт не только о тестовых вопросах, но и о заданиях, где требуется последовательное объяснение решений и применение финансовых моделей.
Авторы исследования отдельно подчёркивают, что успешное прохождение экзамена не означает автоматической готовности к реальной работе в финансах. Экзамены проверяют знание методик и формальных подходов, тогда как в профессии важны интерпретация, ответственность за решения и взаимодействие с клиентами. Однако сами цифры фиксируют важный сдвиг: та часть подготовки, которая десятилетиями считалась трудоёмким интеллектуальным фильтром, за короткий срок стала воспроизводимой моделями.
Экзамены CFA долгое время служили удобным ориентиром сложности: если кандидат способен пройти все три уровня, значит он освоил базовый корпус знаний профессии. Теперь этот ориентир перестаёт быть исключительно человеческим. Что будет ещё через год?