ИИ вскоре перестанет объяснять свои решения
Нет-нет, рассуждающие модели не совсем прекратят показывать ход своих «мыслей», просто мы перестанем понимать эти рассуждения, так как модели начнут использовать непонятный код или полностью откажутся от языкового мышления. А мы иначе не умеем 🙂
Более 40 учёных, среди которых исследователи из OpenAI, Google DeepMind, Anthropic и других компаний, заявили, что новые методы обучения и архитектуры, основанные не на языке, а на абстрактных математических представлениях, уже ведут к утрате прозрачности в восприятии. Модели могут начать использовать непонятный код или вообще откажутся от привычного и понятного нам языкового мышления. В результате анализировать и контролировать их поведение станет труднее.
Современные передовые языковые модели способны «размышлять вслух», то есть формулировать свои решения в виде пошаговой «цепочки мыслей» на человеческом языке. Нам всё понятно, можно проследить логику, найти изъяны и так далее. Частень модели сами признаются в ошибках своих рассуждений и это тоже отчётливо видно.
Исследователи считают, что эта прозрачность может исчезнуть с развитием новых архитектур и методов обучения. Например, при обучении с подкреплением модели получают вознаграждение за правильный результат вне зависимости от того, как он был достигнут. Это может привести к тому, что ИИ начнёт использовать свои собственные внутренние способы рассуждения, непонятные человеку, например, заменять обычный язык на какие-либо сокращения или условный код.
Кроме того, опасность представляют новые типы ИИ. Разрабатываются системы, рассуждающие в непрерывных математических пространствах, а не в дискретных словах, что полностью исключает необходимость в языковом мышлении. Зачем модели «думать» так, как удобно людям, если на результат и эффективность это никак не влияет? Правильно, незачем 🤖
Авторы исследования призывают индустрию ИИ сохранить и развивать классический инструмент, даже если это потребует отказа от ряда более эффективных, но менее прозрачных решений. Они предлагают ввести стандарты оценки прозрачности моделей и учитывать их при принятии решений об обучении и внедрении каких-либо систем.
Исследователи подчёркивают: на кону стоит способность человечества понимать и контролировать поведение ИИ!
А это, ребята, важно. Но и прогрессом жертвовать не хочется. Очередная дилемма.
Подписывайтесь на Telegram Нейрочеловек.