LLM могут «тупеть». Почему токсичный контент разрушает мышление ИИ?
Исследование показывает, что постоянное обучение ИИ на низкокачественном, вирусном и эмоционально перегретом контенте приводит к устойчивому когнитивному снижению.
Команда ученых из Texas A&M University и University of Texas at Austin проверила гипотезу «когнитивной деградации ИИ» на нескольких популярных моделях.
В эксперименте использовались датасеты, составленные из контента в стиле X, ранее Twitter, с упором на вирусность, вовлеченность и эмоциональные триггеры.
Модели, которые длительно дообучались на таком контенте, показали:
1. Снижение способности к рассуждению на 23% по тесту ARC Challenge
2. Падение понимания длинного контекста на 38% по метрике RULER
3. Рост нарциссических и агрессивных паттернов в ответах
4. Снижение кооперативности и «вежливости»
5. Полное пропускание логических шагов при решении задач
Важно, что эффект наблюдался у всех протестированных моделей, включая LLaMA, Qwen и Mistral.
Исследователи попытались «очистить» модели, дообучив их снова на качественных, тщательно отобранных данных. Это дало частичное улучшение, но базовый уровень мышления восстановить не удалось.
Авторы прямо говорят о персистентном сдвиге представлений. Модель не просто временно ошибается, она начинает мыслить иначе. Это означает, что плохие данные оставляют долгосрочный след в архитектуре поведения ИИ.
До этого момента в индустрии доминировала идея, что если модель обучена достаточно долго и на большом объеме данных, то она «переварит» любой шум. Это исследование показывает обратное. Качество данных является не вторичным фактором, а прямой причиной деградации интеллектуальных способностей модели.
Не длина текста и не семантическая сложность сильнее всего вредят ИИ, а популярность контента. Метрики вовлеченности, лайки, репосты, комментарии, оказываются более токсичными, чем просто примитивный текст.
Модель начинает «экономить мышление», обрезать рассуждения, отвечать шаблонно, резко, самоуверенно. В исследовании это прямо названо основной причиной роста ошибок.
Если ваши системы дообучаются или подпитываются пользовательским контентом без жесткой фильтрации, вы постепенно ухудшаете их качество. Причем незаметно.
Особенно уязвимы продукты, которые оптимизируются под вовлеченность, скорость ответа и эмоциональный эффект. Авторы исследования предлагают рассматривать качество данных как задачу безопасности обучения, а не просто инженерную оптимизацию.
Фактически вводится новая категория, когнитивное здоровье модели.
Мир движется к системам, где ИИ принимает решения, влияет на найм, финансы, рекомендации, образование и поведение людей. Если мы массово обучаем такие системы на цифровом шуме, токсичных дискуссиях и культуре клика, мы получаем не усиленный интеллект, а ускоренное выгорание на машинном уровне.
Если вам близка тема AI, технологий и будущего - добро пожаловать в мой канал обсудить и поделиться апдейтами.