Новое исследование: языковые модели становятся хуже, если учатся на текстах, сгенерированных другими моделями
Когда крупные языковые модели (вроде GPT или Claude) обучаются на текстах, созданных другими нейросетями, они начинают терять качество. Это не гипотеза и не случайность — а эффект, который уже можно наблюдать в реальных экспериментах. Недавняя работа исследователей из Кембриджа, Оксфорда и Майкрософта подробно описывает, как именно это происходит и почему такой процесс может быть опасен для будущего всей индустрии.
В самой статье этот эффект называют метафорически: «brain rot» — то есть буквально «гниение мозга». Подразумевается не технический сбой, а постепенная и накопительная деградация модели: она становится менее чувствительной к редким, но важным деталям, хуже различает нюансы и начинает выдавать более однообразные, упрощённые ответы. Причина — в том, что в обучающей выборке становится всё больше синтетических, то есть не настоящих, а сгенерированных ИИ данных.
Для языковых моделей важно, насколько разнообразной и живой была среда, в которой они учились. Когда нейросеть видит много настоящего текста — с редкими словами, неожиданными фразами, логическими скачками и человеческой непоследовательностью — она учится работать в сложной и полной противоречий реальности. Именно это делает её гибкой.
Но если та же модель начинает обучаться на уже сгенерированных ответах, ситуация меняется. Такие ответы чаще всего чище, гладче, предсказуемее. Они словно «усредняют» язык — убирают крайние значения, сглаживают отличия. И чем больше таких данных в обучении, тем меньше в модели остаётся чувствительности к деталям. Она становится «гладкой» не только внешне, но и внутри: теряет способность улавливать редкие сигналы.
В исследовании показано, что при повторном обучении на синтетических текстах модель начинает хуже различать категории, реже распознаёт редкие примеры и чаще ошибается в случаях, когда нужно внимание к нюансам. Это напоминает не простую потерю точности, а именно вырождение: система забывает, чем отличается настоящая сложность от искусственной предсказуемости.
До недавнего времени таких эффектов можно было не опасаться: большая часть интернета была написана людьми. Но сейчас ситуация быстро меняется. Всё больше контента в открытом доступе создаётся нейросетями — от резюме и новостей до комментариев, постов и обзоров. И если будущие модели будут обучаться на таких данных, их восприятие мира начнёт искажаться.
Это похоже на замкнутый круг: нейросеть генерирует тексты → эти тексты попадают обратно в интернет → другие модели учатся на них → качество нового поколения моделей становится хуже. Исследователи подчёркивают, что в таких условиях модели теряют не только выразительность, но и способность к различению. Они хуже справляются с классификацией, хуже распознают отклонения от нормы, и в целом становятся менее «умными».
И что особенно важно — этот эффект сложно вовремя заметить. Поскольку внешне модель может казаться даже более уверенной: она выдаёт более гладкие, «уверенные» ответы, реже сомневается. Но за этой уверенностью скрывается падение точности.
Исследование не предлагает окончательного решения, но называет несколько возможных подходов. Один из них — технический: попытки различать машинные и человеческие тексты и фильтровать синтетику. Другой — организационный: сохранение и защита «настоящих» данных, созданных людьми. Есть также идея использовать специальные методы отбора редких случаев, чтобы модель не теряла способность работать с неочевидными примерами.
Но в любом случае, проблема уже стала системной. И если её игнорировать, следующее поколение языковых моделей может оказаться не лучше, а хуже предыдущего — не потому, что ухудшились алгоритмы, а потому что изменилась среда.
Обучение языковых моделей — это не просто технический процесс, а постоянное взаимодействие с живой речью. Когда эта речь вытесняется машинными шаблонами, модели теряют связь с реальностью. Именно в этом смысле термин «brain rot» оказывается точным: он описывает не внешнюю ошибку, а внутреннее, незаметное для глаза разрушение способности понимать сложное.
Этот эффект нельзя исправить одной настройкой. Но его можно учитывать — особенно сейчас, когда на основе языковых моделей строятся поисковые системы, ассистенты и интерфейсы ко всему, что мы знаем и читаем. Чем больше в этих системах будет вторичных, синтетических слоёв, тем важнее сохранять первичный — человеческий — источник речи.