Положительная обратная связь
Положительная обратная связь-тип обратной связи, при котором изменение выходного сигнала системы приводит к такому изменению входного сигнала, которое способствует дальнейшему отклонению выходного сигнала от первоначального значения, то есть знак изменения сигнала обратной связи совпадает со знаком изменения входного сигнала.
Такое определение дает интернет данному термину. Давайте попробуем дать ему более простое объяснение:
Положительная обратная связь - это ситуация, когда выход системы усиливает и подкрепляет собственный вход, создавая замкнутый цикл, который может привести к неконтролируемому росту или уменьшению выходного сигнала.
Представьте, что вы смотрите в зеркало и между вами и зеркалом установлено второе параллельное зеркало. Изображение будет отражаться между этими зеркалами бесконечное количество раз. Это пример положительной обратной связи в оптической системе - каждое последующее отражение усиливает и повторяет предыдущее.
Вот еще один пример положительной обратной связи:
Представьте микрофон, подключенный к громкоговорителю. Если микрофон расположен достаточно близко к громкоговорителю, он может захватывать звук, воспроизводимый самим громкоговорителем.
В этой системе возникает следующий цикл положительной обратной связи:
- Микрофон улавливает небольшой фоновый шум из окружающей среды.
- Этот шум усиливается и воспроизводится через громкоговоритель.
- Громкоговоритель излучает усиленный шум обратно в микрофон.
- Микрофон снова захватывает этот звук, но уже с большей амплитудой.
- Захваченный звук снова усиливается и излучается громкоговорителем с еще большей амплитудой.
Этот цикл повторяется многократно, с каждой итерацией звук становится всё громче и громче, пока не достигнет максимальной мощности системы, создавая режим положительной обратной связи, известный как "свист" или "акустическая петля".
Другими словами, выход системы (звук от громкоговорителя) усиливает свой собственный вход (звук, попадающий в микрофон), что приводит к неконтролируемому нарастанию сигнала, пока система не достигнет своих предельных возможностей.
Такая положительная обратная связь характерна не только для акустических, но и для многих других систем, где выход влияет на вход таким образом, что изначальное изменение усиливается вместо того, чтобы стабилизироваться.
Применительно к обучению языковых моделей ИИ, положительная обратная связь может возникнуть, когда модель начинает учиться на данных, сгенерированных другими моделями ИИ. Эти данные могут содержать ошибки, которые усваиваются моделью в процессе обучения. Затем, когда обученная модель генерирует новые данные, она воспроизводит и усиливает эти ошибки. Эти ошибочные данные, в свою очередь, могут использоваться для дальнейшего обучения, замыкая цикл положительной обратной связи и приводя к накоплению все больших искажений.
Таким образом, модель ИИ может "отравлять" сама себя, усиливая ошибки на каждой итерации обучения, вместо их исправления. Это серьезная проблема, требующая тщательного контроля качества данных и применения методов проверки фактов.
Подписывайтесь на блог и да пребудут с вами нейросети!