Обратите внимание, что r на рисунке выше — это гиперпараметр , который мы можем использовать для указания ранга матриц низкого ранга, используемых для адаптации. Меньшее значение r приводит к более простой матрице низкого ранга, что приводит к меньшему количеству параметров, которые необходимо изучить во время адаптации. Выбор меньшего r в LoRA приводит к компромиссу между сложностью модели, способностью к адаптации и риском недообучения или переобучения.