Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen
在广泛使用的参数高效微调（PEFT）方法中，LoRA 及其变体因避免了额外的推理成本而受到广泛欢迎。然而，这些方法与全量微调（FT）之间往往仍存在精度差距。本文首先引入了一种新颖的权重分解分析，以探究 FT 与 LoRA 之间的内在差异。基于研究发现，为模拟 FT 的学习能力，作者提出了权重分解低秩自适应方法（DoRA）。DoRA 将预训练权重分解为幅度和方向两个部分进行微调，并专门采用 LoRA 进行方向更新，以高效减少可训练参数量。通过采用该方法，在不引入任何额外推理开销的情况下，增强了 LoRA 的学习能力与训练稳定性。在 LLaMA、LLaVA 和 VL-BART 的微调实验中，DoRA 在常识推理、视觉指令微调以及图像/视频-文本理解等各类下游任务上均持续优于 LoRA。