LoRA为什么比全量微调更省成本

全量微调的账单之所以惊人，根源在于它要更新模型的每一个参数。训练过程中，除了权重本身，每个可训练参数还需要保存梯度和优化器状态，显存占用往往是权重体积的数倍。模型规模达到数十亿乃至更高量级时，这套开销直接把训练门槛推到高端多卡集群的水平，硬件、时长、电力全部水涨船高。

LoRA（Low-Rank Adaptation，低秩适应）的思路截然不同：冻结原始权重，只在特定层注入一对可训练的低秩矩阵，用两个小矩阵的乘积去近似权重的增量。由于秩远小于原始矩阵的维度，可训练参数通常只占总参数量的极小一部分，整个成本结构因此被改写。

省在哪几处

显存是最直接的一项。冻结的权重不需要梯度，也不需要优化器状态，训练时的显存占用大幅下降，原本依赖专业算力的任务可以压缩到更有限的硬件上完成。存储同样受益：训练产物只是一个体积很小的适配器文件，而非完整模型的副本。同一个基座模型可以挂载多个适配器，分别对应不同业务场景，切换时只需加载对应的小文件，不必为每个任务各存一份完整权重。

迭代效率也不容忽视。可训练参数少意味着单步计算更轻、收敛所需资源更少，试验周期随之缩短。配合独立验证集观察效果，不满意可以迅速调整数据或超参重来；适配器本身即插即拔，回滚成本几乎为零。这种低风险的试错空间对实际项目尤为关键——数据质量往往决定一半效果，省下的算力预算恰恰可以投向数据建设，这才是更划算的资源分配。

边界在哪里

低秩约束既是省钱的原因，也是能力的上限。当目标是把大量全新知识压进模型，或者输入输出分布发生根本性偏移时，低秩结构可能装不下所需的改变，全量微调仍有不可替代的场景。更稳妥的路径是先用 LoRA 低成本试水：准备数百条高质量示例跑一个版本，用验证集评估效果，确认低秩方案的天花板确实不够用时，再考虑是否升级到全量方案。把昂贵的选项留到最后，本身就是成本控制的一部分。