噪声计划如何影响扩散模型训练

噪声计划并非扩散模型中的附属超参数,它直接规定了训练样本在不同时间步的信噪比,也就决定了模型主要在学习什么难度的去噪任务。前向过程加噪过快,原始图像的结构会在较早阶段被淹没;加噪过慢,则大量训练时间集中在几乎无噪声的简单修复上。两种失衡都会削弱模型对完整生成链路的覆盖。

噪声计划如何影响扩散模型训练

从训练目标看,模型需要在随机噪声程度下判断并移除噪声。一个好的噪声计划,应让低噪声阶段保留足够的纹理、边缘与局部结构,让模型学会精细还原;同时也要让高噪声阶段具有足够挑战,使模型能够从接近纯噪声的状态恢复全局布局。若中间区间分布不合理,训练损失即使下降,生成时仍可能出现主体轮廓不稳、细节发糊或画面结构断裂等问题。

计划改变的是训练难点的分布

线性 schedule 的特点是按较均匀的节奏推进噪声强度,理解和实现都较直接,因此常被用作基线。cosine schedule 则以不同方式分配各阶段的信噪比,使某些关键区间拥有更平滑的变化。两者没有脱离数据与模型的绝对优劣,真正要观察的是:模型是否同时学会了低噪声下的细节修复与高噪声下的语义、构图恢复。

噪声计划还会影响训练与采样的一致性。训练时模型接触到的噪声层级,与生成时实际经历的去噪轨迹若差异过大,模型便可能在某些阶段缺乏可靠判断。此时单纯增加采样步数未必能解决问题:步数只能让已有的去噪能力被更细地调用,不能补上训练中没有学好的噪声区间。

实践中,更稳妥的做法是先固定数据归一化、分辨率和其他训练条件,以线性或 cosine schedule 建立可复现基线,再观察不同噪声程度下的样本表现。若模型能还原低噪声图像却难以从高噪声生成清晰结构,应检查高噪声阶段的学习是否不足;若整体结构尚可、细节却持续异常,则应关注低噪声阶段是否被压缩得过于仓促。噪声计划的价值,正在于把“模型为什么生成不好”转化为可定位的训练分布问题。

参与讨论

0 条评论

延伸阅读