CNN 训练不稳定时该先排查什么?

CNN 训练过程中出现 loss 震荡、不收敛或验证集性能剧烈波动时，直接增加网络深度或更换复杂架构往往无济于事。训练不稳定的根源通常隐藏在数据质量、基础超参数或初始化策略中。系统性的排查应从这些底层因素入手，而非盲目修改模型结构。

首要排查对象是数据质量与分布。输入图像的尺度不一、光照差异以及标签噪声都会直接破坏梯度的稳定性。在调整任何网络参数前，应先对训练集进行可视化抽检，确认数据分布是否均衡，图像预处理是否一致。若数据存在严重偏差，即使模型架构再合理，也难以稳定收敛。此时，引入基础的数据增强手段，如随机翻转、缩放或颜色抖动，往往能有效提升数据的多样性，从而平滑训练曲线。

其次，需审视学习率与优化器的配置。学习率是影响训练稳定性最敏感的超参数：设置过大易导致梯度发散，过小则使模型陷入局部最优或收敛极慢。排查时应检查当前学习率是否匹配当前模型规模和数据批次大小。若初始学习率较高，可考虑引入学习率预热机制，在训练初期逐步提升学习率，以避免早期梯度剧烈震荡。此外，优化器的选择也至关重要，先使用自适应优化器进行初步探索，再切换至传统随机梯度下降进行微调，是稳定训练的有效策略。

模型容量与初始化方式同样不容忽视。若直接从零开始训练一个参数量庞大的网络，极易因随机初始化导致早期训练不稳定。排查时应遵循“由简入深”的原则：先用小规模数据集和浅层网络验证训练流程是否畅通，再逐步加深网络。同时，充分利用预训练模型进行迁移学习，冻结底层通用特征提取层，仅训练高层分类器，能大幅降低冷启动带来的不确定性，并显著提升训练稳定性。

面对 CNN 训练不稳定，理性的排查路径是自底向上的。从数据源头的可视化与清洗，到学习率机制的调整，再到预训练权重的引入，每一步都旨在消除导致梯度异常的底层干扰。只有当这些基础环节确认无误后，对网络架构本身的修改才具有实际的诊断意义。