如何平衡小模型的精度与推理速度?

我做小模型时，最容易踩的坑就是一上来只盯着准确率：离线评测看着不错，放到目标设备上却慢得让人怀疑人生。后来我才意识到，精度和速度不是两张互不相干的成绩单。模型再准，如果响应拖沓、内存吃紧，实际体验照样会崩；反过来，快得飞起但经常判断错，也没有意义。

我的做法是先把部署环境想清楚：我们究竟更怕等待，还是更怕误判？这个问题决定了小模型该压到什么程度。别急着把学生模型砍到极限，容量太小，它连老师模型的基本策略都接不住，训练过程看似很努力，结果却是精度一路往下滑。

模型蒸馏在这里很实用。大模型不只给小模型一个“正确答案”，还会给出类别之间的概率倾向。比如它更像猫，也有一点像狗，这种软标签比单一标签包含更多信息。小模型学到的不是死记答案，而是老师判断时的轻重缓急，往往能用更有限的资源保住关键精度。

别把优化当成单选题

蒸馏训练时，我不会只让学生追老师，也不会只看真实标签。两种监督要一起用，再通过温度和损失权重慢慢找平衡。温度调高后，输出分布会更平滑，学生更容易理解老师的倾向；但它不是越高越好，权重也不是越大越有效，最终还是得看验证结果。

如果软标签蒸馏已经碰到瓶颈，再考虑特征层蒸馏或关系蒸馏。前者让学生学习老师如何表示问题，后者更关注样本之间的关系。不过我会把它们放在后面：先把一个容量合适的学生模型和基础蒸馏跑顺，比一开始堆复杂方法靠谱得多。

真正该看的不止准确率

我现在会把实际延迟、内存占用、总体准确率，以及错误样本的分布放在一起看。有些小模型总体分数接近老师，但在那些难例上特别自信地答错，这种情况部署后很容易翻车。

所以，平衡精度与速度的关键，不是追一个“最小模型”，而是找到在目标设备上稳定完成任务的那一档。先做小规模实验，把结果放到真实环境里跑一遍；能快一点当然很好，但别为了那一点速度，把模型最有价值的判断力也一起丢掉。