特征层蒸馏与关系蒸馏的区别

模型蒸馏并不只有“让学生模型模仿教师模型输出”这一条路径。特征层蒸馏与关系蒸馏的核心差异，在于前者约束单个样本的内部表示，后者约束多个样本之间的结构关系。二者都服务于知识迁移，但保留的信息层次不同，适用场景也不能混用。

特征层蒸馏：模仿单个样本的表示

特征层蒸馏要求学生模型在中间层生成与教师模型相近的特征表示。教师模型对一张图片或一个输入如何逐步提取信息、区分局部与整体，都会体现在这些中间特征中。学生不只学习最终类别，还要学习教师对当前样本的编码方式。

这种方法的优势是监督信号更直接，通常适合教师与学生结构相近、并且能够找到对应中间层的情况。实际训练时，常需要处理特征维度或空间尺寸不一致的问题，否则学生无法直接对齐教师表示。风险在于：如果强行要求每一层都高度相似，可能限制学生模型形成适合自身结构的表达，反而影响最终性能。

关系蒸馏：保留样本之间的结构

关系蒸馏不把重点放在某个样本的绝对特征值上，而是关注样本之间的相似性、距离、排序或类别关联。例如，教师模型不仅判断某个样本属于“猫”，还隐含表达了它与“狗”更接近、与“兔子”更远。关系蒸馏就是让学生模型尽量保留这种相对结构。

它对网络结构的依赖相对弱一些，尤其适合学生与教师架构差异较大，或任务本身强调类别间结构、检索相似度和表示空间组织的情况。但关系信号通常需要在样本之间计算，训练过程更依赖批次中的样本构成；如果样本过于单一，学生学到的关系就可能不完整。

如何选择

如果问题是“学生如何表示当前样本”，优先考虑特征层蒸馏；如果问题是“样本之间应当保持怎样的相对关系”，关系蒸馏更合适。二者也可以结合：用特征蒸馏稳定局部表示，用关系蒸馏维护全局结构。

判断效果时不能只看总体准确率，还应检查错误样本、置信度表现以及目标设备上的实际延迟。蒸馏的关键不是让学生完全复制教师，而是在有限容量下保留最有价值的知识。