对比式标注的成本与稳定性优势

在 RLHF 的数据生产环节，标注方案的选择往往比奖励模型的结构更早决定最终效果。绝对打分看似信息量更大，实则把标尺校准的负担全部转嫁给标注者；对比式标注把问题简化为"A 与 B 哪个更好"，这种形式上的退化，恰恰换来了稳定性与成本上的双重收益。

稳定性来自判断维度的压缩

绝对评分依赖标注者内心有一把稳定的尺子，而这把尺子并不存在。同一名标注者在不同时间段的打分分布会漂移，不同标注者之间的尺度更难对齐——五分制里的"4 分"对每个人的含义都不同。两两比较把多维度的质量判断压缩为单一维度的偏好选择，认知负担显著降低，标注者间一致性随之上升。对奖励模型训练而言，这一点尤为关键：成对偏好正是 Bradley-Terry 这类偏好学习框架的标准输入形式，标注信号与训练目标在结构上天然对齐，省去了从绝对分数到偏好关系的二次转换，也就少了一层信息损耗和噪声引入。

成本优势藏在一致性里

对比式标注的经济性常被低估。单条判断耗时更短，标注者无需先掌握复杂评分细则即可上手，培训成本随之下降。更深层的节省来自一致性本身：标注分歧小，意味着抽检、仲裁与返工的比例下降，同样的预算可以覆盖更多有效样本对。相比之下，绝对打分为了对齐尺度，往往需要多轮校准、示例库维护和冗余标注，隐性成本远高于表面单价。

当然，对比式标注并非没有代价。成对偏好可能不满足传递性，采样对的设计直接影响数据覆盖面，标注者的群体偏见也不会因为换成比较形式就自动消失。工程上的稳妥做法是保持标注者背景的多样性，对关键样本保留多人重复标注以估计一致性，并在奖励模型上线后持续监测奖励欺骗的迹象。标注形式解决的是信号质量问题，而不是价值判断本身——把这一层想清楚，预算才算花在了刀刃上。