几百条标注够不够做第一轮实验

前阵子一个做模型的朋友问我：手里就攒了几百条标注，够不够开第一轮实验？我几乎是脱口而出：够，别等了，赶紧跑起来。这真不是安慰他——我自己第一次做的时候，标注量也就是这个规模，最后照样把奖励模型训练出来了。常见的起步建议本来就是采集几百到几千条对比标注，几百条正好卡在这个区间的下限，做第一轮完全够格。

第一轮的目标不是完美，是跑通

很多人对第一轮实验有误解，觉得数据少就"不严谨"。其实第一轮要解决的根本不是效果问题，而是流程问题：标注标准清不清晰？标注者之间打不打架？奖励模型训出来的分数靠不靠谱？这些问题，几百条数据足够把它们暴露出来了。而且这里有个很划算的点——用两两对比的方式标注，比绝对打分稳定，成本也更低。同样几百条，对比式标注能榨出更多有效信号。

什么时候几百条会真的不够

当然，丑话也得说在前面。如果你的场景特别杂，或者标注者背景太单一，几百条确实容易把偏见喂给奖励模型。后面模型学会"耍小聪明"，拿空洞但看起来安全的回答去骗高分，你还得花时间返工修。所以我的做法是：标注者尽量多样化，每轮都保留旧模型的候选输出做对照，防止新模型走偏，再用小步长的 PPO 慢慢调，一边调一边盯着生成质量和安全指标。数据少不可怕，可怕的是数据又少又偏，还没人盯着。

所以回到开头那个问题：几百条够不够？够开第一枪，但别指望一枪命中。先把这几百条花在刀刃上，跑通流程、暴露问题，再一轮一轮往里补数据。真的，先动手跑起来，你就已经比那些还在闷头攒数据的人快了一步。