只有几百条标注数据够微调出好效果?

只有几百条标注数据，能不能微调出好效果？我的答案是：有可能，但“几百条”从来不是决定性条件，数据到底干不干净、任务到底窄不窄，往往更要命。我见过最容易翻车的情况，不是数据太少，而是同一种输入被不同人标成不同答案。模型学得再认真，也只会被带进沟里。

如果你的任务很聚焦，比如输入形式相对固定、输出类别清晰，而且预训练模型本身已经具备不错的通用能力，那么先拿几百条高质量标注跑一个基线，完全值得。它未必一下子惊艳，但足够帮我们判断：模型是不理解任务，还是数据本身有问题。这个区别特别重要，别一看效果不理想，就条件反射去加数据、换大模型。

我自己更在意标注的一致性。先随机抽一些样本，看看有没有边界模糊的例子：同样的语气为什么有时标成一类、有时又是另一类？答案格式是否统一？有没有把无关内容混进去？这类问题没处理好，几百条和几千条的差别，可能只是更大规模地复制混乱。

几百条数据适合做什么

它适合验证一个明确的想法，而不是承担一个模糊又复杂的业务世界。我的做法通常是先少量微调，必要时冻结前面的层，只训练后面的部分；同时盯住验证集表现。训练集越来越好看、验证集却开始掉分，那种“我再多训几轮试试”的冲动，真的得忍住，很多时候已经是过拟合了。

数据少时，轻量化适配方法也很实用，例如 LoRA 或 Adapter。重点不是追求一套看起来很厉害的配置，而是减少无谓改动，让我们更容易判断效果变化到底来自哪里。

别把数量当成安全感

几百条数据不够时，通常会露出一些信号：模型总在相似样本上摇摆；少见表达一出现就失准；真实场景里的效果明显比验证集差。遇到这种情况，我不会立刻盲目扩充，而是先回头看错例，找出最常见、最影响使用体验的错误类型，再补对应的数据。

所以，几百条标注并不寒酸。对一个边界清楚的任务，它可能已经能把方向跑出来；对一个定义混乱的任务，再多数据也只是昂贵的迷雾。先把每一条数据当回事，比先把数量堆上去更靠谱。