微调数据集清洗的三步法

在咖啡馆里和朋友聊起最近的模型微调，大家常会被“显存够不够”这件事拦住脚步。其实，真正决定效果的关键往往在于手里那份干净、聚焦的训练数据。把数据集清洗好，就像先把厨房里的杂物收拾干净，后面的烹饪才不会被噪声抢戏。下面就用三步法把这件事拆开聊聊，顺便抛出几个值得思考的小问题。

第一步：删掉无关、矛盾和低质量样本

先围绕明确的任务目标筛选数据。若是让模型生成行业问答，就要把闲聊、无关资讯、残缺片段统统剔除。更重要的是检查答案之间是否自相矛盾，同一个问题出现不同结论会让模型学到摇摆的模式。还有，只有结论没有问题的片段、上下文缺失的对话也要踢出，因为模型不会自己补全逻辑。如果你的数据里已经有不少噪声，清理后模型表现会提升多少，你有经验吗？

第二步：去重并控制相似样本比例

完全相同的问答必须删除，表面换词但实质相同的也要合并或削减。保留少量不同写法可以帮助模型适应语言变体，但大量近似样本只会让高频表达被放大，训练集看起来很大却没有增加信息量。理想的做法是让样本覆盖不同难度：常见问题、边界问题和复杂任务各占一定比例。你在实际项目里是怎么设定去重阈值的？

第三步：统一输入、输出与边界规则

同一任务的样本最好使用一致的结构——比如明确区分背景、用户问题和期望的答案形式。格式不统一会让模型困惑，不知道该给出简答、长文还是表格。更关键的是在数据里写明“不该回答什么”，比如信息不足时要追问、涉及敏感内容时采用保守口径。这类边界样本往往决定模型的可靠性。在你的经验里，哪些边界规则最容易被忽视？

把这三步落到实处后，接下来就可以用 LoRA 在 24 GB 显存的机器上进行轻量微调，先验证模型是否“会做”，再决定是否投入更大算力。数据干净了，模型的学习路径也会更清晰，后续的调参和评估自然事半功倍。欢迎大家分享自己的清洗经验或提出疑问，一起把微调这道“菜”烹得更香。