为什么大模型测试不错上线就翻车?

前阵子我折腾了一个智能客服，测试的时候那叫一个丝滑，问啥答啥，我都忍不住想给自己鼓掌。结果上线第一天就被打脸：回答跑偏、事实说错、还翻来覆去重复那几句话。当时我盯着后台日志真的怀疑人生——明明测试集上表现那么好，怎么一到真实环境就翻车？后来复盘了很久，发现这事儿挺普遍的，坑基本就那几个。

测试数据太"乖"了

这是最大的一个坑。我们测试用的问题，都是自己团队憋出来的，规规矩矩、边界清晰。但真实用户才不按套路出牌，问题五花八门，表达方式千奇百怪。模型没见过的问法一多，自然就开始胡说。我后来的做法是收集真实对话回放，拿这些"野生数据"去微调，效果比闷头调提示词好得多。

想要的太多，定位太飘

还有个问题是我自己的贪心。一开始我又想让它当客服，又想让它兼职写文案，结果两头都拉胯。后来想明白了：先把一个核心场景做稳，用户体验立住了，再谈扩展。什么都想要的模型，往往什么都做不好。

模型好 ≠ 服务好

最后这点特别容易被忽略：部署、响应时延、监控，这些落地工程同样要命。模型答得再准，用户等半天没反应，照样流失。所以上线后监控指标得盯紧，失败案例要持续回流，形成一个反馈闭环，问题才能被一轮轮迭代掉。

对了，分享一个我觉得特别实用的小技巧：把"拒答"逻辑写好。别逼着模型硬撑答案，让它能坦然说"不确定"，比一本正经地瞎编强太多。还有就是别急着上更大的模型，先拿中等规模的配 LoRA 或 RAG，跑两周真实流量看看数据，再决定要不要加码。

翻车不可怕，可怕的是翻完不知道为啥。把真实数据、单点场景、工程监控这三件事理顺，大概率能少踩不少坑。