模型在演示里表现不错,到了生产环境却忽好忽坏,这种落差我见得最多的原因,不是模型突然“变笨”了,而是治理基础没有跟上。数据缺失、噪声、口径冲突,甚至权限隔离,都会让模型拿不到完整上下文。模型输出不稳定,很多时候只是把数据问题放大了。
我会把数据盘点放在第一步,而且一定让技术团队和业务团队一起做。需要明确每类数据来自哪个系统、是什么类型、多久更新一次、覆盖哪些业务范围。更重要的是,盘点不能停留在列清单,还要标出缺失、重复和相互冲突的地方。
这一步看起来不“智能”,却决定了后面治理的优先级。连模型需要什么数据都说不清楚,直接调整提示词或更换模型,往往只是把问题往后推。
清洗的重点不只是去掉噪声,还要统一业务口径。不同系统对同一对象的定义不一致,模型就很难形成稳定判断。缺失数据可以通过插值、推断或补充历史案例处理,但必须保留可追溯标记,不能为了让数据看起来完整,悄悄制造新的噪声。
随后要做标注和复核。关键字段和业务规则应由业务专家参与确认,再通过抽样验证和人工审核检查结果。我的建议是分批推进:先在试点场景验证,确认规则能对应真实流程后,再扩展到全量数据。这样出了问题,也更容易定位。
生产前的验收,不能只看模型回答是否准确,还要检查三个问题:输入数据是否稳定,跨系统数据能否互认,权限范围是否覆盖模型所需操作。权限太窄,模型会“看不见”关键上下文;权限过宽,又会带来新的管理风险。
我越来越相信,模型稳定性不是上线前一次调参就能解决的事。治理应当持续进行:业务规则变化后及时复核,异常输出回溯数据来源,新的数据接入前先确认口径。把数据盘活,AI才可能从“会分析”走到“能执行”,而不是在生产现场反复让人接手收拾残局。
参与讨论
暂无评论,快来发表你的观点吧!