微调为何解决不了知识缺失?

微调解决不了知识缺失,根本原因在于它改变的主要是模型的参数分布与输出倾向,而不是建立一套可靠、可持续更新的外部知识系统。它更适合让模型学会特定任务的表达方式、回答格式和领域语气,却不擅长把企业刚发布的制度、不断变化的业务数据或大量专业文档准确地“存进脑中”。

当用户反馈“答案不对”时,首先要区分两类问题:模型已经掌握相关知识,却没有按要求表达;还是模型根本没有接触过正确资料。前者可以考虑微调,例如统一客服语气、规范医疗术语或固定结构化输出。后者若直接依赖微调,往往会把知识更新问题误当成训练问题,结果不仅成本高,还可能出现过拟合、旧知识与新知识冲突,甚至影响原本正常的能力。

更合理的做法,是把知识与行为分开处理。企业文档问答、实时信息查询等场景,需要先通过检索从外部知识库获取相关内容,再交给模型生成答案。这样,知识可以独立维护,更新时不必重新训练模型,也更容易追溯回答依据。RAG的价值正是在这里:它补充的是模型当前缺少或可能过时的信息,而不是强行改变模型本身。

当然,RAG也不是把资料丢进向量数据库就结束。文档切分、召回策略、相关性排序和上下文压缩都会影响最终结果;如果知识库内容错误,模型仍可能生成貌似合理的错误回答。因此,知识增强必须配合资料治理和业务评估,不能把检索结果自动等同于事实。

判断是否需要微调,可以先问两个问题:问题主要是“不会表达”,还是“没有知识”?答案若属于前者,微调可能有效;若属于后者,应优先建设可更新、可审计的知识来源。等业务流程稳定、积累足够的 bad case 后,再用微调优化特定任务,才是更稳妥的技术路径。

参与讨论

0 条评论

延伸阅读