哪些场景必须保留人工复核?

在AI分身等生成式人工智能快速落地的背景下，模型仍然存在“幻觉”、合规违规和伦理风险，因而在若干关键场景必须保留人工复核，以确保业务安全与法律合规。

高风险行业的决策节点

金融、医疗、法律等涉及个人敏感信息或重大经济利益的行业，其输出直接影响用户资产或健康。监管文件已将此类系统列为高风险，要求在关键判断（如信贷审批、诊疗建议）前必须有人审查，防止模型误导导致的损失。

法规与合规审计要求

欧盟AI法案、中国数字人治理指引等对高风险系统提出审计链路（provenance）和可验证标识的要求。人工复核能够生成审计日志，满足监管对决策可追溯性的硬性要求，尤其是在涉及身份仿冒、虚假信息传播的场景。

数据隐私与安全防护

在使用差分隐私、联邦学习等技术保护用户数据的同时，仍需人工检查是否出现未脱敏的敏感信息泄露。实际案例表明，模型在处理未结构化文本时可能意外复制原始数据，人工复核是唯一可靠的防线。

业务关键指标的质量控制

企业部署AI分身后，常以回答准确率、违规触发率、用户满意度等指标评估效果。由于模型“幻觉”在专业问答中尤为明显，人工复核能够及时纠正错误答案，保持指标在可接受范围内，避免因误答导致的品牌信任危机。

复杂多模态交互的伦理审查

当AI分身通过语音、视频合成进行面部表情同步时，涉及形象使用权和深度合成标识。监管要求对合成内容进行人工核验，确保水印与标识完整，防止误用导致的侵权或误导。

综上所述，任何涉及高价值决策、严格监管、敏感数据处理或多模态合成的业务场景，都应在模型输出后设置人工复核环节。通过人机协同，可以在提升自动化效率的同时，确保安全、合规和伦理底线不被突破。