企业部署 AI 数字人,最容易被忽视的不是“像不像真人”,而是出了问题能不能说清楚、查得到、改得掉。尤其当它用于客服、导购、培训等场景时,数字人可能接触用户对话、历史行为、企业知识库和语音图像素材,合规审计不能等系统上线后再补。
第一步不是测试回答有多聪明,而是画出数据和责任边界:数字人服务谁,处理哪些信息,哪些内容来自企业知识库,哪些回答由模型生成,遇到复杂问题由谁接管。涉及个人信息、跨境数据流动或身份素材使用时,都要单独登记,避免“业务部门以为技术部门负责,技术部门以为供应商负责”。
第二步检查告知机制。用户应明确知道对话对象是 AI 数字人,而不是真人;如果系统会保存对话、使用用户历史行为进行推荐,也应把用途讲明白。身份声明不能只藏在角落里,最好在进入服务、开始对话等关键位置清楚呈现。
知识库是审计重点。企业要确认数字人的回答是否能够追溯到明确知识源,过期、错误或未经授权的内容能否及时下线。采用检索式增强生成(RAG)时,不能只看演示效果,还要抽查回答依据、知识更新和权限控制。
接着进行安全沙箱测试和“假设攻击”测试,观察数字人面对恶意输入、诱导提问或不适当请求时,是否会泄露内部信息、生成误导性内容,是否能转交人工。测试结果、模型调整、知识库变更和异常对话都应形成可追溯日志,必要时保留第三方合规审计记录。
真正上线后,审计也不能一次结束。技术、法务和业务应共同复核问题解决率、用户满意度、投诉情况及异常记录;发现风险时,先暂停相关功能,再定位数据、模型还是流程出了问题。这样一来,数字人即使不够“像真人”,至少不会变成企业自己也说不清的风险黑箱。
参与讨论
暂无评论,快来发表你的观点吧!