高风险操作应移出自动执行路径

当 AI Agent 能够自主选择工具、读取数据并调用内部系统时,真正需要优先控制的,不是它能否完成更多任务,而是它是否有机会直接造成不可逆后果。删除、批量导出、资金类操作、权限变更和对外发信等动作,一旦进入纯自动执行路径,模型误判、上下文污染或提示词干扰都可能把一次错误回答升级为真实业务事故。

高风险动作不应与普通调用混用

权限设计不能只围绕“这个 Agent 是否可信”展开,而应拆分为身份、能力和数据范围。只读查询、有限写入、不可逆变更、跨系统编排应当分级管理,读权限与写权限不宜绑定在同一套凭据上。当前任务不需要的能力默认拒绝,任务结束或会话超时后,临时授权应自动失效。

高风险动作则应单独设置闸门。二次确认、人工审批、双人复核,或者将“执行变更”降级为“生成待审核草稿”,都比让模型自行决定更稳妥。这里的关键不是把 Agent 锁死,而是把不可逆后果从自动路径中移出,把人的判断放在真正需要承担责任的位置。

闸门必须覆盖完整调用链

审批不能只停留在对话界面。系统还应校验发起人、当前会话、租户或业务范围,以及实际调用的工具和目标资源。否则,用户虽然确认了一个动作,Agent 却可能在后续调用中扩大数据范围,或借助共享凭证触发未经授权的操作。

审计日志也必须能够还原完整链路:谁发起任务、哪个 Agent 身份执行、调用了哪些工具、策略为何放行或拒绝、下游系统返回了什么结果。成功与拒绝都要记录,跨多跳调用还需要统一的关联标识。日志应避免原样保存密钥、证件号和客户隐私,并与业务权限分开保护,防止调查时既无法追责,也无法证明记录未被篡改。

高风险操作移出自动执行路径,并不意味着 Agent 不能进入生产环境。它意味着架构必须承认:会自己选工具的程序,不应拥有一把覆盖所有系统的总钥匙。能否明确授权边界、设置可回收的人工闸门,并还原每一次调用,才是判断自动化是否可控的核心标准。

参与讨论

0 条评论

延伸阅读