AI 安全监管体系的新范式：从 Anthropic 的安全策略看企业合规底线

企业部署 AI 时，真正难定义的不是“模型能不能回答”，而是“它在什么条件下必须拒答、暂停或交给人工处理”。Anthropic 对 Constitutional AI（宪法式 AI）的探索，提供了一个重要思路：安全不应只是上线前的一次审核，而应被拆解为模型行为、运行环境、权限边界和持续监控共同组成的系统。

从“模型对齐”转向“防御纵深”

传统的模型安全工作，往往依赖人工示范和反馈，让模型学习哪些回答更有帮助、哪些回答应当避免。Anthropic 在此基础上提出了 Constitutional AI：先为模型设定一组明确原则，再让模型依据这些原则批评和修正自己的回答，并结合 AI 反馈完成训练。

这种方法的价值，不在于给模型增加一份静态规则，而在于把“为什么拒绝”“如何降低伤害”“怎样保留有用信息”转化为可重复的判断过程。模型面对高风险请求时，不只是简单地输出或拒绝，而是尝试在安全、诚实、尊重用户和保持可监督性之间进行权衡。

不过，模型层的对齐不能承担全部安全责任。资料显示，Anthropic 在不同产品和功能中采用了不同的防护重点：面向大众的使用场景更关注滥用和有害内容，企业级 API 或涉及代码执行的功能则需要额外关注沙箱隔离与执行安全。针对越狱攻击，还需要监控模型和实时输出过滤等外部防护层。

这说明企业不应把“选择了一个安全模型”当作合规结论。更可靠的做法，是建立防御纵深：模型负责表达倾向和初步判断，应用层负责约束任务范围，权限系统负责限制实际动作，监控和审计系统负责发现异常并留下证据。

企业首先要定义什么是“安全边界”

安全边界不是一句“禁止生成有害内容”就能完成的。它至少应回答四个问题：模型可以处理哪些任务，哪些内容必须拒绝，哪些回答必须附带不确定性提示，以及哪些动作必须经过人工确认。

例如，一个用于内部知识问答的应用，安全边界可能包括：只能访问经过授权的知识库；无法确认依据时必须明确说明；涉及个人隐私、财务决策或重要业务操作时，不得直接给出最终结论。对于能够调用工具的智能应用，边界还应继续向外延伸，明确模型能读取哪些数据、能调用哪些系统、能否修改记录，以及异常时如何立即停止。

定义边界时，企业可以把请求分成三类。低风险请求可以自动处理，例如对公开资料进行整理。中风险请求可以生成建议，但需要展示依据、标注不确定性或等待用户确认。高风险请求则不应只依靠模型自行判断，必须触发拒答、升级或人工复核。

关键不在于分类名称，而在于每一类请求都要对应实际控制措施。没有权限限制的“禁止访问”，没有人工节点的“必须复核”，以及没有日志记录的“可追溯”，都只是文档里的承诺。

一套可落地的合规审计维度

企业审计 AI 应用时，可以从以下几个相互关联的维度检查。

任务边界与数据权限

先确认模型被允许解决什么问题，再检查它能够接触什么数据。任务描述越宽泛，越容易出现越权调用。应用应将用户身份、数据敏感程度和业务场景联系起来，避免模型因为拥有过大的上下文或工具权限而获得不必要的操作能力。

数据进入模型前，也要明确哪些内容可以直接使用，哪些需要脱敏、过滤或完全隔离。尤其要区分“模型看到了数据”和“模型有权根据数据采取行动”，两者不能混为一谈。

输出约束与不确定性处理

安全输出不等于语气礼貌。审计时应检查模型是否会在缺少依据时承认不确定，是否会把推测写成事实，是否能拒绝超出任务范围的请求，以及是否会泄露系统规则、内部资料或其他用户信息。

对于重要业务，输出最好包含可核验的依据或来源标识。无法验证的内容，应明确交给人工判断。这样做不能消除模型错误，但可以降低错误被直接当成业务结论使用的概率。

工具调用与执行隔离

一旦模型能够执行代码、访问数据库、发送消息或修改业务记录，风险就从“生成错误文本”升级为“触发真实动作”。此时需要检查工具是否采用最小权限，参数是否经过校验，执行环境是否与核心系统隔离，以及失败后能否撤销或停止。

沙箱并不能替代权限控制。隔离环境解决的是执行影响范围，权限系统解决的是模型能做什么，两者应同时存在。任何涉及外部系统的动作，都应保留清晰的调用记录和责任主体。

监控、对抗测试与审计记录

安全边界必须经受真实输入的压力测试。企业应持续准备越权请求、诱导泄露、恶意指令、模糊任务和异常工具调用等测试场景，观察模型和外部防护层是否能稳定执行预期策略。

监控重点不只是记录最终答案，还包括输入来源、使用的知识、调用的工具、触发的规则、人工干预和最终结果。只有这些信息能够串联起来，企业才有机会定位风险是来自模型、提示词、数据、权限，还是业务流程设计。

安全策略不能只写在提示词里

系统提示词可以说明角色、任务和禁止事项，但它不是安全控制的唯一载体。提示词可能被上下文干扰，也可能无法阻止模型调用一个权限过大的工具。真正的安全设计，应把原则拆成模型规则、输入过滤、输出检查、权限验证、执行隔离和人工审批等多个环节。

宪法式 AI 的启发在于：原则需要清晰、可解释，并且能够参与模型行为的训练与评估。但企业还必须把这些原则转译成工程条件。例如，“保护隐私”应落实为数据访问范围和脱敏流程；“保持可监督”应落实为日志、告警和人工接管；“避免越权”应落实为工具白名单、参数校验和审批节点。

这也是企业合规底线与模型厂商安全策略的区别。模型厂商可以改善基础模型的行为倾向，却无法替企业决定哪些员工可以访问哪些数据，也无法替企业承担具体业务动作的责任。

把安全边界变成可验证的运行规则

一个可执行的审计结论，至少应能回答三件事：系统允许什么，系统如何阻止不允许的事情，发生异常后谁能发现并处理。若只能描述价值观，不能说明控制点和证据，安全策略就还没有进入工程阶段。

企业可以先从一个具体业务流程开始，列出模型的输入、输出、工具和人工节点，再为每个环节设置允许条件、拒绝条件和升级条件。上线后，根据实际误拒、漏拦和异常调用记录持续调整规则，而不是把安全检查停留在模型评测报告上。

Anthropic 的实践所展示的并非一套可以原样复制的答案，而是一种设计方向：让模型对齐承担第一层判断，让应用工程承担第二层约束，让权限、隔离、监控和人工复核共同构成最后的安全边界。对于企业而言，AI 是否合规，最终取决于这些边界能否被明确写出、稳定执行，并在出问题时留下足够证据。