如何构建 AI 输出的自动化校验链路?

有段时间我被 AI 输出的“时好时坏”折磨得不轻：同样一份请求，有时字段齐全，有时突然缺一块，甚至夹一段莫名其妙的解释文字。靠人眼盯日志当然能救急，可次数一多就崩了。后来我干脆把校验做成一条能自动跑的链路，问题一冒头就先被拦住，而不是等业务侧炸了再回头骂模型。

我现在的思路很朴素：别把希望全押在提示词上，把“能不能信”拆成进门前、出门后、出事时三段，分别自动化。

进门前先挡脏数据。资料来源能不能追溯、结构化字段是否统一、空值和异常值有没有统一处理、文本是不是同一套编码——这些看起来像数据工程的活，却直接决定模型会不会“解析出歧义”。我会在调用前做一轮轻量检查：缺关键字段就直接失败返回，而不是把半残输入塞进模型再赌运气。任务描述也尽量压成单一目标，约束写清楚，必要时带一两个正向示例；含糊词尽量量化，减少模型每次各解读一版的空间。

出门后盯格式，这是自动化最容易见效的一环。模型就算返回了看起来像结构化的内容，仍可能缺必填项、类型对不上，或偷偷多出注释和围栏。我的习惯是：返回立刻走 Schema 校验，核对必填字段、类型和枚举；平台若支持严格模式，就打开，让不合规直接报错，而不是默默吞下去。再加一层后处理，把多余的说明性文字清掉，保证下游拿到的是干净结果。上下文太长时，中间信息容易被“忘掉”，所以长文档会拆段，并在提示开头保留摘要，同时留意平台的长度上限，避免一次塞爆。

出事时必须可复现，否则自动化只是多了一层报错噪音。每次异常我会自动落一条记录：调用时间、模型版本、温度和采样相关参数、完整输入快照、输出原文、错误表现，以及对照上述环节标出的初步诊断。有了这条链路，同样的格式漂移、字段缺失或答非所问不会只停在聊天窗口里，而能沉淀成可复查的案例，下次改提示、改数据还是改校验规则，心里有数。

说白了，自动化校验链路不是再包一层“更聪明的提示”，而是把输入体检、输出 Schema 与清洗、异常落盘串成默认路径。你不一定第一天就上很重的平台，先从“调用前后各卡一道、失败必留痕”做起，已经能把大量偶然事故变成可定位、可复现的工程问题。等这条链路跑顺了，再去抠模型本身，效率会高得多，心态也会稳得多。