多模态Agent的Prompt设计要点

多模态 Agent 的失效，往往不在某个模型“看不懂图”或“不会写文本”，而在模块交接处：视觉结果含混、文本任务边界不清、决策模块拿到的信息不可验证。Prompt 在这里不是一句泛泛的指令，而是跨模态协作的接口契约——它规定每个 Agent 接收什么、判断什么、交付什么，以及哪些内容必须保留不确定性。

先定义事实，再允许推理

感知 Agent 应优先输出可观察事实，例如图像中的对象、属性、位置关系和缺失信息；不要在这一阶段直接给出行动结论。解析后的结果再交给推理 Agent，由后者说明事实之间可能存在的关系、需要核实的条件与判断依据。最终，决策 Agent 只基于已提供的事实和推理生成动作，并标注尚未确认的风险。

这种分层的价值在于避免“感知、推断、决策”混在一条指令里。以货架检查为例，“货位空缺”“商品倾斜”属于观察结果；“可能存在放置错误或货架受损”属于推理；“安排进一步核查”才是决策。三者分开，错误才能被准确定位。

Prompt 要写成交付契约

一个可靠的 Prompt 至少应明确任务范围、输入依据、输出结构和异常处理方式。若模块负责图像解析，就要求其返回结构化结果，而不是同时要求分析原因、规划行动、撰写说明。输出字段可以围绕类别、置信信息、位置或缺失项设计，但关键不在字段数量，而在下游模块是否能稳定消费这些信息。

上下文也应克制。与当前任务无关的历史内容会稀释约束，使 Agent 把噪声当成依据。比起堆叠背景，更有效的做法是把必要规则前置，并用正反示例界定“合格输出”和“需要拒绝或标记不确定”的情况。

把可追溯性放进流程

思维链的工程目标不是展示冗长的内部思考，而是保留足以复核的推理摘要：依据了哪些事实、做出了什么判断、哪些条件尚待确认。每个 Agent 交接前增加验收关，检查格式是否完整、关键字段是否缺失、内容是否超出职责范围；同时记录中间状态，避免只能面对最终结果猜测问题来源。

多模态协作的稳定性，最终来自清晰的职责边界与可检查的交付物。先让每个 Agent 说清楚“我看到了什么”，再让系统讨论“这意味着什么”，最后才决定“下一步做什么”，比把所有要求塞进一条 Prompt 更可靠。