如何在多模态Agent中构建CoT链？

多模态 Agent 的难点，通常不在单个模型能否识别图片或理解文本，而在不同模块能否围绕同一任务交换可验证的信息。构建 CoT 链时，核心不是让每个 Agent 输出冗长的“内心独白”，而是把复杂任务拆成事实提取、关系判断、行动决策等阶段，并为阶段之间定义清晰的中间产物。

先设计协同链，再编写 Prompt

一个稳健的工作流可以分为三层。感知 Agent 负责处理图片、语音或传感器信息，只输出观察到的事实；解析 Agent 将事实整理成结构化信息，补充对象之间的关系；决策 Agent 根据这些信息选择动作，并标注不确定点。这样的分工能够避免一个 Prompt 同时承担识别、推理和执行，降低上下文混杂造成的错误。

每个 Agent 都应拥有明确的接口契约。Prompt 中至少要说明输入范围、任务边界、输出格式和异常处理方式。例如，视觉模块可以要求输出包含 label、confidence、coords 的 JSON，同时规定无法确认时不得臆测。下游模块只消费契约内的字段，而不是依赖自然语言中的隐含信息。

让推理链可追踪、可验收

CoT 的工程价值在于提供可检查的中间状态。感知 Agent 先生成“事实清单”，推理 Agent 再基于清单给出简短的判断依据，决策 Agent 最后输出动作、依据和待核实事项。比如视觉模块发现“货位X空缺、货位Y商品倾斜”，推理模块应区分“已观察事实”和“倾斜可能源于放置错误或货架受损”这类假设，决策模块则安排核查，而不是直接把假设当成结论。

实际部署时，建议把“推理说明”限定为简洁、可审计的依据摘要，而非无约束地暴露完整思维过程。关键节点还应增加验收关：检查字段是否齐全、事实与结论是否混淆、置信信息是否缺失。中间态日志也要保留，便于定位究竟是感知错误、解析偏差，还是决策规则失效。

多模态 CoT 链的判断标准并非步骤越多越好，而是每一步都能回答三个问题：输入来自哪里，输出交给谁，错误如何被发现。先选一个具体用例画出这条信息流，再为每个 Agent 编写短而严格的交付契约，通常比继续堆叠复杂 Prompt 更容易获得稳定结果。