多模态 Agent 协同流：如何设计一套能自我纠错的任务拆解方案

图文混合输入最容易让 Agent“看起来会做，实际做错”。一张财报截图里，数字可能因为分辨率、表格线或单位标注而被误读；配套文字又可能限定了统计口径、时间范围或对比对象。若系统把识别、计算、判断和生成一次性交给一个 Agent，前面的微小偏差就会被后续步骤不断放大。更可靠的做法不是反复强化提示词，而是把任务设计成可暂停、可核验、可回退的协同流。

先把“完成任务”改成“交付可验证结果”

一套能自我纠错的 Agent 流程，核心不是让模型多想一步，而是要求每个关键产物都带着可检查的证据向下游传递。对于图文任务而言，原始图片、识别出的字段、字段对应的位置、用户文字中的约束，以及最终表格，不能混成一段自由文本。

可以把流程拆成四个相互衔接的角色：规划者负责确定任务边界和依赖关系；执行者完成识别、提取、计算等单一动作；检查者验证结果是否满足规则；修正者只针对明确的失败原因重新处理。这里的“角色”不一定意味着要部署很多模型，也可以是同一模型在不同状态和权限下运行。重点是职责隔离，而非数量。

规划阶段尤其不能省略。它需要先回答几个问题：输入中有哪些材料，哪些材料可信度较低，最终交付物包含哪些字段，哪些字段之间存在可验证关系，以及失败后能否回到某个中间步骤，而不是整条链路重跑。这样做也能避免 Agent 因重复调用工具或反复执行同一动作而陷入无效循环。

用财报截图生成对比表格，怎样拆解

假设业务人员上传两张财报截图，并要求“整理两期收入、成本和利润，生成对比表格，同时说明变化方向”。表面上这是一次表格生成，实际至少包含图像理解、数据抽取、口径确认、计算和表达五类任务。

规划者不应直接要求“读图后给结论”，而应产出一个任务清单：先识别每张截图的报表期间、币种或单位；再提取目标项目及数值；随后将项目映射到统一字段；确认两期数据能否对齐；最后计算差异并生成表格与说明。每个任务都要明确输入、输出和验收条件。

例如，识别任务的输出不只是“收入为某数值”，还应保留字段名称、数值、单位、所属期间和图中位置等结构化信息。这样，当后续发现单位不一致时，修正者可以只回到单位识别或字段提取，而不必推翻已经确认的项目名称和期间信息。

纠错检查点应放在哪里

真正有效的检查点，通常设置在错误会扩散的交界处，而不是只在最终答案生成后做一次“自检”。

第一处：输入完整性检查

在识别前，系统先判断截图是否可用：是否存在裁切、模糊、遮挡、旋转，是否同时给出了两期材料，用户文字是否说明了比较口径。若关键材料缺失，流程应停在这里并请求补充，而不是猜测缺失数据。

这一关的价值在于区分“模型没有看懂”和“输入本来不足以完成任务”。企业流程中，后者往往更常见，也更不应该由模型用看似合理的内容填补。

第二处：字段与证据绑定检查

图像识别完成后，检查者验证每一个目标字段是否都有来源证据，字段名、数值、期间和单位是否成组出现。若截图中只识别到数字却找不到对应项目名称，或者“利润”一词存在多个可能含义，就应标记为待确认，而不能直接进入计算。

可将字段状态分为“已确认”“存在歧义”“缺失”三类。只有已确认字段可以进入对比计算；存在歧义的字段交给修正者重新读取局部区域，或转为向用户提问；缺失字段则在最终表格中明确保留空缺及原因。

第三处：跨期一致性检查

两张图即使都识别正确，也未必可以直接比较。常见问题包括期间不同、统计范围不同、币种不同，或一张按较大单位展示、另一张按较小单位展示。因此，在计算之前应建立一张“对齐表”，逐项确认两期字段是否属于同一指标、同一口径和可比较的单位。

这个检查点不负责重新识别文字，而是检查数据关系。若发现其中一项无法对齐，应把失败原因返回给规划者，由规划者决定是补充换算、删除该项比较，还是请求人工确认。让规划者负责重规划，可以避免执行 Agent 在不清楚业务边界时自行拼接数据。

第四处：计算与输出检查

在生成对比表格前，系统应把计算结果与原始结构化字段分开保存。检查者验证每个差异值都能追溯到两期输入，变化方向是否与数值关系一致，表格中是否混入了未确认字段。若用户要求的是“变化方向”，就不应额外把无法核验的原因分析包装成事实。

最终输出还应携带简短的异常说明，例如“某项目单位未能确认，未纳入比较”。这比生成一张完整但可能错误的表更适合企业场景，因为使用者能快速判断哪些内容可直接采用，哪些内容需要复核。

修正不是无限重试，而是受控回退

自我纠错最容易被误解成“发现问题就再跑一遍”。这种做法既浪费资源，也可能让 Agent 在同一错误路径上循环。修正动作必须绑定失败类型和回退位置：图像模糊就回到输入检查；字段缺证据就回到局部识别；口径不一致就回到对齐与规划；计算矛盾则回到计算步骤，而不是重新识别全部截图。

同时要为每个节点设置终止条件。比如，当同一字段经过有限次处理仍无法确认时，流程应输出待人工确认项；当计划发生变化时，应记录旧计划为何失效、新计划替换了哪些步骤。这样，系统的“自我纠错”才是可审计的失败恢复，而不是不可控的反复调用。

对企业级多模态 Agent 来说，可靠性往往来自流程设计：先把复杂目标拆成能验证的小任务，再让检查点阻止错误继续传播，最后用有限、明确的回退路径完成修正。模型能力决定它能走多远，任务编排决定它会不会在错误方向上越走越远。