如何量化智能体任务的实际成本?

智能体任务的实际成本,不能用“单次请求价格”简单代替。一次任务可能经历多轮模型调用、工具执行、结果回传、失败重试和最终整理;即使最终只返回一段文字,系统背后消耗的输入与输出 Token 也可能远超表面上的一次请求。因此,成本核算的基本单位应从“调用”改为“完成一个任务”。

1787284295-aiimg6a87cb4759eb55.91074525.webp

先建立任务级成本模型

可以用一个可更新的公式计算:

单任务成本 = 输入 Token 总量 × 输入单价 + 输出 Token 总量 × 输出单价 + 重试与失败调用成本

这里的输入 Token 不只是用户问题,还包括系统约束、历史消息、工具返回内容,以及每轮重复携带的上下文。输出 Token 也不应只统计最终答案,还要计入规划、推理和工具调用相关生成。若只记录最后一次模型请求,重复调用和上下文膨胀就会被隐藏。

价格变化时,单价应作为独立变量维护,而不应写死在业务逻辑中。更关键的是建立任务分类账本,例如分别统计短问答或分类、工具协作任务、长文或复杂推理任务。前两类通常更容易被重复输入和调用轮数推高成本,复杂任务则可能主要消耗输出 Token。不同任务分开核算,优化方向才不会混淆。

把成本与执行轨迹绑定

Harness 的价值在于让模型调用、工具、会话和执行循环变得可观测。每个任务至少应记录总耗时、模型调用轮数、工具调用耗时、失败与重试次数、输入输出 Token,以及任务是否完成。这样才能判断成本究竟来自模型推理、工具等待,还是无效循环。

优化时,先删除重复工具调用和无效上下文,再处理独立工具的并发调度;随后根据任务难度匹配不同推理强度与输出边界。并发必须受到约束,否则外部资源受限时,失败和重试反而会增加总成本。每次只调整一个变量,并同时比较完成质量、延迟和单任务成本。

真正值得追求的不是最低 Token 消耗,而是单位成本下更稳定地完成目标。对智能体而言,减少无效回合,往往同时降低等待时间、调用次数和 Token 支出。

参与讨论

0 条评论

延伸阅读