具身智能的“世界模型”与“行动模型”：机器人如何从理解物理世界跨越到精准操作

机器人真正难以完成的，往往不是“看见一个物体”，而是判断接下来怎样接触它、施加多大力度，以及动作失败后如何及时改正。世界模型负责在内部预测物理世界可能如何变化，行动模型则把这种预测转化为可执行的控制序列。两者协同后，具身智能才有机会从“看到什么就做什么”的反应式执行，走向带有预判和修正能力的操作系统。

世界模型不是“虚拟场景”，而是可用于决策的内部预测器

从工程角度看，世界模型的核心不是生成一段看起来合理的视频，而是学习一个近似的状态转移过程。机器人接收相机、深度、触觉、本体状态等信息后，先形成当前环境状态的表示，再估计动作会带来怎样的变化：

[ s_{t+1} approx f(s_t, a_t) ]

其中，(s_t) 表示当前状态，(a_t) 表示候选动作，(f) 则描述环境在该动作作用下的演化。这个状态不应只包含物体的位置，还要尽量包含遮挡关系、接触状态、可达性、物体是否可能滑动，以及机器人自身关节和末端执行器的约束。

因此，机器人面对“拿起桌上的杯子”时，并非直接从图像映射到关节命令。更合理的路径是：先识别杯子的几何形态和可能的抓取区域，再预测接近、夹持、抬升过程中的姿态变化，最后判断该动作是否会导致碰撞、滑落或超出机械臂的可操作范围。

这也是世界模型区别于单纯视觉识别的地方：它不仅回答“现在是什么”，还要回答“如果这样做，下一刻会发生什么”。

行动模型负责把预测转成控制层可执行的动作

世界模型输出的是对未来状态的推演，不能直接替代底层控制器。行动模型需要在任务目标、预测结果和机器人约束之间建立映射，将高层意图逐步展开为动作序列。

一条典型的技术路径可以分成三层。首先，任务层将“把物体放入容器”分解为接近、定位、抓取、搬运和释放等子目标。其次，策略层根据世界模型预测的结果，生成一组候选动作或短时程轨迹。最后，控制层将这些轨迹转换为末端位姿、速度、夹爪状态或关节控制信号。

关键点在于，行动模型不应只输出一个看似确定的动作。对于遮挡、柔性物体或接触状态不明确的场景，更稳妥的方式是提出多个候选动作，再利用世界模型分别预测结果，并依据任务目标、碰撞风险和状态稳定性进行筛选。

这种“先想象，再执行”的机制，可以把动作选择从直接反射变成有限范围内的模型预测控制。即使最终系统仍然依赖传统控制器完成毫秒级执行，世界模型也能在更高层持续提供短期规划和风险判断。

非结构化环境的难点：预测误差必然存在

真实环境不会按照训练数据保持稳定。物体可能被部分遮挡，桌面摩擦力会变化，柔性物体的形变难以精确建模，人的介入也会改变原有轨迹。世界模型即使学到了较好的物理规律，也不可能保证每次预测都准确。

问题因此不再是“如何一次性预测正确”，而是“如何让错误尽快暴露并被修正”。机器人执行动作后，应立即重新采集环境和本体反馈，将预测状态与实际观测进行比较。如果二者出现偏差，系统就需要更新当前状态估计，而不是继续沿用原来的动作计划。

例如，机械臂在夹取一个柔软物体时，模型预测物体会随夹爪一起移动，但视觉反馈显示物体发生了滑移，触觉反馈也表明夹持力不足。此时系统应重新估计物体位姿和接触状态，降低移动速度或调整夹持姿态，再生成下一段动作。原计划被打断并不可怕，继续执行错误计划才是风险来源。

从预测到闭环：行动模型需要持续“重规划”

一个可用的具身系统通常不是“感知—规划—执行”各做一次，而是不断重复以下过程：

1. 根据最新传感器数据更新环境状态；




2. 使用世界模型预测多个短期动作结果；




3. 由行动模型选择风险和收益更合适的动作；




4. 执行有限时长的动作片段；




5. 对比预测状态与真实反馈，修正模型输入和后续计划。

这里的“有限时长”很重要。一次规划覆盖的时间越长，误差累积越明显；一次只执行很短的动作片段，虽然计算和通信开销更高，却能让系统更频繁地纠偏。工程上需要在预测精度、推理延迟和控制频率之间取平衡。

世界模型还可以为每个候选动作提供不确定性估计。当某个区域被遮挡、接触关系未知，或当前状态与训练分布差异较大时，模型应降低对预测结果的信任，转而选择更保守的探索动作，例如先轻触确认、改变观察角度，或重新定位物体。这样，反馈不仅用于纠错，也用于主动获取信息。

真正的协同不是模型简单拼接

世界模型与行动模型的结合，不能只理解为“一个负责生成未来画面，另一个负责输出动作”。更紧密的协同需要让预测结果具有行动意义，让行动输出也能反过来改善状态建模。

一方面，世界模型需要关注与任务相关的变量，而不是追求对所有视觉细节都进行高保真重建。对于抓取任务，接触点、相对位姿和滑移趋势可能比背景纹理更重要。另一方面，行动模型要能够表达动作的不确定性、失败条件和替代方案，而不是把复杂操作压缩成单一标签。

这也是近年来“视频—动作联合建模”和“看—想—动”闭环受到关注的原因：模型尝试在预测未来视觉状态的同时，对应生成可能的动作序列，让视觉计划与运动命令保持更直接的联系。无论具体架构如何变化，技术核心都指向同一个问题——预测必须能够指导行动，行动结果又必须能够校正预测。

对于研发团队而言，评价这类系统不能只看视频生成是否逼真，也不能只看单步动作成功率。更有意义的指标包括：长时程任务中的误差累积、异常状态下的恢复能力、对新物体和新布局的迁移能力，以及模型在不确定场景中是否会主动降低动作风险。只有当世界模型真正参与了决策，行动模型真正利用了反馈，机器人才能从“完成演示动作”进一步走向稳定的精准操作。