世界模型（World Models）实战前瞻：AI 如何从‘预测下一个词’转向‘理解物理现实’

当大语言模型（LLM）回答“明天会不会下雨”时，它主要是在语言中预测最可能出现的下一个词；但如果让它判断“把杯子向前推一点会发生什么”，问题就变了。它不仅要理解描述，还要判断杯子、桌面、手的相对位置，以及推力可能带来的结果。世界模型（World Models）试图解决的，正是这种从“生成语言”走向“预测现实变化”的问题。

从预测下一个词，到预测下一种状态

LLM的核心优势是处理语言。它从大量文本中学习词语之间的关系，因此擅长写作、翻译、摘要和对话。当用户输入一段话，它会根据上下文计算接下来哪些表达更合理。这个过程可以类比为一位读过大量故事的作家：看到开头后，他能写出一个很像样的后续情节。

但“像样”不等于“符合物理规律”。如果故事里的物体、距离和动作没有被准确理解，模型就可能写出语言上通顺、现实中却不成立的答案。这也是大模型在空间关系、连续动作和因果判断上容易出现幻觉的原因之一：它生成的是高概率文本，不一定是经过现实检验的结果。

世界模型的目标不同。它接收的输入可以是图像、视频、传感器信息或机器人当前看到的环境，然后尝试预测环境的下一个状态。这里的“下一个状态”不只是下一句话，而是物体会移动到哪里、场景会如何变化，以及某个动作可能带来什么结果。

可以把两者的差别理解成两种不同的“想象”：

• LLM像是在接龙。根据已经出现的词，推测最可能接上的词。




• 世界模型像是在脑中进行预演。看到一辆车、一名行人和一条道路后，尝试模拟车辆转向、行人移动之后，场景会怎样变化。

这种预演并不意味着世界模型真的拥有人的意识，也不代表它永远不会判断错误。它的关键变化在于，模型内部开始维护一种与空间、时间、物体和因果关系相关的表示，而不是只依赖语言表面的关联。

“内部物理表示”为什么重要

所谓内部物理表示，可以简单理解为人工智能心中的一张动态地图。地图上不只有“这里有一辆车”这样的标签，还包括车辆的位置、速度、方向，以及它和其他物体之间的距离。随着时间推进，这张地图还要不断更新。

例如，机器人看到桌面上有一个杯子。仅仅识别出“杯子”还不够，它还需要判断杯子是否放在桌边、桌面是否平整、机械臂从哪个角度接近，以及抓取后杯子是否会倾斜。只有把这些关系组织起来，机器人才能在执行动作前预估风险。

这与传统的文本生成存在本质区别。文本模型可能知道“杯子容易摔碎”这句话，也可能写出“请轻轻拿起杯子”的建议，但它未必能够根据当前画面判断手指应该移动多远、施加多大力量。世界模型则试图把“物体是什么”和“动作会造成什么变化”连接起来。

因此，内部物理表示有望减少一类常见幻觉：模型说得很自信，却忽略了现实中的位置、遮挡、碰撞和运动规律。它不是靠语言中出现过多少次“杯子掉落”来猜结果，而是根据当前场景和假设动作，推演杯子是否会越过桌边、是否会碰到其他物体。

当然，这种能力只能降低风险，不能彻底消除错误。现实环境中的光照、天气、遮挡、材料差异和突发行为，都可能让模型的预测失效。世界模型仍然需要真实数据、传感器反馈和安全机制共同校正。

与LLM的关系：不是替代，而是分工

世界模型并不一定要取代LLM。更现实的方向是让两者承担不同任务。

LLM更适合理解人的指令和进行高层规划。比如，用户说“把桌上的蓝色杯子拿到水槽旁边”，LLM可以拆解任务，识别目标和顺序。世界模型则负责检查这个计划是否符合当前环境：杯子在哪里，路径上有没有障碍，机械臂移动时是否可能碰撞，以及抓取动作会不会改变杯子的姿态。

在这种组合中，LLM像负责沟通和安排工作的管理者，世界模型像熟悉现场的调度员。前者处理“人想做什么”，后者判断“在这个空间里怎样做才可能成功”。真正执行动作的控制系统，还需要根据实时传感器数据不断修正计划。

这也解释了为什么单纯增加语言模型的上下文长度，并不能自动解决所有物理任务。读到更多文字，可以让模型更了解规则；但要在现实中行动，还必须持续观察环境，理解空间变化，并把动作和后果联系起来。

自动驾驶中，世界模型可能先发挥什么作用

自动驾驶是世界模型较容易体现价值的场景之一。车辆面对的不是静态图片，而是持续变化的道路：前车可能减速，行人可能突然改变方向，旁边车辆可能遮挡视线。系统需要回答的不是“画面里有什么”，而是“如果我现在刹车、转向或继续行驶，几秒后的道路会怎样”。

在这种场景中，世界模型可以根据摄像头、雷达或其他传感器提供的信息，建立对道路环境的动态表示。它可以对不同动作进行预演，例如比较继续直行、减速和变道可能带来的结果，再把预测交给规划与控制模块处理。

它的实际价值可能首先体现在辅助判断和训练环节，而不是立即完全接管车辆。一方面，模型可以帮助系统识别复杂交通场景中的潜在变化；另一方面，虚拟环境中的预测能够用于反复测试危险情形，减少车辆必须通过真实道路试错的需求。

不过，自动驾驶中的“预测”必须接受严格的现实反馈。行人行为并不总是符合常规，恶劣天气也会影响传感器质量。世界模型生成的未来场景只能作为判断依据，不能被当作绝对正确的答案。

机器人控制中的另一种可能

机器人面对的物理问题更加直接。它不仅要看懂场景，还要与场景发生接触。拿取物品、打开抽屉、绕开障碍物或在不平整地面上移动，都要求系统预测动作的后果。

世界模型可以让机器人在真正执行前，先在内部尝试若干种方案。比如，机械臂发现目标物被其他物品挡住时，不必马上随机移动，而是先判断推动遮挡物是否会导致旁边物体掉落，再选择更稳妥的动作。对于移动机器人来说，它也可以预估转弯后是否会撞到障碍物，或者某条路线是否会因为空间狭窄而难以通过。

这种能力对训练尤其重要。现实中的机器人试错成本高，一次错误抓取可能损坏物体，甚至造成安全事故。如果模型能够先在内部模拟动作，再利用真实传感器结果修正预测，机器人就有机会用更少的现实尝试学会复杂操作。

但机器人控制不会因为加入世界模型就变成“只要下命令即可”。模型对材质、重量、摩擦力和柔软物体的判断仍可能不准确，实际系统必须保留碰撞检测、动作限制和人工干预等安全措施。

世界模型的关键挑战，不只是模型更大

世界模型要真正服务于物理人工智能，难点不只在于扩大模型规模。它还需要持续获得质量足够高、覆盖足够多样场景的数据，包括不同光照、天气、视角、物体状态和动作结果。

更重要的是，模型必须学会区分“同时发生”和“因果关系”。画面中两个物体一起移动，并不代表一个物体一定导致了另一个物体移动。一个看似合理的预测，如果没有经过传感器反馈或真实结果校验，也可能只是另一种形式的幻觉。

因此，未来的系统很可能不是单一模型独立完成所有工作，而是由语言理解、环境建模、动作规划和实时控制共同组成。LLM负责把人的目标转化为可执行计划，世界模型负责预测计划对环境的影响，控制系统则负责在现实中谨慎执行并随时纠偏。

从这个角度看，世界模型的意义并不是让AI“更会说话”，而是让它在行动前多问一句：如果我这样做，现实会发生什么？当人工智能开始围绕这个问题建立内部模拟，它才可能更可靠地从数字世界走向道路、工厂和家庭。