李飞飞：世界模型太乱？渲染、模拟、规划三分法理清AI本质

“世界模型”这词儿，说实话，大概是 2025 年 AI 圈里最火、也最让人头大的概念了。

欧易(OKX)

全球三大交易所之一，注册领50U数币盲盒，币圈常用的交易平台！

立即注冊立即下载

币安(Binance)

币安是世界领先的数字货币交易平台，注册领100U。

立即注冊立即下载

你看 Sora 管它叫世界模拟器，Genie 让你在虚拟游戏里溜达也叫世界模型。甚至连 NVIDIA 的 Omniverse 还有那些个游戏引擎，都被硬生生塞进了这个叙事框架里。

大家嘴上喊着同一个名字，其实聊的根本就不是一个东西。

这时候，李飞飞出来想给这一团乱麻立立规矩。

她直接回到了强化学习里那个经典的 POMDP 闭环——也就是智能体、动作、状态、观测这一套。在她看来，现在的所谓“世界模型”，不过是这个闭环在不同视角下的投影：

• 输出像素的：说白了就是渲染器。
• 输出状态的：这才是模拟器。
• 输出动作的：那是规划器。

分类逻辑其实特简单：看你到底输出了闭环里的哪一环。

(来源：《麻省理工科技评论》)

谁才是被严重低估的那个？

李飞飞有个挺明确的判断，在这三者中间，模拟器才是那个被埋没的关键枢纽。

渲染器商业化确实做得最好，但天花板也在那摆着。好看，不代表物理上是对的。你生成的火焰视频再绚丽，能拿去设计建筑吗？能用来训练机器人吗？显然不能。

规划器看着最性感，但也最遥远。实验室里的机器人演示固然酷炫，可离真正的落地部署，中间还隔着十万八千里的鸿沟。从视频里的花架子，到厨房里、仓库里能干活的家伙事儿，难着呢。

但模拟器不一样。它在几何、物理、动力学的底层干活。它既能往上投射出像素给人看，也能往下推导动作后果给机器用。

这就意味着，掌握了模拟，你就同时握有了渲染和规划的底子；反过来？不行。

这也解释了为什么 World Labs 的产品 Marble 会这么搞：它同时输出高斯泼溅（为了渲染）和碰撞网格（为了模拟），试图把这两样东西捏在一起。

图丨三种世界模型（来源：Substack）

为啥说模拟是连接一切的桥梁？

要是说语言是对世界的抽象，像素是对世界的投影，那几何、物理和动力学，就是世界本身。

模拟器必须在这些层面上工作。它是结构性的骨架。

NVIDIA 估计过，Omniverse 的目标市场规模得超万亿美元。不管是机器人训练、自动驾驶测试，还是药物发现，背后都缺不了某种形式的模拟。

不过，难点也确实明显：

• 带有显式几何和物理标注的 3D 数据，比互联网上那些视频稀缺得多，简直不是一个量级。
• Sim-to-real 的差距（模拟跟现实的脱节）一直在那儿杵着。
• AI 生成的几何体有时候看着挺对，其实内部自相交，一跑物理模拟就崩盘……

World Labs 的 Marble 只是迈出的第一步。它接受文本、图像甚至草图，就能给你生成一个能探索的 3D 环境。

边界在消失，终局到底是啥？

现在最大的趋势很明显：这三类模型正在往一块儿融。

逻辑上的终点，是一个统一的世界基础模型。它能按需切换，在渲染、模拟、规划之间自由游走。

想象一下，一个真正懂杯子的模型，应该能从任意角度把它渲染出来，模拟它被推倒后的反应，还能规划出一只手去稳稳拿起它。

虽然目前数据格局极不均衡，优化目标也可能互相打架，但大方向已经定了。

语言给了机器谈论世界的方式，而世界模型，是机器理解、想象，并最终与物理世界交互的那条路。

FAQ

什么是李飞飞提出的世界模型三分法？

简单说，李飞飞把世界模型分成了三类：渲染器（输出像素/观测）、模拟器（输出状态/物理结构）和规划器（输出动作/决策）。她是基于强化学习里的 POMDP 闭环来划分的。

为什么模拟器被认为是关键枢纽？

因为模拟器工作在几何、物理和动力学层面。它既能向上生成视觉像素，又能向下推导动作后果，是连接咱们看视频和机器人干活的基础。

World Labs 的 Marble 模型有啥特别的？

Marble 厉害在它同时输出高斯泼溅（用来渲染视觉）和碰撞网格（用来做物理模拟）。它的目的就是想打破渲染器和模拟器之间的墙，往那个统一的世界模型靠齐。