thinkism.ai

把动作写成语言:拆解 LaLa-World 的世界模型统一接口

2026-10-25 · AI / 世界模型 / 机器人 · 阅读时间 ≈ 8 分钟

世界模型这件事,难点从来不是"能不能预测下一帧",而是能不能用一个模型吃下所有数据源。LaLa-World(NAVER AI Lab 等,2026)给出了一个我认为是目前最工程友好的答案:把数值动作和视觉变化都写成自然语言,让语言成为跨域的统一接口。一个模型同时吃仿真轨迹、机器人轨迹和普通视频,规划性能比 RAEv2 这样的生成式世界模型还高,训练成本却只有 1/6。

这篇拆解三件事:为什么"用语言描述动作"这件事比听起来更有效,13.9× 的规划加速从哪来,以及这套设计什么时候会失效。

LaLa-World 整体结构:语言统一数值动作与视觉变化,预测器基于语言模型,微调后得到 LaLa-Policy
图 1 · LaLa-World 总览。(a) 语言统一数值动作与视觉变化,让控制数据和视频数据能在同一个预测目标下联合训练;(b) 预测器建立在语言模型之上,同时输出未来潜在表征与后续动作;(c) MPC 规划性能对比;(d) LaLa-Policy 与 Cosmos Policy 的动作预测对比。来自 LaLa-World: Scaling Latent World Models with Natural Language Actions,Junha Song、Geonmo Gu、Jeongeun Park 等(NAVER AI Lab / Georgia Tech / Brown / Mila & Université de Montréal),2026,CC BY 4.0。

一、问题出在动作空间的异构性上

先把问题定义收紧。JEPA 风格的 latent world model(LWM)——比如 V-JEPA 2-AC、DINO-WM——优势很明确:不做像素重建,只预测表征怎么变,所以想象一次 rollout 的成本极低。这是 MPC 能在真实机器人上跑起来的前提。

但这类模型的 action-conditioned predictor 基本只在仿真或机器人数据上训过,而数值动作是强域相关的。同一个 [2,4],在某个域里是水平/垂直位移,在另一个域里是力;PushT 的 2 维、PointMaze 的 2 维、Meta-World 的 4 维、DROID 的 7 维,物理含义完全不一致。要让一个共享 predictor 学到共享动力学,接口就必须先统一。

更麻烦的是另一半:互联网图像和视频数据量最大,却没有动作标注。它恰好是最缺"世界如何随动作变化"这一监督信号的数据源,所以以往只能拿来做视觉预训练,没法喂给世界模型的预测器。

这两个问题指向同一个解:需要一个既能表达数值动作、又能表达视觉变化的统一接口,而且这个接口要能在没有动作标注的数据上"说得出来"。

二、核心设计:用语言当中间层

LaLa-World 的做法分两步,都很朴素,但朴素得恰到好处。

第一步,动作描述成句子。仿真/机器人的数值动作被转成自然语言,比如 move 2 left and 4 up、push with force 2 downward;而普通视频数据里的视觉变化,用另一类语言描述,比如 the train moves forward along the tracks, revealing ...。两类数据于是进入同一个文本接口,可以混合训练同一个未来预测器。

第二步,预测器本身建在语言模型上。这不是"加个文本编码器"的程度——预测器主干就是一个 LM,所以它天然能理解"往左 2"和"稍微往左一点"这两种描述,并把它们映射到不同的潜在未来。这里有个漂亮的副作用:模型可以接住没有数值动作的纯定性指令,比如 move slightly left,规划器照样能工作。论文里专门展示了这一能力。

用语言动作做 MPC 规划,单一预测器跨多个域同时工作
图 2 · 语言动作下的 MPC 规划。因为所有动作共用一套语言接口,单个 LaLa-World 预测器可以跨域规划,不受动作维度和物理含义差异的影响;底部两行展示了不含数值的定性动作。图片来自论文,来自 LaLa-World,Junha Song 等,2026,CC BY 4.0。

三、数字:13.9× 从哪里来

论文给了三组关键对比,都值得抄下来当自己的验收标准。

3.1 MPC 规划性能

同一个联合训练的预测器 vs. 各个域单独训练的 LWM baseline vs. 生成式世界模型 baseline(RAEv2):

方法 MPC 规划性能
DINO-WM(单独训练)47.5
JEPA-WMs(单独训练)53.5
RAEv2(生成式世界模型)48.0
LaLa-World(联合训练)59.4

注意增益的两个来源:一个是"联合训练 > 分域训练",另一个是"latent > generative"。前者说明共享接口确实让跨域数据互相受益了;后者说明在规划这个任务上,不必重建像素这件事本身就是巨大的工程优势。

和 RAEv2 的匹配对比更狠:相同的语言条件、相同的训练数据、相同的视觉编码器,LaLa-World 训练成本低 6×,规划快 13.9×。原因很直白——RAEv2 的预测器是 diffusion Transformer,每一步要去噪;LaLa-World 的预测器是一次前向出潜在状态。规划要在 MPC 里反复评估候选动作序列,这个差距会被乘上去。

3.2 加视频数据的收益

论文明确报告:加入图像和视频数据后,平均规划性能进一步提升,且对动作措辞的鲁棒性明显增强。后者尤其有价值——"往左 2"和"往左边挪一点点"在向量空间里是无关的两个点,但在语言模型的语义空间里挨得很近。

3.3 LaLa-Policy:世界模型当预训练

预训练好的 LaLa-World 可以微调成 LaLa-Policy,同时预测动作和未来视觉表征。在 LIBERO 和 RoboCasa 上和 Cosmos Policy 对比:π0.5 成功率 54.5、Cosmos-Policy 56.0、LaLa-Policy 57.3,同时单条轨迹平均推理时间降低 5.5×。

四、我的判断

值得抄的三件事:

  1. 接口设计优先于模型规模。这篇的核心贡献不是某个新模块,而是"用什么语言描述动作"这个接口决策。工程上这意味着:如果你手里有多个异构数据源,第一个要做的不是换更大的 backbone,而是先设计好它们之间的公共语言。这一条在任何多域学习场景都成立。
  2. LM 当世界模型主干是被低估的选项。LM 主干带来的不只是"能读懂文本",还有语义空间对措辞扰动的平滑性——这对需要人机交互的机器人场景是刚需,因为人下达的指令本来就不精确。
  3. Latent 路线在"要想象很多次"的场景下几乎必然赢。13.9× 不是优化出来的常数,而是架构决定的量级差异。如果你只生成一次视频,生成式模型更香;如果你要在真机上做 MPC 搜索 50 条候选轨迹,延迟差会被放大成能不能落地的问题。

要留意的三个坑:

一句话总结:LaLa-World 证明了一件工程上很值钱的事——世界模型的"通用性"瓶颈往往不在模型,在接口。把动作写成语言这个动作,看起来简单,但它把"能不能统一"从一个模型问题降维成了一个数据结构问题。


参考资料