thinkism.ai

先算物理,再画像素:DeXplicit 的显式 3D 操控世界模型拆解

2026-10-25 · AI / 世界模型 / 视频生成 / 灵巧操作 · 阅读时间 ≈ 9 分钟

这一周有两篇世界模型的论文在讲同一个故事的上下半段:Inside-JEPA 从内部说"潜状态要真的有语义",DeXplicit 从外部说"显式的几何比隐式的像素更可靠"。后者给的数字相当有说服力:移动点误差降低 27~40%,物体保真度 IoU+ 提升 47%,而且因为改成了因果两步生成,视频合成快了 57 倍。

这篇拆解一个具体问题:当你要预测"手拿着杯子倒水,接下来 32 帧会怎样",到底应该让视频生成模型自己在像素里学物理,还是先把物理算出来再让渲染器去画。

显式物理状态用于灵巧交互:结构化交互动力学把度量预测连接到视频合成,保持运输、铰接与形变
图 1 ·(论文 Figure 1)面向灵巧交互的显式物理状态。结构化的交互动力学把度量预测与视频合成连接起来,保持运输、铰接和形变;右侧延迟对比图为原生视频系统,* 标记 Fast Adapter。来自 DeXplicit: Making Physical State Explicit in Dexterous Manipulation World Models,Adam Lee、Mutian Xu、Yukang Cao、Shulin Tian、Ziwei Liu,2026,CC BY 4.0。

一、现有做法的两个病根

DeXplicit 把问题诊断得很清楚。生成式的操控世界模型有两条主流路线,各有各的病:

病根一:视频生成模型把三件事搅在一起。动作条件动力学、相机运动、视觉合成,全部压在一个视频 diffusion 模型里。结果是模型必须从像素里隐式地学出物理——而像素级的重建损失对几何一致性几乎没有约束力。

病根二:点轨迹表示没有显式物体结构。另一条路把动力学表示成点轨迹(PointWorld 这一类),比视频生成好,但点云本身没有"这是一个杯子"的概念,多步 rollout 时形状会漂移。

DeXplicit 的主张是显式 3D 先行:给定初始场景和未来的手部轨迹,一个轻量 3D 动力学网络先预测以物体为中心的运动与形变,产出结构化、有几何意义的世界状态;然后这些预测成为视频生成的脚手架——外观沿着预测出的 3D 运动被搬运并投影到未来视角,渲染器只需要去补全那些"不确定和新露出来的内容"。

二、Pipeline:三段式

论文的架构图很清楚,我按它的三段来说:

  1. 联合感知的动作编码(joint-aware action encoding):手部 3D 关节轨迹被编码成条件,不是简单的点序列。
  2. 以物体为中心的度量动力学:分成共享的物体运输(rigid transport,保持几何)和局部形变(local deformation)两条路径——这是它和 PointWorld 的核心区别,物体几何和位姿变化被分开处理,几何不会被 rollout 侵蚀。
  3. 度量对齐的精修 + 条件化渲染:把预测的 3D 几何投影到目标视角,加上手部条件和外观搬运,喂给渲染器。

动力学模块用的是 Point Transformer V3,编码器和解码器分阶段从粗到细执行。

DeXplicit 总览:联合感知动作编码驱动以物体为中心的度量动力学,含共享物体运输与局部形变;度量对齐精修修正物体位姿
图 2 ·(论文 Figure 2)DeXplicit 总览。联合感知的动作编码驱动以物体为中心的度量动力学(共享物体运输 + 局部形变);度量对齐的精修修正物体位姿;投影几何、手部条件和外观搬运共同条件化生成。来自论文,CC BY 4.0。

三、数字

3.1 3D 动力学预测

在 HOT3D、OakInk2、PhysTwin 三个数据集上,与 PointWorld 对比(两种方法收到完全相同的初始度量场景点和 3D 手部关节轨迹)。单位是毫米 L2 误差:

数据集 / 时域 PointWorld(移动点 / 全点) DeXplicit(移动点 / 全点)
HOT3D 长时域 1–3290.47 / 18.1754.34 / 14.01
OakInk2 长时域 1–3283.21 / 11.7159.95 / 16.88
PhysTwin 长时域 1–3260.41 / 35.5244.04 / 25.37
HOT3D 早期 1–1470.00 / 12.1639.21 / 8.65
OakInk2 早期 1–1435.80 / 6.7020.61 / 8.01
PhysTwin 早期 1–1441.71 / 23.8021.81 / 13.60

早期时域误差降 42~48%,长时域降 27~40%。但OakInk2 的全点误差反而升高了(11.71 → 16.88,1–32;6.70 → 8.01,1–14)——论文没有掩盖这一点,摘要里也写明了"全点误差在 HOT3D 和 PhysTwin 上改善,但在 OakInk2 上更高"。

怎么理解这个例外?我的判断是:DeXplicit 优化的是"被移动的物体"的准确性,而 OakInk2 上场景里有大量不该动的背景/静态部分,DeXplicit 对这些点的预测反而不如 PointWorld 的自由形变更稳。这其实印证了方法本身的设计意图——它是物体中心的,不是全场景的。

3.2 视频生成

共享渲染器下的对比(480×832,未来帧 1–32):

方法 PSNR ↑ LPIPS ↓ PCK20 ↑ 物体 IoU+ ↑ 推理耗时 ↓
DeXplicit19.130.27440.3%0.549277.44 s
Causal-DeXplicit17.410.34844.7%0.4904.90 s
PointWorld(适配)18.010.31527.3%0.373291.18 s
Hand2World14.320.49754.9%0.08215.76 s
Hand2World-AR13.470.60457.0%0.0804.62 s
RynnWorld-Causal14.700.56625.8%0.0974.33 s

这张表里有一行值得停下来看:Hand2World 的手部对齐 PCK20 高达 54.9%,但物体 IoU+ 只有 0.082,CLIP 前景相似度只有 22.1%。论文对此的评语很准——"手部对齐度高并不等于交互保真度高"。手对得很准,但杯子不见了。这就是"像素级生成"和"显式几何约束"的差别,也是我认为这篇论文最大的价值点:它给出了两个独立指标,而现有榜单经常只报一个。

3.3 57× 加速从哪来

DeXplicit 双向上下文版本(14B)跑完整 32 帧要 277.44 秒。改成两步行因果生成(每个 block 只去噪两步,且条件在已生成历史上)之后,只要 4.90 秒——4 帧 0.54 秒。相对 14B 双向上下文是 57×。

为什么能这么快?因为物理已经被算完了:渲染器不再需要从像素里推理"物体会怎么动",只需要把已经算好的运动搬运过去,再补全新露出来的内容。自由度被砍掉了,迭代次数自然能砍。

3.4 消融:每一步都算数

3D 动力学消融(状态 1–34,L2 毫米):

配置 移动点 ↓ 全点 ↓
直接预测点63.3513.58
+ 动作差异59.8413.10
+ 联合感知编码56.1811.76
+ 结构化运输51.089.50
+ 度量对齐监督50.189.36
+ 规范化局部图49.259.23

"结构化运输"这一步单独贡献了最大的一次跳变(56.18 → 51.08,全点 11.76 → 9.50)——也就是把几何保持和位姿变化分开建模。这一步是全篇设计的核心,其余几项都是增量优化。

四、我的判断

最值得带走的一条:

  1. 显式几何和生成式外观是互补的,不是二选一。DeXplicit 的分工很清晰:物理用几何算,外观用生成算。这条边界划得好,比"什么都塞进视频模型"健壮得多。
  2. "物体中心"而非"场景中心"是更实用的抽象。多数真实任务只关心几个被操作的物体。DeXplicit 把预算花在物体上,OakInk2 全点误差变差恰恰是代价的体现——这个方法在"少数物体 + 长时序"场景收益最大,在"全场景稠密变化"场景要重新评估。
  3. 报告两个独立指标,而不是一个。PCK20(手部对齐)和 IoU+(物体保真)必须一起看。只报 PCK20 的方法可能完全不保物体保真度——Hand2World 就是活例子。做内部评测时请把这两个指标都列上。

要留意的局限:

一句话总结:DeXplicit 的核心主张是"把物理从像素里搬出来"——这不只是为了更准,更是为了让生成模型可以做更少的事,从而快一个数量级。当你的世界模型瓶颈在渲染时,这条路值得认真评估。


参考资料