thinkism.ai

显式 3D 世界模型的五条路线:拆解 Hybrid Particle-Voxel 的体素+粒子混合表示(PSNR 23.24、CD 7.72mm、50Hz 开环)与 4 篇同期工作

2026-11-05 · AI / 3D 世界模型 / 具身智能 · 视触觉 · 4D 高斯 · 刚体动力学 · 阅读时间 ≈ 25 分钟

上一篇是 11-05 的每日速读,6 篇各自为战。今天这篇不一样 —— 它是一个专题:主论文一篇,再加 4 篇同期工作,串成一条线一起看。

这条线的名字是「显式 3D 世界模型」。视频世界模型(Sora 一类)拍得很像,但一旦要拿去给机器人做规划,它没有几何、没有材质、也没有「东西现在在哪」的答案。于是有一批工作开始往回走:把状态显式地写下来 —— 写成体素、写成粒子、写成 4D 高斯、写成带位姿的 SDF,或者干脆交给一个真的物理求解器。

五篇正好覆盖这条谱系的两个端点:

下面这张图是我给这五篇定的位。横轴是显式 3D 状态落在哪一层,纵轴是这份状态的物理正确性由谁保证。这两轴几乎就是现在显式 3D 世界模型的全部分歧点。

图上最值得看的一条线是从左下到右上的对角:往右上走,物理越来越可信,但能表达的东西也越来越窄。左下角的 Physical Canvas 可以表达 RGB + 触觉 + 机器人状态,代价是物理全靠学;右上角的 Physical Diffusion Policy 有真的 MPM 求解器,但只能处理参数可辨识的那类物体。反过来,ORD-WM 用「解析施加 SE(3)」这种硬约束换来零漂移,代价是它只处理刚体。主论文 Hybrid 想两样都要 —— 体素负责「哪里有东西」的拓扑、粒子负责连续几何 —— 但两样最终都是学出来的,所以它停在中间偏上。

硬约束 / 真求解器 带一致性约束的学习 纯学出来的 ↑ 物理正确性由谁保证 2D 画布 视频 latent 3D 体素 latent 几何 + 位姿 物理求解器 显式 3D 状态落在哪一层 → Physical Canvas 2610.28613 AEON 2610.28631 Hybrid Particle-Voxel 2611.04492 · 主论文 ORD-WM 2610.23156 Physical Diffusion Policy 2611.04493
图 1 · 五篇显式 3D 世界模型工作的定位。横轴是显式 3D 状态落在哪一层,纵轴是这份状态的物理正确性由谁保证 —— 从纯学出来,一路到解析硬约束和真求解器。主论文 Hybrid Particle-Voxel 取的是中间路线:体素管拓扑,粒子管连续几何,两层都由学出来的动力学模型驱动。

一、Hybrid Particle-Voxel:把「哪里有东西」和「东西长什么样」拆成两层,一起学(Wang、Chou、Zhang、Wang、Huang、Yu、Nabi、Li,arXiv:2611.04492,cs.RO / cs.CV / cs.LG,2026-11-03,哥伦比亚大学 / UC 伯克利 / 密歇根大学 / NVIDIA / Analog Devices)

问题 机器人的世界模型要同时回答两件事:世界现在长什么样,以及我刚做的这个动作会让它变成什么样。视频世界模型只擅长第一件,第二件是它的弱项 —— 它画的是像素,不是几何。另一条显式路线是 3D 粒子 / 点云世界模型,几何是对的,但缺一样东西:占据(occupancy)语义。点云说「这里有 10 万个点」,不说「这个体素是空的」;而规划和碰撞判断要的恰恰是后者 —— 一个可以问「这个位置有没有东西」的世界状态。

更要命的是多模态。视触觉策略需要触觉信号,腕部相机策略需要新视角渲染,多视角一致性训练需要从训练相机之外再渲染 —— 视频模型做这些都要重新训一套,而一个统一的 3D 表示理论上能一次全给。

关键 idea / 方法骨架 这篇的答案是「体素 + 粒子」两层混合,加一个在体素 latent 上跑的动力学模型。三段式:

(1)稀疏 3D 体素编码器。输入是 RGB-D 视频直接得到的点云,每点带 3D 坐标、RGB 和一个预留的触觉通道。点云被体素化到稀疏 3D 网格,占用体素内的点特征取平均,然后编码器用带 stride 的稀疏 3D 卷积逐级下采样成 latent —— 只在有东西的地方算,避开空空间。ALOHA 和 Deform360 两个数据集的 latent 都是 8 通道,网格分别是 32×16×32 和 32×32×32。编码后每个 latent 体素沿通道维做 L2 归一化。

(2)coarse-to-fine 的体素-粒子解码器,两步走。第一步体素上采样:转置 3D 卷积逐级放大,每个分辨率层级都预测一次占据,给出越来越细的场景结构。第二步粒子上采样:一个轻量 MLP 在每个占用体素上预测连续粒子位置,每个粒子同时预测一个 3D Gaussian 的参数(颜色、尺度、旋转、不透明度),于是可以从任意视角渲染。论文用的 Gaussian 是各向异性的,球谐 degree 1。占用体素会播种两轮粒子细化。

(3)3D latent 动力学模型。一个 3D U-Net:先用 3D 卷积下采样 latent 体素,然后空间注意力与因果时间注意力交替,最后上采样回去。给定当前 latent、历史 H 帧 latent 和机器人动作 at,预测 ẑt+1 = Fϕ(zt-H:t, at)。

训练目标上有一处细节值得记:为了让长时程 rollout 稳,训练时自回归预测 K 步并用折扣损失加权,K 随训练按课程逐渐加大;另外给历史 latent 加高斯噪声(σ=0.1)做正则。自编码器损失是四项之和:LAE = Lvoxel + Lparticle + Lrender + Lcons —— 逐层占据的 BCE、粒子与真值点的 Chamfer 距离、渲染的 ℓ1 + SSIM + LPIPS(深度用 ℓ1),以及一项一致性正则:对同一次观测做两次独立子采样,惩罚两者 latent 编码的 ℓ2 差。

另外两个容易被略过但很实用的设计:一是「模拟骨架」可组合 —— 自编码器的输出可以和任意的静态 3D Gaussian 背景、以及运动学 3D Gaussian 机械臂组合起来,于是能模拟训练时没见过的场景和机械臂;二是模型虽然限制在特定工作空间,但可以微调出机械臂 / 物体 / 桌面的分割标签,从而把不同部件分开。

数据 / 数字 ALOHA 上 6 个任务、200 步开环平均:PSNR 23.24、LPIPS 0.240、Abs Rel 0.097、δ<1.25 0.913、场景 CD 7.72、物体 CD 11.52、触觉 L1 0.081。对照组里,2D 视频类最好的是 Robot4DGen(PSNR 20.59 / LPIPS 0.340 / CD 10.43),Cosmos 是 18.51 / 0.441 / 12.43,IWS 是 12.59 / 0.562 / 10.81;3D 粒子类里 PGND 的 CD 17.11、PointWorld 15.32、ParticleFormer 13.78 —— 主论文把 CD 做到了 7.72,比最好的粒子基线低约 44%。

Deform360 上 150 步开环:训练见过的物体 PSNR 18.6 / LPIPS 0.26 / CD 9.6mm,全面优于 ParticleFormer(18.0 / 0.30 / 10.5mm);但留出物体上 PSNR 只有 14.8,劣于 ParticleFormer 的 15.6,LPIPS 0.43 也劣于 0.31,只有 CD 12.1mm 仍然更好(ParticleFormer 13.4mm)。论文自己的解释是:粒子方法输出的是拟合到 Gaussian Splat 的轨迹,而本文是在未见物体上直接生成外观。这个负结果必须记住:泛化到新物体时,几何保住了,像素保不住。

工程侧的账:自编码器和动力学模型各约 16 小时(单张 RTX 5090);ALOHA 每个任务约 200 条 episode + 2 小时;Deform360 含 198 个日常物体、1,980 条交互序列、215+ 小时、41 台环绕相机。推理侧支持 50Hz。策略侧训了 ACT、Diffusion Policy、π0.5、Cosmos Policy 四个(各 100 条 demo、10Hz、90/10 划分),仿真里训练、真实里评估的相关性在三个任务 × 四个架构上都成立(每个任务采 20 个初始构型,误差棒是 Clopper-Pearson 置信区间)。最后用 PGND 的 MPPI 做模型式规划,在未见过的 ALOHA 单臂 + 四个未见物体(cloth、rope、foam、sloth)上零样本拿到 CD 0.024–0.047。

工程判断
- 什么时候抄:你的下游任务需要问「这个位置有没有东西」(碰撞、占据、遮挡判断),而你现在的状态是点云或视频 —— 这正是这篇的核心缺口。抄的成本也比想象的低:自编码器和动力学模型各 16 小时单卡,不需要任何物理求解器,也不需要渲染进模仿学习。另外如果你有触觉数据或者需要训练时用不到的视角,这篇的统一 3D 表示 + 可组合模拟骨架值得单独抄 —— 它是「一份数据生成多种观测」的最省事做法。
- 什么时候不抄:需要长时程精确物理的时候别抄。这篇的动力学是学出来的,没有求解器兜底,200 步开环已经是它的评测上限,而且它自己给出了负面证据 —— 换物体后渲染就掉(PSNR 14.8 输给 ParticleFormer)。如果你的任务里「弹性、塑性、黏性」是区分胜负的因素(挤压、拉伸、堆叠),这篇帮不上,应该看第二篇。另外工作空间被写死了:模型限制在特定 workspace,换场景要靠拼背景和运动学机械臂绕过去,不是原生泛化。
- 一句话启发:占据和几何不该二选一 —— 让体素管「有没有」,让粒子管「长什么样」,两条信息在同一个 latent 里给动力学模型,比让一个表示同时干两件事更省。

二、Physical Diffusion Policy:把真的 MPM 求解器塞进 3DGS,反演材质再按材质分流策略(Wang、Qiao、Liu、Yuan、Liu、Xu,arXiv:2611.04493,cs.RO,2026-11-03,香港大学)

问题 diffusion policy 在仿真里刷得漂亮,一上真机就掉 —— 因为仿真里的物体是一个固定的碰撞体,而真桌上的东西有弹性、塑性、泡沫、刚性的区别。策略不会区分「捏一下会回弹的网球」和「捏一下就变形的橡皮泥」,抓力、接触面、施力方式全都该不一样,但策略看不出来。

关键 idea / 方法骨架 四层。第一层,用 ZFormer FF-3DGS 从半球视频重建 Gaussian 场景(均匀采 64 帧);同时实例化一套 MPM 粒子系统,每个粒子带速度、质量、体积、变形梯度等状态量。第二层,可微 MPM把 Gaussian 场景推成物理仿真,反演出材质参数 —— 杨氏模量 E、泊松比 ν、屈服应力 τY、黏度 η。第三层,材质感知的 MoE diffusion policy:每个材质一个 expert,外加一个自适应路由器按物理参数分流;策略本身还直接以物理参数为条件。第四层,物理记忆库:把见过的场景-物理参数对存起来,运行时检索替代在线优化。训练时还会加 VLM 初始化(用视觉语言先验给参数一个起点)和物理边界约束(参数不能超出合理区间)。

数据 / 数字 物理参数估计(log-MAE,越低越好):完整模型平均 0.565,去掉 VLM 初始化 1.257、去掉几何 0.774、去掉边界 0.588 —— 边界约束贡献最大,这很反直觉,说明「别让参数跑飞」比「怎么初始化」更关键。真机成功率上,平均 62.5%,对比 DP3 的 49.4% 和 DP 的 28.9%;分材质看,弹性 57.1%(DP3 30.0)、塑料 56.0%(43.3)、泡沫 66.7%(46.7)、刚性 70.0%(49.2)。逐物体看差距更刺眼:金属弹簧 DP 0.0%、DP3 6.7%,本文 60.0%;牙膏管 0.0% / 16.7% → 63.3%。消融上,完整模型仿真/真机平均 89.9% / 62.5%,而「单一共享策略 + 物理条件」是 87.9% / 49.4% —— MoE 路由的收益主要在真机侧(+13.1 个点)。检索侧,静态 + 腕部双视角的 Instance Hit@1 96.8%、Material Hit@1 98.8%、Physics Recall@1 97.4%。效率上最关键的一组:在线物理优化 798.22 秒/query,记忆库检索 414.90 毫秒,而成功率只从 60.7% 掉到 59.2% —— 1800 倍加速换 1.5 个点。训练数据只有仿真 300 条脚本演示 + 真机 100 条手柄遥操作,20Hz 录制;MPM 网格 100³,物理参数优化 30 epochs、每序列 8 个关键帧,仿真步长 0.04 秒。

工程判断
- 什么时候抄:你的任务里材质是胜负手。判据很具体:把失败样本按物体材质分桶,如果「弹性体」「软包装」「易碎品」这几类的失败率明显高于「刚体」,那你的策略缺的就是材质条件。这篇最值得抄的不是求解器本身,而是记忆库替代在线优化这个架构 —— 798 秒降到 415 毫秒、只掉 1.5 个点,这笔账在任何要上真机的系统里都成立。
- 什么时候不抄:物体基本是刚体的时候别抄 —— 刚性那一栏本文 70.0% 对 DP3 49.2% 是好看,但和 DP 的 34.2% 差距有限,刚体任务上你换不掉多少。而需要真的模拟连续介质(布料、液体、多体接触)的时候,100³ 的 MPM 网格和 0.04 秒步长是远远不够的,它这里的「物理」只覆盖了单物体的材质响应。另外要清楚它的成本结构:真机演示只有 100 条,而且需要用 PS5 手柄遥操作采集 —— 采集成本是真金白银。
- 一句话启发:当「物理正确」意味着「参数要落在合理区间」而不是「跑一个更贵的求解器」时,先加约束,再加算力 —— 消融里边界约束的贡献(0.588 → 0.565)比去掉几何(0.774)小得多,说明它把力气花在了错的地方。

三、AEON:让视频生成模型直接吐出 4D 高斯,把生成空间和重建空间蒸馏到一起(Zhang、Zhang、Liu、Zhou,arXiv:2610.28631,cs.CV,2026-10-20,清华大学软件学院,NeurIPS 2026)

问题 现有世界模型范式各占一半。视频 WM(Sora 一类)真实、动态,但不 3D 一致、不能持久、不能实时;3D WM(Marble 一类)3D 一致、可实时、持久,但静态、不真实。论文把这两列逐项列成一张表:真实、3D 一致、动态、持久、实时,五项全占的只有 AEON。

关键 idea / 方法骨架 核心动作是把 4D Gaussian Splatting 当成世界表示 —— 每个 Gaussian 带显式的速度和生命周期,于是「持久」和「动态」不再冲突。三个组件:(1)4DRM(4D Gaussian Reconstruction Model)从单目视频预测 4DGS 属性和相机位姿,用 DINOv2-Large(24 层、1024 维)做编码器、用 MapAnything 的预训练几何权重初始化,是整个系统的「4D 解码器」;(2)Domain Adapter 把视频 DiT 的生成 latent 蒸馏成重建 latent —— 核心是dual-path 适配器 + Perceiver Bridge + token 级注入;(3)三阶段训练:Stage 1 用有位姿和深度的数据集训 4DRM(外观 + 几何 + 动态三项正则),Stage 2 冻结教师 4DRM、加 Panda-70M 无标注视频做生成式蒸馏,Stage 3 用端到端渲染损失再训 30 个 epoch。

Stage 1 的动态正则值得单独说一句:它用速度与生命周期的双重惩罚,逼模型只给真正在动的东西分配非零速度、短生命周期,从而在没有运动标注的情况下把运动从静态背景里剥出来。几何上则直接用真值深度和法向监督渲染出的深度/法向,解决单目视频的尺度歧义。

数据 / 数字 4D 生成(VBench):AEON(Wan 2.2) 的 I2V_Subject 0.913、Subject_Consistency 0.875、Motion_Smoothness 0.980、Aesthetic_Quality 0.531,全面高于 Lyra(0.865 / 0.864 / 0.974 / 0.459)和 4DNex(0.796 / 0.790 / 0.968 / 0.342);换成 Wan 2.1 是 0.912 / 0.864 / 0.976 / 0.519,说明换底座不用改结构。Video-to-4D 重建:Dycheck 上 PSNR 14.487 / SSIM 0.421 / LPIPS 0.469,DaVis 上 24.661 / 0.771 / 0.243,对比 NeoVerse(14.269 / 0.363 / 0.501 与 23.929 / 0.735 / 0.283)。但要如实说:学生(AEON)略输给自己的教师(Teacher 4DRM) —— DaVis 上 24.661 对 24.886、LPIPS 0.243 对 0.241。新轨迹渲染(VBench):AEON 的 Subject Consistency 94.64、Background 96.77、Temporal Flickering 96.69、Motion Smoothness 98.11、Aesthetic 69.02、Imaginary Quality 58.65,其中 Aesthetic 比第二名 TrajectoryCrafter 的 64.81 高出 4.2 个点。消融里「去掉 duration」把 DaVis PSNR 从 24.661 掉到 22.057、LPIPS 从 0.243 掉到 0.328 —— 生命周期参数是 4D 表示里最不能省的那一项。训练开销:16 张 NVIDIA H200;Stage 1 数据集按场景数重度重采样(PointOdyssey 0.1K×100、TartanAir 0.5K×50、DynamicReplica 0.5K×20、OmniWorld-Game 0.06K×100、SAIL-VOS 3D 0.16K×50、Spring 0.03K×100)。

工程判断
- 什么时候抄:你要的是「一个能生成、能持久、能渲染的世界」,而不是一个精确的物理仿真器 —— 比如合成训练场景、做新视角数据增强、做可交互的场景编辑。抄的话重点抄「持久化的带速度、带寿命的图元」这个表示选择:它让「动态」和「持久」不再互斥,这个想法的迁移成本很低。
- 什么时候不抄:需要动作条件的时候别抄 —— AEON 是文本/图像条件的世界生成,不是 action-conditioned 的动力学模型,它不能回答「我推一下会怎样」。要评估的是生成质量而不是物理正确性:整篇论文没有一个物理量指标,全是 PSNR / SSIM / LPIPS / VBench。如果你的下游是机器人规划,这篇不能直接用。另外成本要算清:16 张 H200加多阶段训练,对大多数团队不是能随手复现的量级。
- 一句话启发:「持久」和「动态」不是天生矛盾 —— 把变化交给图元自己的速度与寿命去表达,比让整个场景每帧重生成便宜得多。

四、Physical Canvas:RGB 和触觉拼成一张画布,让世界模型专职当策略的评估器和模拟器(Xing 等,arXiv:2610.28613,cs.RO,2026-10-20,中国科学院自动化研究所 / Anyverse Robotics / Open-Phoenix Team / 新加坡国立大学 / 西安交通大学 / 北京理工大学)

问题 触觉传感器已经便宜到能上机器人了,但视觉世界模型不用它;硬要用,又会卡在「触觉图像要和解剖、物理对得上」这件事上 —— 现有的视触觉重建方法在零样本下的 LPIPS 普遍在 0.04–0.06 区间,物理上说不通。而且没人知道触觉世界模型到底有什么用。

关键 idea / 方法骨架 Unified Multimodal Canvas:把三路 RGB 视角、四个指尖的触觉传感器、机器人状态拼成一条画布(三视角各 224×224,横向拼成 224×672),所有模态在同一个扩散模型里联合去噪。训练分两阶段:先做一致性感知的后训练(用 reward model 给视频和触觉的一致性打分,再用奖励引导世界模型后训练),然后才是策略评估与策略后训练(在世界里做 RL)。触觉这边不预测触觉图像,而是预测接触点的 3D 位移和接触的起止时刻,这两个量跟物理是对得上的。

数据 / 数字 触觉重建零样本对比:Wan VAE PSNR 35.51 / SSIM 0.9539 / LPIPS 0.0139,UniT 31.72 / 0.9613 / 0.0210,SDXL fp16 32.28 / 0.9226 / 0.0399,SD ft-MSE 30.73 / 0.9020 / 0.0600。RGB 侧:PhysCanvas PSNR 21.172 / SSIM 0.735 / LPIPS 0.121 / FID 21.459 / FVD 116.274,对比 WoVR(17.278 / 0.5972 / 0.203 / 26.086 / 138.243)、Open-Sora(17.916 / 0.599 / 0.228 / 34.762 / 183.860)、EVAC(16.439 / 0.528 / 0.258 / 26.512 / 165.705)。追踪误差是全场最小:末端执行器 0.685 px、物体 1.150 px。多模态消融(M0 只做 AdaLN 动作注入 → M4 加全模态一致性):PSNR 16.070 → 21.172,LPIPS 0.271 → 0.121,EEE 追踪误差 1.201 → 0.685 px,FID 22.331 → 21.459,FVD 197.779 → 116.274;触觉侧 Contact MAE 0.03012 → 0.02278,接触起始时刻误差 1.638 → 0.664 秒,结束时刻 1.241 → 0.604 秒。但触觉 F1 从 M2 的 0.5335 降到 M4 的 0.4455 —— 最后加的一致性项让连续量更准、把离散事件判得更糊了,这个 trade-off 论文没展开讲。真机成功率(π0.5,三次运行均值±标准差):SFT → RL in WM → RL in WM+RM,Test Tube 50.0 → 60.0 → 60.0,Bottle 88.3 → 90.0 → 86.6,Blocks 46.6 → 56.6 → 63.3,Rubik's Cube 51.6 → 63.3 → 73.3;Flow Matching 基座则是 0.0 / 20.0 / 25.0 / 0.0。摘要给的两个总数字:task-wise Pearson 相关 0.602 → 0.885,π0.5 真机成功率 59.1% → 70.8%。数据规模:3,805 条训练 episode / 320 条测试,10Hz 同步,4 个 Xense 光学触觉传感器,有效 batch 128 clips。

工程判断
- 什么时候抄:你已经有触觉硬件但没在用的时候。这篇最实用的两点是:触觉信号不要预测图像,要预测接触位移和接触起止时刻 —— 这两个量物理上可解释、可评估,而且直接对应「什么时候碰到了、碰得多重」;以及用世界模型 + 奖励模型做策略后训练,把真机试错的成本挪到世界里。另外「世界模型能不能当策略的评估器」这个问题,这篇给的 0.602 → 0.885 是个可以直接复制的检验。
- 什么时候不抄:没有触觉硬件就别先做 —— 整套流程的复杂度(画布拼接、一致性后训练、reward model)远超收益。另外要看清它的边界:画布是2D 的,图 1 里它根本不在显式 3D 那一列 —— 它没有几何,也就没有「这个位置有没有东西」;真机提升也只有 11.7 个点,且 Bottles 上加了 reward model 反而从 90.0 掉到 86.6。最后,触觉采集本身就是瓶颈,这篇用的是光学触觉(GelSight 类),换传感器要重训。
- 一句话启发:把「多模态一致」当成一个可以单独训练、单独打分的奖励项,而不是当成模型架构的一部分 —— 这是这篇最可迁移的一步。

五、ORD-WM:预测 SE(3) 增量而不是预测每个点,长序列里形状漂移严格为 0(Weng、Zhang、Ou、Mu、Zhao、Li,arXiv:2610.23156,cs.RO,2026-10-16,哈尔滨工业大学(深圳))

问题 点云世界模型(PointWorld)在长序列 rollout 上几何会飘:全轨迹的点级 ℓ2 误差 321.11mm,形状一致性 Chamfer 距离 19.87mm —— 也就是说,模型预测的「同一个物体」在 170 步后已经变形了。但刚体操作其实根本不需要预测每个点,它只需要知道物体刚体变换的 6 个自由度。

关键 idea / 方法骨架 三段。(1)SDF-VNVAE:用向量神经元(vector neuron)VAE 编码每个物体的点云,损失是 Lsdf + Leik + β·LKL(权重 1.0 / 0.004 / 0.002),SDF 监督让形状落在零等值面上,Eikonal 项让距离场合理。向量神经元的意义在于:latent 能在 3D 旋转下可预测地变换。(2)物体级动力学:模型预测每个物体的 SE(3) 增量(旋转 + 平移),解析地施加到该物体的点云上 —— 不是学出来的位移场,是硬约束的刚体变换。(3)损失:位姿损失 + 距离损失,两项权重都是 1.0。

「解析地施加」这一句话是整篇的胜负手:它把「长序列形状漂移」这个问题从模型问题变成了算术问题。

数据 / 数字 多步预测(对照 PointWorld 及其在 LIBERO 上微调的变体):ORD-WM 1 步点级 ℓ2 1.58mm(移动点)/ 0.12mm(静态点),10 步 7.71 / 0.86,全轨迹 37.60 / 8.50,形状一致性 CD 严格为 0.00;PointWorld 是 13.72 / 6.61 → 83.18 / 8.75 → 321.11 / 216.15,形状 CD 19.87;微调后的 PointWorld(ft) 是 10.04 / 1.09 → 79.62 / 5.50 → 225.68 / 18.84,形状 CD 3.58。也就是说,本文把全轨迹形状漂移从 3.58–19.87mm 压到了 0。消融最能说明问题:去掉 SE(3) 更新,表面 CD 从 0.252 / 0.670 / 4.729 变成 0.620 / 2.588 / 131.600,形状 CD 从 0 变成 4.683;再去掉向量神经元,变成 8.501 / 9.763 / 52.401、形状 CD 34.611,rollout 速度从 784 FPS 掉到 1232 FPS 之外还只有 162 FPS(B=8 时 124 FPS)。解耦几何和位姿的对照组是 0.994 / 1.562 / 11.287。真机 pushing 的 MPC(候选数 → 成功率 / 平均位置误差 / 平均步数 / 每次重规划耗时,单张 RTX 3090,判成功标准是最终位置误差 < 2cm):64 → 10% / 3.72cm / 367 步 / 55.4ms;256 → 70% / 1.64cm / 171 步 / 115.7ms;1024 → 90% / 0.972cm / 85 步 / 269.9ms。数据:LIBERO 的 Spatial / Object / Goal / Long 四个 suite 各 10 个任务共 40 个任务、每个任务 50 条 demo,外加 1,000 条 object-pushing 轨迹,10% 留作多步 rollout 评测;未见物体用 OakInk2 测,SDF-VNVAE 在上面重建 SDF L1 1.845 / 表面 CD 2.269mm(LIBERO 上是 0.854 / 1.441mm)。

工程判断
- 什么时候抄:你的任务里物体近似是刚体,而你的世界模型在长序列上会漂。判据是现成的:拿你的模型跑 170 步左右的开环 rollout,看形状一致性 CD —— 超过几毫米就说明几何在漂,而这篇给的答案是把它变成 0。这篇还附送了一个非常有用的结论:rollout 速度也可以是指标(784 FPS @B=1),一个能实时跑的世界模型才能做 MPC。
- 什么时候不抄:物体可形变就别抄 —— SE(3) 刚体变换是硬约束,压形变等于压掉形变本身。它的损失里也没有接触/摩擦项,纯运动学推演,不预测接触后果。另外这套东西有隐含前提:物体身份要能分清(每个物体一个编码),场景里有可辨识的物体集合。桌面上一堆散落小件、或者物体数量随时间变化的场景,这套表示建不起来 —— 那个「1,000 条 object-pushing」的数据配方也说明它假设了干净的桌面。
- 一句话启发:能用解析变换保证的不变量,就别让网络去学 —— 把「形状不能变」写成算术事实,比写进损失函数可靠一个量级。

六、落地思考 / 我的判断

五篇摆在一起,先回答最实际的问题:今天该抄哪一个?

我的答案是主论文 Hybrid Particle-Voxel,理由和它的指标无关,理由是它的账最干净:单张 RTX 5090、自编码器 16 小时、动力学模型 16 小时、不需要任何物理求解器,而且给你一个统一接口同时吐出点云、多视角渲染、触觉信号三种观测。对一个机器人团队来说,「一份数据生成多种观测」这件事的复利远高于「把 CD 从 7.72 优化到 7.0」。

但有个前置条件必须先满足:你的下游真的需要占据语义吗?如果你只是要渲染好看的画面给视觉策略训练,视频世界模型(Cosmos 一类)仍然够用,而且便宜得多。主论文真正的差异化不在画质,在「问它这个位置有没有东西」的答案是有依据的 —— 碰撞规划、遮挡推理、抓取点选择都要用到这个。

第二值得抄的是 ORD-WM 的思想,而不是它的系统:把「形状不能变」这类不变量从损失里拿出来、写成解析约束。它的系统需要干净的物体集合,抄不动;但「哪些量必须是硬约束」这个判断,任何世界模型项目都该做一遍。主论文其实也隐含了这一条 —— 它的 Lcons 一致性正则,用两次独立子采样的 latent 差异做约束,本质上也是在把「同一次观测必须编码成同一个东西」这件事显式化。这是这两篇最该被拿走的东西:一个是在 3D 里硬约束,一个在 latent 里软约束。

第三是 Physical Diffusion Policy 的记忆库架构,因为 798.22 秒 → 414.90 毫秒这个交换比太诱人(代价只有 1.5 个点)。它背后的普适原则是:凡是「在线优化一个物理参数」的场景,都可以换成「离线建库 + 运行时检索」。这条原则在你自己的系统里大概率有对应物。

第四篇 AEON 和第五篇 Physical Canvas 是不同赛道的选手。AEON 是生成(要一个能渲染、能持久、能编辑的世界),Physical Canvas 是评估(要一个可信的策略评估器)。两者都不直接给你可用于规划的状态表示 —— 一个没有 action conditioning,一个没有 3D 几何。它们的价值在于各自解决一个主论文没碰的问题:合成数据和策略评估。

今天没解决的,比解决的更值得记一笔。这五篇都只覆盖了问题的一小片:主论文在换物体后渲染就掉(PSNR 14.8 输给 ParticleFormer);Physical Diffusion Policy 的 MPM 只到 100³ 网格、单物体材质响应,布料和连续介质它接不住;AEON 没有 action conditioning,而且学生略输给自己的教师;Physical Canvas 的画布是 2D 的,没有几何,而且触觉 F1 在最后一项消融里反而从 0.5335 降到 0.4455;ORD-WM 的 SE(3) 硬约束等于宣布可形变物体不管。五篇加起来,依然没有任何一篇能同时做到「多模态 + 显式几何 + 真实物理 + 可交互」。

所以更值得问的不是「抄哪篇」,而是:你系统里那个世界模型,它的「状态」到底是什么?如果答案是「一堆像素」,那这五篇都跟你有关;如果是「一堆点」,那你在 ORD-WM 和主论文之间二选一;如果是「一个 solver 的内部变量」,那你在物理流形上,先想想主论文那种「体素管占据、粒子管几何」的分层能不能套上去。

最后一个判断,跟上一篇 Daily 那六篇接得上:上一篇说「贵的从来不是结构本身,而是这个结构要接住的世界接口有多宽」。这五篇正好构成一组对照 —— 它们全都试图接住同一个最宽的接口(完整 3D 世界状态),而最贵的那个(Physical Diffusion Policy,100³ MPM + 可微渲染 + 在线优化)恰恰是唯一不需要你去相信「它学出来的物理」的那一个。这就是显式 3D 世界模型今天真正的账单:你想省掉求解器,就得承担「物理是学出来的」的风险;你想让物理可信,就得承担求解器的钱和时间。主论文站在中间,用「16 小时 + 单卡」的价格买了一个折中 —— 它的 200 步开环 CD 7.72mm 和 50Hz 的速度,是这个折中当下给出的价码。

论文 显式 3D 状态放在 物理正确性来源 关键数字
Hybrid Particle-Voxel
2611.04492
8 通道体素 latent(32×16×32 / 32×32×32)+ 连续粒子 + 3D Gaussian学出来的 3D U-Net 动力学(空间+因果时间注意力),四项目标 L_voxel+L_particle+L_render+L_consALOHA 6 任务 200 步开环:PSNR 23.24、LPIPS 0.240、Abs Rel 0.097、δ<1.25 0.913、CD 7.72、Obj CD 11.52、触觉 L1 0.081(Cosmos 18.51、Robot4DGen 20.59;PGND CD 17.11、ParticleFormer 13.78);Deform360 见过的物体 PSNR 18.6/CD 9.6mm,留出物体 PSNR 14.8(输给 ParticleFormer 15.6)/CD 12.1mm;50Hz;自编码器与动力学各约 16 小时 RTX 5090;规划 CD 0.024–0.047
Physical Diffusion Policy
2611.04493
3DGS(ZFormer FF-3DGS,64 帧)+ MPM 粒子系统(100³ 网格)真求解器:可微 MPM 反演 E / ν / τY / η,加 VLM 初始化与物理边界约束物理参数 log-MAE 平均 0.565(去掉边界 0.588、去掉几何 0.774、去掉 VLM 初始化 1.257);真机平均 62.5% 对 DP3 49.4%、DP 28.9%;分材质 弹性 57.1 / 塑料 56.0 / 泡沫 66.7 / 刚性 70.0;金属弹簧 0.0%/6.7%→60.0%;消融 完整 89.9%/62.5% vs 单策略+物理 87.9%/49.4%;在线优化 798.22s → 记忆库检索 414.90ms(成功率 60.7%→59.2%)
AEON
2610.28631
4D Gaussian Splatting(带显式速度与生命周期),生成在视频 latent 空间学出来的:外观 + 几何(深度/法向监督)+ 动态正则,无动作条件4D 生成(Wan 2.2)I2V_Subject 0.913、Subject_Consistency 0.875、Motion_Smoothness 0.980、Aesthetic 0.531(Lyra 0.865/0.864/0.974/0.459);重建 Dycheck 14.487/0.421/0.469、DaVis 24.661/0.771/0.243(教师 4DRM 24.886/0.775/0.241);新轨迹 Aesthetic 69.02 对第二名 64.81;去掉 duration DaVis PSNR 24.661→22.057;16 张 H200
Physical Canvas
2610.28613
统一多模态画布(三视角 224×672 + 四指尖触觉 + 机器人状态),2D学出来的 + 一致性感知后训练(reward model 引导)触觉重建零样本 Wan VAE PSNR 35.51 / LPIPS 0.0139(UniT 31.72 / 0.0210);RGB PSNR 21.172 / SSIM 0.735 / LPIPS 0.121 / FID 21.459 / FVD 116.274;追踪误差 EEF 0.685px、物体 1.150px;消融 M0→M4 PSNR 16.070→21.172、Contact MAE 0.03012→0.02278、起止误差 1.638→0.664s / 1.241→0.604s,但触觉 F1 0.5335→0.4455;真机 π0.5 59.1%→70.8%,Pearson 0.602→0.885;3,805 训练 / 320 测试 episode
ORD-WM
2610.23156
物体级 SDF-VNVAE(向量神经元)+ SE(3) 位姿硬约束:刚体变换解析施加,形状漂移严格为 01/10/全轨迹点级 ℓ2 移动点 1.58 / 7.71 / 37.60mm,静态 0.12 / 0.86 / 8.50mm;形状 CD 0.00 对 PointWorld 19.87、PointWorld(ft) 3.58;表面 CD 0.252 / 0.670 / 4.729,去掉 SE(3) 变 131.600、形状 CD 4.683,再去掉 VN 形状 CD 34.611;rollout 784 FPS(B=1);真机 pushing MPC 候选 64→1024 时成功率 10%→90%、误差 3.72→0.972cm、耗时 55.4→269.9ms;LIBERO 40 任务 × 50 demo + 1,000 条 pushing 轨迹

References

下一篇预告:这篇把「显式 3D 世界模型」这条线摆平了 —— 五篇都想接住同一个最宽的接口(完整 3D 世界状态),而最贵的那一个恰恰是唯一不需要你去相信「它学出来的物理」的那一个。上一篇(11-05 每日速读)说「贵的不是结构本身,而是这个结构要接住的世界接口有多宽」,这篇是那个论断的第一个专题样本。下一层要正面处理的,是当显式 3D 状态里真的塞进一个求解器之后,数据和算力这两笔账到底该怎么算 —— 哪些该离线预烘焙进资产,哪些必须留到运行时,以及那条「798 秒换 415 毫秒」的交换比在你的系统里能不能复现。