物理真值模型 vs 学出来的粒子模型:可微挖掘 DDBot 与 GPWM 世界模型 —— 两篇同期工作拆解
上一篇(11-07 的第三篇)拆的是「散粒材料操作的三条路线」,最后留了一个问题没答:分布级的抽象到底什么时候不够用?今天这两篇正好把那个问题的两端摆在一起 —— 一篇从物理真值那端推,一篇从学习出来的代理模型那端推。
DDBot(arXiv:2510.17335,IEEE T-RO 2026)走的是前者:把 MLS-MPM 颗粒仿真器做成完全可微的,然后直接用一阶梯度下降去优化「怎么挖」。GPWM(arXiv:2611.08338)走的是后者:用 2,546 万帧数据训一个生成式粒子世界模型,不追求物理真值,而是学到「看起来对」的粒子运动,再用它做规划。
表面上一个是「用物理」,一个是「学物理」,但真正值得看的是它们各自把成本付在了哪里:DDBot 付在梯度稳定性上(长时程、大粒子数下梯度会爆或消失,得靠裁剪 + 线搜索摁住),GPWM 付在「模型错了怎么办」上(它干脆不搜动作,改搜模型自己的隐噪声,让搜索只在模型学过的分布里发生)。
下面这张图是我给这两篇定的位。横轴是模型从哪来(物理方程 → 数据学出来的),纵轴是拿模型做什么(只预测 → 拿来规划)。
图上最值得看的是右上角那一大片空白 —— DDBot 明明有物理真值,却只用来做单任务的挖掘技能优化,没往上走成通用规划器;GPWM 明明有了一个通用粒子模型,它的规划却只在仿真里开环验证过、没上真机。「物理真值 + 通用规划」和「学出来的模型 + 真机落地」这两格都还空着,而这两篇各自把自己的那半边填得挺满。
一、DDBot:把颗粒仿真器做成可微的,然后用一阶梯度直接挖(Yang、Wei、Lai、Ji,arXiv:2510.17335,cs.RO,2025-10-20 提交 / 2026-01-06 v4 / 已发表于 IEEE Transactions on Robotics 卷 42 页 152-169,英国卡迪夫大学工程学院)
问题 这篇盯的是一个小尺度、高精度的任务:用一把铲子在容器里挖出指定形状的坑,材料是土或沙,物理参数未知。作者点名的三个障碍很实在:接触动力学复杂、材料性质不可预测、系统状态本身难观测(你只能看到表面点云,看不到内部粒子)。而且已有方法在精度和效率之间做交易 —— 要么牺牲精度换仿真速度,要么牺牲速度换精度。
论文真正的科学问题问得很具体:一阶梯度优化能不能用在复杂可微的颗粒仿真上,以及数值不稳定怎么解决。这在过去是个悬空的问题:可微物理在橡皮泥这类软体上已经被验证过(用 fixed-corotated 弹性 + von Mises 塑性),但颗粒材料用的是 St. Venant-Kirchhoff 弹性 + Drucker-Prager 塑性屈服准则,没人做过。
关键 idea / 方法骨架 整个系统是五个模块串起来的闭环。
①物理引擎:MLS-MPM(moving least squares material point method),粒子带位置、速度、变形梯度和材料属性(杨氏模量 E、泊松比 ν、密度 ρ、砂摩擦角 φ),在欧拉背景网格上积分,用 SDF 碰撞检测加库仑摩擦接触。选 MLS 而不是经典 MPM 的理由是它和刚体的双向耦合更好。仿真里初始土堆是 0.28 × 0.28 × 0.07 米的盒子按固定密度 5×10⁶ 粒子/立方米填出来的,共 27,440 个模拟粒子,粒子半径 2×10⁻⁷ m。
②观测:真实世界只有表面点云,用 Zivid Medium One+ 高分辨率相机采集;仿真里取 40×40、边长 0.24 m 网格中的最高粒子。两边都是 1,600 个观测点,这个对齐是可微链路能work的前提。
③可微技能参数化 —— 这是这篇最聪明的一步,也是它跟「直接优化轨迹」拉开差距的地方。作者不去优化「每个全局步的 6D 笛卡尔位移」,而是引入五个技能参数:θdisplace(位移)、θrotate(旋转)、θinsert_distance(插入深度)、θpush_angle(推进角)、θpush_distance(推进距离)。这五个参数通过一个可微的 skill-to-action 映射展开成完整轨迹 —— 映射内部是四段式的「插入 → 抬升 → 推进 → 抬出」,每段的时长和位移都由这几个参数决定。解空间从「轨迹空间」缩到「5 维技能空间」,这是后面所有收敛优势的根源:轨迹空间里每个决策维度都要独立承担误差,而 5 维技能空间里一次微小的参数调整就能同时改变整条轨迹的形态。
④任务导向的演示先验:不用从零开始优化,而是先用手工演示给一组初始技能参数当起点 —— 灵感来自「小孩会把已知技能外推到新场景」。具体做法是 θdisplace 按目标点云里坑的位置算出来,其余四个固定(θrotate = 0.2、θinsert_distance = 0.8、θpush_angle = 0.0、θpush_distance = −0.5)。
⑤梯度稳定化,这是论文的技术命门。链条是 loss → skill-to-action → 仿真动力学,而链越长、粒子越多,梯度越容易爆或消失(∂ot+1/∂at 随仿真步数 T、子步 N、粒子数 |ot+1| 急剧增长)。作者试了三种正则化 —— 裁剪、动态缩放、归一化 —— 再加上线搜索(自适应步长)。实测结论很明确:裁剪 + 线搜索 + 好初值 + HMD 损失是最稳的组合,而归一化和动态缩放都更差。
数据 / 数字 系统辨识这一步优化的是四个物理参数。用梯度裁剪 + 线搜索 + HMD 损失 + 人工初始化拿到的最优验证损失对应参数是:土 E = 182,683 kPa、ν = 0.242、ρ = 1,566 kg/m³、φ = 18.882°;沙 E = 121,378 kPa、ν = 0.198、ρ = 1,974 kg/m³、φ = 19.019°。消融结论有三条值得单列:①固定步长会发散(红/粉曲线),线搜索把方差压下来;②归一化和动态缩放都劣于单纯裁剪;③HMD 损失(高度图距离)略优于 EMD,因为 HMD 的梯度更平滑、更容易在接近局部极小的时候趋近于零。
这里还有一个容易被忽略的细节:损失函数的采样分辨率会改变损失面的崎岖程度。作者用 20 / 40 / 60 三档分辨率(对应 400 / 1,600 / 3,600 个点)分别画损失面,观察到 EMD 损失在 20 和 60 档更崎岖、40 档反而好些,而 HMD 在系统辨识任务里随分辨率升高变得更崎岖。分辨率影响不大但方向不一致,最终全部实验统一用 40×40(1,600 点 / 像素)。这个「先画损失面、再选分辨率」的诊断动作值得抄 —— 它比盲目调步长有效得多。
挖掘任务是6 个任务(土 3 个 + 沙 3 个),目标坑用铲子手工挖出来再由相机采点云作为目标。优化器是 RMSprop,技能参数步长 0.03、轨迹参数步长 0.004,各做 20 次梯度更新。
真实世界的数字是这篇最硬的:六个任务的平均差异是 —— 坑中心 0.60 / 0.59 cm、深度 0.25 cm、面积 10.8 cm²,论文结论里写成「位置和深度误差 < 6 mm」。而且是零样本迁移:优化出的技能直接部署到真实 UR5e 上,不做任何适配。具体到三个土任务:目标中心分别是 (6.79, −0.08)、(−6.23, 0.03)、(3.12, −0.97) cm,挖出来的是 (5.61, −0.52)、(−6.73, −0.65)、(3.27, −0.64) cm;深度目标 2.43 / 1.18 / 1.38 cm 对结果 1.69 / 1.48 / 1.76 cm。
基线对比给出的判断非常锋利。同样三个土任务、同样给演示先验:基于梯度的技能优化和 CMA-MAE 稳定优于直接轨迹优化和 SAC。SAC 训练了 200 个 episode(200 个数据点、19,000 次神经网络更新),损失确实收敛了,但所有任务都卡在局部极小,产出的是几乎一模一样的操作动作,任务没完成。算力上:梯度更新 20 次约 18 到 20 分钟,CMA-MAE 约 20 分钟,SAC 也约 20 分钟 —— 三者成本相当,梯度法拿到更好的解。有好的初值时,梯度法5 次迭代就能收敛,约 5 分钟。
还有一个小而重要的消融:技能展开第 1、4 阶段用不取整的时间步数(更完整的梯度链)会略好,但不一致(任务 1、2 略好,任务 3 略差)—— 作者的结论是「可能略有提升,但不总是」。
工程判断
- 什么时候抄:你要做的是「参数未知但物理规律已知」的接触型操作(挖土、铲料、刮平、抹灰),而且精度有物理代价。抄的动作有四步:①先做系统辨识再优化技能(把 E、ν、ρ、φ 当作待优化量,让仿真去对齐真实观测);②把解空间从轨迹缩到技能参数(这篇 5 维对上了 SAC 的 200 维,这是压倒性差距的来源);③梯度裁剪 + 线搜索 + 好初值三件套,尤其别省线搜索(固定步长会直接发散);④优先用 HMD 损失,它的梯度更平滑。
- 什么时候不抄:三个前提。第一个是你得有一个可微的颗粒仿真器 —— 这不是调参能绕开的,MLS-MPM + SVK + Drucker-Prager 的整套可微实现是这篇最大的工程量。第二个是「可微物理 + 梯度」在颗粒上的可行性是这篇的贡献、不是已知前提,你抄的时候得自己重新验证梯度稳定性(尤其是长时程和大粒子数)。第三个是零样本迁移的前提是仿真保真度已经做够了:这篇的成功建立在「辨识出的物理参数让仿真和真实足够接近」之上,如果你的材料超出 SVK/DP 的建模范围(各向异性、含水率、多相),这套参数根本没有对应量。
- 一句话启发:「颗粒操作的难点不是「找不到好动作」,是「不知道材料是什么」—— 所以别去搜 200 维轨迹,先把四个物理参数辨识出来,再在 5 维技能空间里用梯度走 20 步。」
二、GPWM:把整个世界表示成粒子运动,一套模型覆盖六种物理(Ren、Bronars、Zhu、Tang、Zhang、Zakharov、Tokmakov、Fragkiadaki,arXiv:2611.08338,cs.RO,2026-11-05 提交,美国卡内基梅隆大学 / 日本丰田研究院)
问题 视频世界模型生成的是画面,而画面里没有可以直接规划的几何。这篇要换一个表示:直接把 3D 场景表示成粒子和刚体的运动,在 3D 物理空间里生成。这样做的野心很大 —— 同一套表示和架构要同时覆盖刚体、变形体、布料和颗粒材料,既做被动物理也做机器人交互。
还有一个更根本的目标:生成式模型在长时程上会崩。真实物理场景要预测几十秒,而训练数据通常只有几秒。GPWM 提出的方案是把 flow matching 和 diffusion forcing 结合起来,让自回归生成能稳定跑远超训练时域。
关键 idea / 方法骨架 三块。
①表示。刚体用一个点集表示,并额外附加跟随记录位姿的、更密的点;颗粒和变形体直接用粒子。执行器(actuator)单独做条件化输入。
②多分辨率时空 Transformer。粒子被组织成四级层次结构:第一级是粒子本身,往上逐级下采样成 anchor,第二级每个对象的 anchor 数按类型分(变形体 256、刚体或连杆 128、布料 512),下采样时聚合每个 anchor 最近的 8 个 token,上采样时从最近 3 个 anchor 插值。从第三级起每个 block 还携带一份「一个对象」的 register token。特殊化模型 1.031 亿参数,统一模型 5.022 亿参数。
③规划方式 —— 这篇最值得抄的部分。常规的动作空间规划(action-space)有两个病:复杂的接触序列在无约束动作空间里根本搜不出来,而且优化器会利用模型的预测误差,挑出模型训练分布之外、看起来成功但实际执行会崩的动作。
GPWM 的做法是:既然模型是联合生成执行器轨迹和被动物体轨迹的,那它就学到了一个关于「执行器-物体交互」的生成式先验。于是规划不去搜动作,而是去搜模型自己的初始高斯噪声:LNO(Latent Noise Optimization)把终态物体构型上的可微奖励反向传播回初始噪声;Noise CEM 则在同一个隐空间里做交叉熵方法采样 —— 不求梯度也能用。
数据 / 数字 数据集 ParticleWorlds 共 25,463,677 帧(267,864 个可用训练 episode),覆盖六个域:Free Fall(2,317,112 帧)、Dragging(183,949)、Garment Folding(4,068,020)、Pushing(5,958,397)、Pick and Place(7,257,150)、Dexterous Hands(5,679,049)。
预测精度(误差单位毫米,↓):
Graph/grid-based(GNS 或 PGND):Free Fall 97.2 / Dragging 30.4 / Garment Folding 20.5 / Pushing 23.9 / Pick and Place 68.2 / Dexterous Hands 26.7;PointWorld:– / – / 10.6 / 28.7 / 39.8 / 27.4;PhysCtrl:53.0 / 7.8 / 10.7 / 24.5 / 34.1 / 24.8;GPWM(专用):40.0 / 6.5 / 10.0 / 13.3 / 12.6 / 18.7;GPWM(统一):41.5 / 6.1 / 10.8 / 18.0 / 11.1 / 22.6。
几个要点:六个域全部优于最强可用基线,平均误差降低 31%(区间 6%–67%);Free Fall 53.0 → 40.0,Dragging 7.8 → 6.1,Pushing 23.9 → 13.3。统一模型在六个里的五个上超过所有已有方法,并且在 Dragging 和 Pick and Place 上连自己的专用模型都打败了(6.1 vs 6.5、11.1 vs 12.6)—— 这两条是全文最反直觉的结果。剩下的四域专用模型仍然更准,作者诚实地称之为「专门化差距」。注意 Garment Folding 那一列用的是对称 Chamfer 距离,在 20 条测试轨迹的 898 个预测帧上平均,量纲和其他列不同,不能直接横比。
泛化实验在 Free Fall 上做(因为几何、物体数、材料性质可以独立变)。训练场景是 1–4 个物体,测试时引入未见过的几何并把场景复杂度提到 5–7 个物体、最多 7,168 个粒子:专用模型在未见形状下误差增加不到 7%,未见形状 + 更大场景只从 37.5 涨到 45.2 mm,而 PhysCtrl 从 48.5 涨到 120.9 mm。材料刚度上,训练见过 10 / 100 / 1,000 kPa,测试用范围内的未见值 30 / 300 kPa,专用模型误差只从 47.3 涨到 48.9 mm(不到 2 mm)。另外还做了一件很讨喜的事:用单张 RGB 图像重建物体(SAM 3 分割、SAM 3D 重建网格、MoGe-2 估计度量场景位姿),从重建网格上采样表面粒子,预测其动力学并渲染回场景。
规划实验有三个任务,全部开环执行:Pushing(杆子先绕到刚体块旁边再推,60 步)、Pile Manipulation(桨把颗粒堆推向目标,150 步,通常需要多次推)、Picking(建立稳定抓取并抬起物体,60 步,五个物体各五个目标)。规划预算最高 100 秒(Pushing)和 200 秒(Pile 和 Picking),单张 L40S GPU。
结果是全文最硬的一组:Pushing 上噪声空间规划拿到 0.48–0.57 的任务进度,动作空间规划卡在 0.01 或以下;Picking 上噪声空间 0.40–0.56,动作空间同样 ≤ 0.01。Pile Manipulation 是另一回事 —— 随机拍一下也能有进度,动作空间因此更有竞争力,但噪声空间仍以 0.21–0.23 优于最强动作空间基线的 0.19。
「预测的进度 → 实际执行的进度」这组数字尤其要抄下来,因为它量化了模型误差被规划利用的程度:LNO 在 Pushing 上 89% → 57%、Picking 上 89% → 56%、Pile 上 27% → 23%;Noise CEM 是 94% → 48%、21% → 21%、70% → 40%。而动作空间规划在每个任务上都预测有进度、实际几乎一个都拿不到:Action CEM(GPWM)是 23% → 0%、7% → 1%、78% → 0%;Action CEM(PointWorld)是 37% → 1%、29% → 19%、98% → 0%。最讽刺的是 PointWorld 在 Picking 上预测 98% 进度、执行后是 0%。
还有两个数字:可变形物体的连贯预测能超过训练预测窗口的 55 倍;以及 GPWM 的隐噪声优化需要穿透整个生成过程求导,长时程任务还要穿透多个流式窗口,计算成本随规划时域增长,目前限制了快速在线控制。
另外值得单独记一笔的是它的评测纪律:所有规划出来的动作都是开环执行的 —— 不是在真机上,也不是闭环跟踪,而是把生成的执行器位姿直接喂给底层仿真器(杆和桨用位姿控制,Franka 手用浮动基座加夹爪开合)。每帧还用 Kabsch 对齐把预测的粒子拟合成一个刚体位姿。这等于主动放弃闭环来检验「学到的交互先验本身够不够好」,而不是靠控制器把误差糊过去。
工程判断
- 什么时候抄:你在做接触丰富的操作任务(推、抓、抬),而动作空间搜索一直搜不出东西(这几乎所有接触任务都遇到过)。抄的动作:①让世界模型同时生成执行器和被动物体的轨迹,你就得到一个「可交互轨迹」的生成式先验;②规划时搜隐噪声而不是搜动作(LNO 求梯度,或 Noise CEM 不要梯度);③务必同时测「模型内预测进度 → 开环执行进度」这个落差 —— 这篇的 Table 7 就是现成的评测模板,能直接告诉你模型误差被利用了多少。
- 什么时候不抄:三个前提。第一个是它假定你已经有完整的、时序追踪的 3D 场景状态 —— 作者明说实验把物理预测和感知隔离开,不处理从原始视觉观测里恢复持续粒子和物体身份的问题,也明说要「直接从 RGB 或 RGB-D 视频学物理世界模型」是下一步。所以你要先自己解决重建和追踪。第二个是规划只在仿真里开环验证过,没有真机。第三个是成本:统一模型 5.022 亿参数、隐噪声优化要穿透完整生成过程随时域增长 —— 这套东西现在跑不了快速在线控制。
- 一句话启发:「动作空间搜不出接触序列,不是优化器不够好,是搜索空间里没有「怎么接触才算合理」这个先验 —— 让世界模型同时生成人和物的轨迹,然后去搜它的噪声,比搜动作靠谱得多(0.48-0.57 对 ≤0.01)。」
三、落地思考 / 我的判断
两篇表面上是对立的:一个是物理真值,一个是学出来的代理模型。但把它们并排放,结论比「谁更好」有意思得多。DDBot 手上有最准的模型(可微 MLS-MPM,四参数辨识精度到具体数值),却只用来优化一个任务的一种技能;GPWM 手上一套模型覆盖六个物理域、还能用来规划,却连真机都没上过。也就是说:物理真值带来的精度,被「只能做单任务」限制住了;学出来的模型带来的通用性,被「没有感知闭环和真机验证」限制住了。
它们共同点出的一件更重要的事,是「误差」有两个完全不同的位置,治法也不同。DDBot 的误差是优化过程里的数值误差 —— 梯度爆、梯度消失、损失面崎岖,治法是裁剪 + 线搜索 + 好初值 + 把解空间从 200 维缩到 5 维。GPWM 的误差是模型本身的预测误差,而它的治法非常反直觉:不去修模型,而是改变搜索空间,让优化器没法利用那些误差 —— 搜隐噪声而不是搜动作,于是动作永远落在模型学过的分布里。前者是「把优化器稳住」,后者是「让优化器没机会作弊」。
最值得先抄的是 DDBot 的「技能参数化」这一招,理由很硬。第一,它的收益是数量级的:5 维技能空间 vs SAC 的 200 维,同样约 20 分钟预算,梯度法拿到好解、SAC 全部卡在局部极小。第二,它是一个可以独立迁移的工程模式 —— 「不搜完整轨迹,搜任务语义参数」这件事在任何有明确技能结构的操作上都成立(铲、刮、插、拧)。第三,它的负面结果也可直接复用:SAC 在有高质量仿真器时仍然输给梯度法,这个结论能帮你在「要不要上 RL」这个问题上少走一段弯路。
GPWM 那边最值得抄的是「搜隐噪声而不是搜动作」这个范式,以及它附带的评测方法:把「模型内预测的进度」和「开环执行后的进度」并排报出来。PointWorld 在 Picking 上预测 98% 执行后 0% 这种数字,如果只看模型内指标是发现不了的。这个评测模板对任何「用世界模型做规划」的工作都适用。
两篇的盲区必须分开记,因为它们完全不同。DDBot 的盲区是建模范围和梯度稳定性:SVK + Drucker-Prager 能覆盖土和沙,但各向异性、含水率、多相材料不在射程内;而「一阶梯度在颗粒上能不能用」这件事,它是证明出来的、不是已知前提,你换个材料、换个仿真器都得重新验证一遍。GPWM 的盲区是感知和真机:它假定完整的时序追踪 3D 状态,作者自己把「从 RGB-D 视频直接学物理世界模型」列为下一步;规划全部在仿真里开环验证,落到真机上的差距是未知的。此外还有两个要说清的:统一模型在四域上仍输给专用模型(作者称之为专门化差距),以及隐噪声优化的成本随时域增长,现在跑不了在线控制。
我的判断是:这两篇合起来,把「物理模型还是学习模型」这个二选一,改成了「在闭环的哪一层放哪个模型」的三选一。现在最清楚的做法是分层:底层用可微物理做系统辨识和短时程精度控制(DDBot 的位置),中层用学出来的通用模型做长时程预测和候选生成(GPWM 的位置),顶层用隐噪声搜索做目标导向的规划(GPWM 的位置)。这个分层里,可微仿真器不再是「替代学习模型」,而是变成学习模型的数据源和标定工具 —— GPWM 那 2,546 万帧语料就是明证,它的六个域里有颗粒、有布料、有刚体,全是仿真生成的。
落到工程上,这两篇给出一条能立刻走的排查顺序。第一步,先问你的问题是「不知道材料是什么」还是「不知道动作怎么连起来」。前者是 DDBot 的地盘:花 20 分钟做一次系统辨识,把误差按物理参数分解掉,比任何学习方案都直接。后者是 GPWM 的地盘:你在动作空间里搜不出接触序列,试试把搜索搬到隐空间去。第二步,不管走哪条,都要先把解空间缩小 —— 这是两篇唯一完全一致的共识:DDBot 从 200 维轨迹缩到 5 维技能,GPWM 从无穷动作空间缩到模型的噪声空间。缩小解空间这件事,两篇用完全不同的技术做到了同一个效果,而且都带来了数量级的收益。第三步,按「误差在哪」选工具:数值误差用线搜索和裁剪,模型误差用「限制优化器能作弊的空间」。
于是下一层的问题摆在这里了:这两半怎么接起来?具体是三个:①可微仿真的参数辨识能不能反过来标定世界模型(DDBot 辨识出的 E、ν、ρ、φ 能不能作为条件喂给 GPWM 那种生成模型,让它不用自己在 2,546 万帧里猜物理);②隐噪声规划怎么落到真机(GPWM 生成的执行器轨迹在真机上跟得动吗,还是像 ETH 那篇的挖掘机一样,得先解决低层控制);③「代理模型 + 真机」这一格到底怎么填 —— 用生成模型规划出的动作,怎么在执行时补偿模型误差(这篇已经在仿真里量到了 89% → 57% 这种落差,落差必须在真机上闭环修正,而这正是这篇完全没碰的部分)。我认为第二个最难,因为它是纯工程量;第三个最有价值,因为它是那格空白。
| 论文 | 模型从哪来 | 方法骨架 | 关键数字 |
|---|---|---|---|
| DDBot: Differentiable Physics-based Digging Robot for Unknown Granular Materials arXiv:2510.17335 · IEEE T-RO 卷 42 页 152-169 | 物理真值 (MLS-MPM + SVK/Drucker-Prager,可微) | 可微颗粒仿真器 → 辨识 4 个物理参数(E/ν/ρ/φ) → 5 维技能参数化 + 可微 skill-to-action → 梯度裁剪 + 线搜索 + 任务导向演示先验 → RMSprop 优化 → 零样本上真机 | 辨识参数:土 E=182683 kPa/ν=0.242/ρ=1566/φ=18.882°,沙 E=121378 kPa/ν=0.198/ρ=1974/φ=19.019°;真机六任务平均误差 中心 0.60/0.59 cm、深度 0.25 cm、面积 10.8 cm²(位置与深度 <6 mm),零样本迁移到 UR5e;仿真 27440 粒子,观测 40×40 网格 1600 点;20 次梯度更新约 18-20 分钟,好初值时 5 次迭代约 5 分钟;基线:梯度技能优化与 CMA-MAE 优于直接轨迹优化与 SAC,SAC 训练 200 回合(19000 次更新)全部卡局部极小、动作几乎一样、任务未完成;消融:固定步长发散、归一化与动态缩放劣于单纯裁剪、HMD 损失略优于 EMD;技能空间 5 维 vs SAC 200 维 |
| GPWM: Modeling the World as 3D Particle Motion arXiv:2611.08338 | 数据学出来 (生成式粒子世界模型) | 粒子+刚体表示 → 四级多分辨率时空 Transformer(flow matching + diffusion forcing) → 联合生成执行器与物体轨迹形成交互先验 → 规划搜隐噪声(LNO / Noise CEM)而非搜动作 → 开环执行 | ParticleWorlds 25463677 帧、267864 个训练 episode,六域;预测误差(mm)六个域全胜最强基线、平均降 31%(6-67%):Free Fall 53.0→40.0、Dragging 7.8→6.1、Pushing 23.9→13.3;统一模型在 6 个域中 5 个超所有基线,且 Dragging 6.1 与 Pick&Place 11.1 连专用模型都打败;泛化:未见形状误差增 <7%,未见形状+5-7 物体(7168 粒子)37.5→45.2 mm(PhysCtrl 48.5→120.9),未见刚度 47.3→48.9 mm;规划:噪声空间 Pushing 0.48-0.57 / Picking 0.40-0.56 对动作空间 ≤0.01,Pile 0.21-0.23 对 0.19;预测→执行落差 LNO 89→57、27→23、89→56,PointWorld Picking 98→0;专用 103.1M / 统一 502.2M 参数;可变形预测超训练窗口 55 倍;只验证在仿真,假定完整时序追踪 3D 状态,隐噪声优化成本随时域增长 |
References
- Yang, Xintong, Wei, Minglun, Lai, Yu-Kun, Ji, Ze (2025). DDBot: Differentiable Physics-based Digging Robot for Unknown Granular Materials. arXiv:2510.17335. cs.RO; submitted 2025-10-20, v4 2026-01-06; 正式发表于 IEEE Transactions on Robotics, vol. 42, pp. 152-169, 2026(DOI 10.1109/TRO.2025.3636815); 英国卡迪夫大学工程学院。
- Ren, Robert, Bronars, Matthew, Zhu, He, Tang, Yikai, Zhang, Jianing, Zakharov, Sergey, Tokmakov, Pavel, Fragkiadaki, Katerina (2026). GPWM: Modeling the World as 3D Particle Motion. arXiv:2611.08338. cs.RO; submitted 2026-11-05; 39 页 27 图 7 表; 美国卡内基梅隆大学 / 日本丰田研究院; Ren 与 Bronars 共同一作(排序由掷硬币决定); 项目页: robertren1122.github.io/gpwm
下一篇预告:这两篇把「物理模型还是学习模型」这个二选一,改成了「在闭环的哪一层放哪个模型」的三选一 —— 底层用可微物理做系统辨识和短时程精度控制,中层用学出来的通用模型做长时程预测和候选生成,顶层用隐噪声搜索做目标导向规划。可微仿真器不再是「替代学习模型」,而是变成学习模型的数据源和标定工具。但两半怎么接起来还是空白:可微仿真辨识出的物理参数能不能反过来标定世界模型(省得让生成模型自己在 2,546 万帧里猜物理)、隐噪声规划出的轨迹在真机上跟不跟得动(这是纯工程量,也是最难的那个)、以及「代理模型 + 真机」这一格怎么填(生成模型规划出的动作如何在执行时补偿模型误差 —— 论文已经在仿真里量到 89% → 57% 这种落差,落差必须在真机上闭环修正,而这正是 GPWM 完全没碰的部分)。第三个最有价值,因为它是那格空白。