thinkism.ai

模型和规划器怎么接上:17.5 秒学出倒立摆、600K 步代替 10M 步、真机上奶泡会重新混开、只预测回报就够用 —— PILCO / DPI-Net / FluidLab / TD-MPC2 四代接口拆解

2026-11-13 · 概率动力学模型 / 在线系统辨识 / 可微仿真 / 隐式世界模型 · 机器人控制 · 强化学习 · 阅读时间 ≈ 21 分钟

上一篇(11-13 的每日速读)六篇各自为战,讲的是各种「谁来校准那把尺子」。今天这篇是一个专题:四个看起来毫不相干的链接,被我放到同一条线上看。

这四个链接是:MIT 一个粒子网络的项目页、一个可微流体引擎、ICML 2011 的一篇 PDF、一个世界模型 RL 算法的官网。表面上它们分属流体力学、机器人学、贝叶斯优化和强化学习四个圈子。但如果只看一件事 —— 模型和规划器之间的那个接口长什么样 —— 它们是同一道题的四个版本,而且刚好按时间排成了一条线。

这条线的名字是:真实世界以什么形态进入回路。2011 年的 PILCO 让它以「不确定度」进入 —— 规划器不问「下一步会到哪」,问「下一步会到的分布是什么」,然后在分布上做闭式期望。2019 年的 DPI-Net 让它以「未知参数」进入 —— 模型是从数据学出来的,所以参数一定是错的,于是必须在线辨识。2023 年的 FluidLab 让它以「接触与材料」进入 —— 要让梯度穿过软化的接触面和可微的本构关系。2024 年的 TD-MPC2 干脆让它不出现:模型只预测回报和终值,观测一点都不重建。

这条线最反直觉的地方在下面那张图里:真实世界一路往右退场,但落地代价并没有跟着下降。PILCO 只要几行矩阵运算(代价最低),FluidLab 要你自己写一个全可微的多材料仿真引擎(代价最高),TD-MPC2 表面看最轻松,实际却要 240 个 agent 的 replay buffer、545M 条 transition 和 128 GB 内存。「不描述世界」不等于「不付代价」—— 你只是把代价从数学挪到了资源。

高:自建引擎 / 攒数据 中:要仿真器 / 要真机 低:要几行数学 把它变成默认设置的代价 → 不确定度 未知参数 接触与材料 不出现 真实世界以什么形态进入回路 → 实际代价曲线 若代价一起下降(理想路径) PILCO17.5 s 真机 DPI-Net600K vs 10M 步 FluidLab10 万粒子 / 60 FPS TD-MPC25M 参数 / 104 任务
图 1 · 四代「模型 ↔ 规划器」接口的定位。横轴是真实世界进入回路的形态,从左到右一路变轻:不确定度 → 未知参数 → 接触与材料 → 干脆不出现。纵轴是把它变成默认设置要付出的代价。虚线是「如果代价跟着一起下降」的理想路径,实线是实际路径 —— 世界退场了,代价没有跟着退。

一、PILCO:把「不确定度」直接放进规划闭环(Deisenroth、Rasmussen,ICML 2011,University of Washington & University of Cambridge)

问题 大多数强化学习方法的数据效率低到没法用在真实物理系统上 —— 机器人摔一次就坏一次,一次实验的成本可能是几十个小时。PILCO 要解决的是:怎么让一个真实物理系统在几乎没有交互的情况下学会控制。论文的答案不是「把 RL 调好」,而是换掉模型的形式:用概率模型代替确定性模型,让模型自带「我有多不确定」这个信息,并且把这份不确定性直接带进规划。

关键 idea / 方法骨架 这篇的方法骨架是四件事叠在一起,缺一件整套就不成立。

第一件是概率动力学模型。模型用 RBF 网络加一个线性残差项,参数写成 θ = {wi, Λ, μi}。选 RBF 而不是更贵的核,是因为 RBF 网络的贝叶斯后验有解析形式 —— 线性部分的后验是闭式高斯,RBF 权重的后验则近似成拉普拉斯。这直接决定了后面三件事能不能闭式做。模型输出均值和方差,方差就是不确定度。

第二件是不确定度进规划。传统 MPC 优化的是「一条候选轨迹的代价」,PILCO 优化的是「候选轨迹分布上的期望代价」。做法是采样一批候选动作序列,把每条 rollout 一遍,对每条轨迹按其自身的不确定性加权。这个加权是关键:一条模型很确定的好轨迹,会压过一堆模型很不确定的轨迹。

第三件是闭式策略评估。给定模型和一个初始状态分布,PILCO 能在有限步内解析地算出期望代价 —— 代价函数写成状态的二次型,期望就有一个解析解。这是整篇最漂亮的一步,因为它是把「不确定度」和「代价」真正焊在一起的地方:分布的均值和协方差一起进那个解析解。

第四件是解析策略梯度。代价对模型参数的导数也能闭式算出来,于是模型参数可以直接用梯度上升优化。整个循环是:采样候选 → 闭式算期望代价 → 闭式算梯度 → 更新模型 → 在最优动作序列上执行并采集数据。整套流程里没有一个采样式的策略评估,这是它数据效率的根源。

数据 / 数字 三个任务,Table 1 把数据效率说得很清楚。

cart-pole 是真机:cart 质量 0.7 kg,pendulum 质量 0.325 kg,模型用 n = 50 个平方指数基函数,参数空间 θ ∈ R305。论文的原话是「a handful of trials and a total experience of 17.5 s」—— 全部真实物理交互加起来 17.5 秒,就学会了 swing-up 加平衡。Table 1 里这一行是:状态空间 R4、试验次数 ≤ 10 次、交互时间 ≈ 20 s、参数空间 R305。

cart-double-pole(论文里的 cart-double pendulum,cart 质量 0.5 kg)用 n = 200 个基函数、θ ∈ R1816,需要 20–30 次试验、约 60 s–90 s。unicycle 最狠:状态空间 R12、参数空间 R28、试验 ≈ 20 次、交互 ≈ 20 s–30 s。

unicycle 是全篇最能说明「模型式方法能走多远」的实验。装置 0.76 m 高,1 kg 车轮、23.5 kg 车架、10 kg 飞轮,动力学是 12 个耦合一阶 ODE;两个可施加力矩 —— 车轮 |uw| ≤ 10 Nm(模拟人踩踏板),飞轮 |ut| ≤ 50 Nm(控制倾角)。学出来的控制器是线性的 θ = {A, b} ∈ R28,初始状态协方差取 Σ0 = 0.252I,也就是每个角度允许偏离约 30°。结果是:1000 次测试里成功率约 93%,瞬态持续约 1 秒,1.2 秒之后要么摔倒、要么被扶得极稳。

论文也诚实写了这条硬边界:「bringing the unicycle upright from extreme initial configurations was sometimes impossible due to the torque constraints」 —— 从极端初始姿态救不回来,是力矩上限决定的,不是算法不行。同样值得记住的是论文对「学一个控制器」这件事的坚持:所有控制维度联合学一个,而不是每个控制量各学一个,因为后者往往不work(引 Naveh et al. 1999)。

工程判断
- 什么时候抄:你在真机上做控制,而且真机交互极贵(会坏、耗电、有人在场、每次复位麻烦)。抄的动作有三步:①把确定性模型换成概率模型,让不确定度成为一等公民(这一步是全部的前提,只做①不做②等于白改);②规划时优化的是「分布上的期望代价」而不是单条轨迹的代价;③先在仿真里用同一套代码验证 —— 论文里 cart-double-pole 就是先在仿真里做的,这一步几乎不花成本就能滤掉绝大多数实现 bug。

- 什么时候不抄:三个前提。第一个是你必须能写出(近似)可微的动力学模型:PILCO 的全部数学都建立在「模型能解析求导」上,如果你的模型只能数值 rollout,闭式策略评估和解析梯度就全废了,你会退化成一个更贵的采样优化器。第二个是代价函数必须能写成解析的二次型,因为闭式策略评估解的是一个解析的 Riccati 型方程,代价写不出来就退化了。第三个是维度会炸:cart-double-pole 的参数空间已经是 R1816,你的系统状态维度再高,GP 拟合和闭式更新都会顶不住 —— 这条路的天花板是低维系统。
- 一句话启发:「真机上最贵的不是算力,是交互次数 —— 所以先让模型把『我有多不确定』说出来,再拿这份不确定去减少交互。」

二、DPI-Net:把「未知参数」放进回路(Li、Wu、Tenenbaum、Torralba、Tedrake,ICLR 2019,arXiv:1810.01566,MIT CSAIL)

问题 机器人要操作的对象里混着会变形的介质 —— 泡沫、米饭、液体 —— 这些东西的动力学方程没人知道,连参数都说不清。已有的两条路都不够用:依赖高保真仿真器,慢、难生成训练数据;用强化学习从头学,数据效率极低。这篇要解决的是:能不能学一个足够好、又能泛化到没见过场景的粒子动力学模型,并且让它能被规划器直接使用。

关键 idea / 方法骨架 这篇的名字叫 dynamic particle interaction networks,动的地方有三处。

第一处是「动态」建图。所有东西 —— 包括刚体和流体 —— 都被表示成粒子,系统状态是粒子的位置与速度。网络在粒子之间传递消息,但图的拓扑结构不是固定的:每次前向传播都根据当前状态重新决定谁和谁连边、连边强度多大。这一点是和 Interaction Networks(完全图)最本质的区别 —— 完全图意味着每对粒子都要算一次交互。

第二处是层次化建模长程依赖。信息不只在相邻粒子之间传,还要有更高层的聚合,让远处的粒子能互相影响。这一层是专门为了「流体的形状怎么在远端传播」设计的。

第三处是规划与辨识的合流。模型输出的加速度被接进经典的 shooting 轨迹优化里 —— 一串动作序列一起优化,而不是一步步贪心。但更关键的是在线系统辨识:每次执行完,比较「模型预测的状态」和「实际观测到的状态」,把两者的距离当作损失,用 SGD 最小化 —— 这一步就是在改模型的参数,让它适应当前这个真实物体。

数据 / 数字 四个环境:FluidFall、BoxBath、FluidShake、RiceGrip。指标分两套:仿真里看 rollout MSE,控制效果看 Chamfer 距离。

消融是这篇最有信息量的部分,三条都值得记住。完全图的 Interaction Networks 在另外三个环境直接跑爆 12 GB 内存 —— 这不是精度问题,是架构选择问题,完全图意味着 O(N²) 的交互。也正因为它跑不动,论文说它在 FluidFall 之外「does not perform well」,还额外批评它忽略影响传播和长程依赖。去掉动态图,BoxBath 和 FluidShake 直接崩;去掉层次化模块,BoxBath 和 RiceGrip 掉下来。也就是说动态图和层次结构这两件东西,分别在不同环境上承担了关键作用。

数据效率那组对比是全篇最硬的两个数字。FluidShake 上,RL 需要 超过 10M 时间步才收敛,而模型法只要 600k 时间步。RiceGrip 上更夸张 —— 那个任务专门考「米饭硬度未知、需要在线辨识」,模型法 150K,RL 是 10M,差了两个数量级。

真机部分是 Kuka 机械臂 + 深度相机,用 TSDF 体素融合重建物体几何;填充粒子 Nfill = 768;优化器是 RMSprop、20 次迭代、学习率 0.003;MPC 的规划步长 N = 5。

必须照实说的边界只有一句,但它是全篇最重要的一句:「The learned policy in RiceGrip does not generalize to the real world due to domain discrepancy, and outputs invalid gripping configurations.」 —— 学到的策略因为域差异不能泛化到真机,会输出无效的抓取配置。那真机是怎么做成的?靠的是学到的模型 + 在线自适应,不是策略本身。

工程判断
- 什么时候抄:你在操作的对象是可变形的、且没有可靠物理模型(泡沫、米饭、软包装、液体、糊状物),同时你有一个能生成物理数据的仿真器。抄的动作有四步:①把物体和刚体统一表示成粒子(刚体给速度作为控制输入,材料给零向量 —— 材料不能直接控制,只能通过交互被影响);②图必须动态生成,不能用完全图;③规划用 shooting 优化器直接吃模型;④最关键的一步:把在线系统辨识接进优化回路 —— 目标函数里直接加一项「预测态与实际态的距离」,让优化器自己把参数调对。这一步是它 150K 对 10M 的来源。

- 什么时候不抄:四个前提。①没有仿真器就训不出模型,这篇的模型完全靠仿真数据训出来。②完全图会直接把你的内存打爆 —— 12 GB 都撑不住,这是架构层面的选择,调参救不了。③真机部署要单独准备:Kuka + 深度相机 + TSDF 重建是一整套东西,不是把 checkpoint 拿下来就能跑。④最重要的一条:不要指望策略泛化 —— 论文自己说了 learned policy 在真机上会输出无效抓取配置;真机成功靠模型加在线自适应,不靠策略。
- 一句话启发:「学出来的策略不会自己跨过 sim-to-real 的沟,但你学出来的『模型 + 在线辨识』可以 —— 这篇真机成功的部分,全是模型在干活。」

三、FluidLab:把「接触与材料」放进回路(Xian、Zhu、Xu、Tung、Torralba、Fragkiadaki、Gan,ICLR 2023 Spotlight,arXiv:2303.02346)

问题 流体操作的算法评测一直靠 PyBullet 这类不可微的物理引擎,于是大家只能比 RL、或者比一些采样优化器,却没法回答一个更要紧的问题:「用可微物理直接优化动作」到底行不行?之所以没人能回答,是因为没有能算梯度的引擎。这篇要解决的就是造引擎这件事:一个全可微的、多材料的仿真环境,把流体操作变成可以梯度下降的问题。

关键 idea / 方法骨架 FluidEngine 本身是底子:固体与液体走 MLS-MPM,气体走 advection-projection,本构关系用 corotated model 配 Box yield criterion(可塑性的屈服面),Python + Taichi 实现。但真正的贡献是三个优化技术,而且它们跟流体本身无关。

第一个是软接触模型(Soft Contact Model)。粒子流体与 SDF 刚体的接触发生在网格操作里,传统 MPM 过程会在接触点产生剧烈的状态跳变 —— 梯度直接断掉。做法是按穿透深度软化接触后的速度:vnew = α·vc + (1−α)·vorig,其中 α = min{exp(−d), 1},d 是穿透深度。穿得越深,混合比例越小、梯度越连续。这是一行公式,但它把「接触」从一个不可导的点变成了一个可以传梯度的函数。

第二个是时间上逐步扩张的优化区域。一上来就优化完整的时间窗,目标很难、梯度很乱。FluidLab 改成先在一个受限的短时间窗里热启动,稳定了再把窗口往后扩。论文原话是这「greatly helps stabilize the optimization process using differentiable physics and produces better empirical results」。

第三个是流体内部的梯度共享(Gradient Sharing within Fluid Bodies)。问题是:损失只定义在少数几个关键粒子上(比如倒水时地面上的那摊水),梯度到不了其他粒子。解法是让粒子互相分享梯度:∂L/∂qi = Σj w(Lj, dij)·∂L/∂qj,其中 w 同时看邻居距离和对方上一轮的损失 —— 上一轮损失低的粒子权重更高。但真做这个需要对每个时间步的全部粒子做最近邻搜索,代价太高。于是 FluidLab 用一个 attraction loss 做近似:上一轮损失低的粒子会吸引周围粒子,Latt = Σi Σj w(Lj, dij)·‖pi − pj‖。

数据 / 数字 引擎规格先记一下:每个任务约 100,000 个粒子,在 Nvidia RTX 3090 + Intel i7-8700K 上60 FPS 实时(每帧一个仿真步),典型 GPU 占用低于 50%。仿真步长 2e-3 s,每步含 10 个 1e-4 s 的子步以保证稳定性。

任务是 10 个:Latte Art (Pouring / Stirring)、Ice Cream (Static / Dynamic)、Transporting、Mixing、Pouring、Gathering (Easy / Hard)、Air Circulation。Table 2 的最终累积奖励里,值得单独拎出来的几组:

Latte Art (Pouring):DP 999.3 ± 0.7,DP-H 998.7 ± 0.5,PODS 872.3 ± 17.6,CMA-ES 279.9 ± 124.1,PPO −1078.3 ± 187.4,SAC −1417.6 ± 37.4。Ice Cream (Static):DP 474.6 ± 21.4,DP-H 295.1 ± 14.2,PODS 251.7 ± 43.1,SAC −1450.7 ± 14.2。Ice Cream (Dynamic):DP 1469.4 ± 28.8,DP-H −162.9 ± 30.5,PODS −203.6 ± 78.1,PPO −424.0 ± 110.5,SAC −509.6 ± 30.9。Gathering (Hard):DP 946.8 ± 5.1,CMA-ES 687.2 ± 80.1,DP-H 566.9 ± 30.4,SAC 477.2 ± 9.7,PPO −138.9 ± 67.3。Mixing:DP 7648.4 ± 47.0,DP-H 5974.0 ± 198.8,PODS 4742.3 ± 187.6。

两组统计口径要分清。和 DP-H 比:DP 在 10 列里 9 列不低于 DP-H,只有 Air Circulation 上 DP-H 以 5046.3 ± 23.7 微胜 DP 的 5043.3 ± 21.2(差距在标准差之内)。和 PODS 比:DP 同样在 10 列里 9 列领先,唯一的例外是 Transporting —— PODS 2120.2 ± 296.1 高于 DP 的 1471.1 ± 127.7。另外注意 SAC 和 PPO 在 Latte Art 和 Ice Cream 上是负奖励:负数意味着它们根本没学出策略,不是「学得差」。

sim-to-real 部分用 7 自由度 Franka Emika 加平行夹爪,做了 4 个任务(Stirring / Ice Cream Dynamic / Gathering / Mixing),控制量是速度。作者自己写的差距有三条:真机上的奶泡更粘,而且拉花笔经过之后会重新混开;冰淇淋的流速很难保持;air circulation 没有做真机。

工程判断
- 什么时候抄:你在做的是接触主导的任务(流体、软体、混合、pouring),而且你想要一个能梯度下降的优化器。抄的动作三条:①接触处做软化(α = min{exp(−d), 1})—— 只要你的任务里有硬接触而你又想拿梯度,这一步基本是必须的,而它的代价只有一行;②优化区域按时间逐步扩张,别一上来就优化全程;③用 attraction loss 近似梯度共享,省掉每步的全粒子最近邻搜索。这三条跟流体本身没关系,任何基于模型的轨迹优化都能直接搬。

- 什么时候不抄:四个前提。①你得先有一个可微引擎 —— 这是全篇最大的门槛,FluidEngine 本身就是一大套 Taichi 代码,而且气体和可塑本构都要自己写对。②软化接触是有偏的:它拿「穿透多深」换「梯度怎么传」,硬接触的物理你保不住 —— 接触力的大小、摩擦的行为都会失真。③真机差距要照实看:奶泡更粘、拉花笔经过后重新混开、冰淇淋流速难保持 —— 仿真里的最优轨迹搬到真机不是最优。④air circulation 论文自己没做真机,别把仿真分数当真机分数。
- 一句话启发:「接触处不要硬碰硬,让它软一点,梯度就过去了 —— 但软化是在撒谎,仿真里的最优搬到真机就不是最优。」

四、TD-MPC2:把「世界本身」踢出回路(Hansen、Su、Wang,ICLR 2024 Spotlight,arXiv:2310.16828,UC San Diego)

问题 模型式 RL 有两个老毛病:超参对任务极度敏感(一套超参只在几个任务上好用,换个域就得重调),以及很多方法要求世界模型能重建观测 —— 对连续控制来说既贵又没用,你并不关心像素长什么样,只关心这一串动作值多少钱。这篇要解决的是:做一个单套超参就能用、而且能规模化训练的隐式世界模型。

关键 idea / 方法骨架 隐式(decoder-free)世界模型有五件套,缺一件就退化成普通的 model-based RL。

Encoder z = h(s, e);潜在动力学 z' = d(z, a, e);奖励预测 r̂ = R(z, a, e);终值预测 q̂ = Q(z, a, e);策略先验 â = p(z, e)。这条线是 JEPA 式的 —— 预测未来,不重建现在。注意第三件和第四件:模型不告诉你「世界长什么样」,只告诉你「接下来值多少钱」和「到终点了还剩多少」。

规划用 MPPI:维护一个时变多元高斯分布,采样动作序列 (at, at+1, …, at+H),用模型 rollout 出潜轨迹,按回报更新高斯。policy prior 在这里不是摆设 —— 它用来给搜索预热,并且贡献一部分动作序列,等于把「学到的先验」和「在线搜索」缝在一起。

架构上四个选择是这篇的真正内容。全 MLP,中间线性层之后接 LayerNorm + Mish。潜变量用 SimNorm 归一化 —— 把 z 投影到 L 个固定维度的单纯形上,gi = ezi:V/τ / Σj ezj:V/τ,这样表示天然偏向稀疏、保持小 ℓ2 范数,目的是压制梯度爆炸。Q 函数集成 5 个,每个 Q 的第一层线性之后加 1% Dropout;TD 目标取随机子采 2 个 Q̄ 的最小值来压偏差。

模型目标也改了:奖励和价值都在 log 变换空间里做离散回归(多类分类),用 rt、qt 作为 soft target 最小化交叉熵。理由很直接 —— 不同任务的奖励量级差异巨大,直接回归 MSE 会被量级绑架。policy prior 则用最大熵 RL 训练,超参是任务无关的。

数据 / 数字 104 个在线 RL 任务、4 个域(DMControl、Meta-World、ManiSkill2、MyoSuite),单套超参,胜过 SAC、DreamerV3 和 TD-MPC。

规模化那组数字更硬:317M 参数的单 agent 跑 80 个任务(50 个 Meta-World + 30 个 DMControl,那 30 个 DMControl 里包含 19 个原始任务和 11 个新增任务),从 1M 到 317M 性能一致提升。这里有个必须记的对照实验:单纯放大 TD-MPC 的规模并不会带来一致提升,甚至出现净下降;放大 TD-MPC2 才会一路涨。这说明 TD-MPC2 的改进不是「顺手加了些东西」,而是补上了让规模生效的前提。

架构差异带来的代价也要照实写:1M → 5M 参数(净增 4M)。具体是 TD-MPC 没有 LayerNorm、用 ELU、潜变量完全不受约束(某些情况下直接梯度爆炸)、只学 2 个 Q、不用 Dropout。

工程侧的数:规划吞吐约 2×(靠 Q 集成向量化等代码级优化);开源 300+ 个 checkpoint(含 12 个多任务模型,尺寸有 1 / 5 / 19 / 48 / 317M)和两个数据集 —— 545M transitions(80 任务,来自 240 个单任务 agent 的 replay buffer)和 345M transitions(30 任务 DMControl 子集)。硬件门槛:单任务在线 RL 至少 12 GB 内存,在 80 任务数据集上做多任务离线 RL 要 128 GB 内存,训练 317M 模型要 ≥24 GB 显存,评估多任务模型要 ≥8 GB 显存。低数据区间也有好消息:微调比从零学好 2×(20k 环境步)。

论文自己的 Lessons 更值得抄:社区到现在还没有哪个算法能开箱即用地精通一切;DreamerV3 在离散动作空间(Atari、Minecraft)上更强,而 TD-MPC2 在难连续控制任务上显著更好;扩展到离散动作空间仍然是开放问题。

工程判断
- 什么时候抄:你的任务全是连续控制、任务不止一个、奖励量级差异大,你想用一套超参跑通。抄的动作:①潜变量用 SimNorm 归一化,别让 z 裸奔;②Q 集成 5 个 + 首层 1% Dropout + 目标取随机子采 2 个 Q̄ 的最小值;③奖励和价值改用 log 空间的离散回归 + soft 交叉熵,别用 MSE —— 这一条对「一套超参跨任务复用」的帮助最大,因为量级问题正是量级问题。

- 什么时候不抄:四个前提。①数据门槛:545M transitions、128 GB 内存、24 GB 显存,这是大厂配置,个人项目先别想。②它是模型式 RL,规划和训练都比无模型方法慢,交互预算紧张时不划算。③离散动作空间直接出局 —— 论文自陈这是开放问题,别指望它去卷 Atari。④别把 104 个任务的广度当成你分布外任务的能力:4 个域、12 种具身是 TD-MPC2 团队定义的世界,你的任务不在里面。
- 一句话启发:「把『世界长什么样』从目标里删掉,只留『值多少钱』—— 模型就能涨到 3 亿参数还不炸;但你付的是数据和算力,不是数学。」

五、落地思考 / 我的判断

把这四篇并排放,浮上来的是一条清晰的轴:模型和规划器之间那个接口,才是这十几年真正的战场。PILCO 的接口是「概率模型的闭式期望」,DPI-Net 的接口是「可微粒子动力学 + 在线辨识」,FluidLab 的接口是「软化后的接触 + 可微本构」,TD-MPC2 的接口是「潜变量 + 回报 + 终值」。四篇里有三篇的标题里根本没出现「世界模型」或「强化学习」这几个字,但它们做的都是同一件事:决定真实世界以什么形态进入计算回路。

更有意思的是代价。PILCO 不用数据不用 GPU,FluidLab 要你自己写引擎,TD-MPC2 不用写引擎但要 240 个 agent 的 replay buffer 和 128 GB 内存。成本没有消失,只是从一个口袋挪到了另一个口袋;而挪的方向很值得注意:越往右,代价越从「数学」转移到「资源和规模」。PILCO 的门槛是你能不能解析求导,FluidLab 的门槛是你能不能写出正确的接触与本构,TD-MPC2 的门槛是你有没有 545M 条 transition。数学门槛是一次性的,资源门槛是永久的 —— 这就是图 1 那条虚线和实线之间唯一的差别。

最值得先抄的是 FluidLab 的三个优化技术,理由跟流体本身无关。第一是软接触模型(vnew = α·vc + (1−α)·vorig,α = min{exp(−d), 1})—— 只要你的任务里有硬接触而你又想拿梯度,这一步基本是必须的,而它的代价只有一行公式。第二是时间上逐步扩张的优化区域 —— 一上来就优化完整轨迹时梯度很乱,先在短窗口热启动再往后扩,这个技巧在任何一个基于模型的轨迹优化里都能直接用。第三是用 attraction loss 近似梯度共享 —— 它拿一个工程近似换掉了每个时间步的全粒子最近邻搜索,「拿近似换算力」的思路同样通用。这三条加起来,把「模型式轨迹优化」从「能写但不稳」推到了「能跑」。

最该警惕的是 DPI-Net 和 FluidLab 合起来暴露的那件事:可微 ≠ 准确,而且这两篇的差距都出在真机上。DPI-Net 说得很直白 —— 学到的策略因为 domain discrepancy 不能泛化到真机,会输出无效抓取配置;真机成功靠的是模型加在线自适应。FluidLab 也说奶泡更粘、拉花笔经过后重新混开、冰淇淋流速难保持。这两条放在一起是一句警告:在仿真里把梯度优化做到极致,并不等于你在真机上离最优更近了 —— 它只保证你在「你写的那套物理」里离最优更近。你写的物理对不对,是另一个问题。

顺带接一下站内已经发过的两条线。11-13 那篇每日速读里的 Dithered WM(世界模型的随机性与误差累积)和 Q4 的散粒 scattering 专题,其实讲的是同一条线的反面 —— 当模型误差被刻意保留下来时,规划器会不会转去利用它。TD-MPC2 的答案很干脆:它连观测都不重建,所以根本没有「模型误差 vs 真实误差」可利用;但代价是你失去了对物理过程的可解释性。而散粒材料那篇的结论「表示的抽象层级直接决定系统能不能落到现场」在这四篇上同样成立:PILCO 用分布、DPI-Net 用粒子、FluidLab 用状态场、TD-MPC2 什么也不用 —— 四种抽象层级,四种代价账单。

我的判断是:这四篇真正的贡献,是把「模型要不要描述世界」这个问题,变成了「模型怎么接上规划器」这个问题。以前这条线默认「模型越准越好」,所以大家去卷仿真精度、卷传感器、卷接触力学。这四篇一起说明:模型的精度和模型对规划器的有用性,是两件事。TD-MPC2 是极端的例子 —— 它什么都不重建,却比重建得更准的模型更好用。所以选接口的时候,正确的问题不是「我能建多准的模型」,而是「规划器到底需要模型的哪一部分」:需要分布就用 PILCO 那套,需要参数就用 DPI-Net 那套,需要接触就老老实实写引擎(FluidLab),如果只需要「值多少钱」那就什么都别重建(TD-MPC2)。

落到工程上,这四篇给了一条不需要先建模型的排查顺序。第一步,问自己「规划器需要模型输出什么」:如果只需要奖励和终值,先试 TD-MPC2 那种不重建的潜空间模型 —— 它最省算力、也最容易扩规模。第二步,如果规划确实需要「哪几个方向更不确定」,就补上不确定度(PILCO 那套),哪怕用简化的 bootstrap 估计也行,这一步通常比想象中便宜。第三步,如果目标行为偏差来自「未知参数」,就把在线辨识接进优化回路(DPI-Net 那套),让优化器自己把参数调对。第四步,最后才轮到「接触与材料」 —— 因为这一步的账最贵:要么你写一个可微引擎,要么你接受「可微 ≠ 准确」并在真机上做在线适配。顺序反了,你会先花半年写引擎,然后发现真正的问题只是接口没对齐。

于是下一层的问题摆在这里了:当真实世界彻底退场(TD-MPC2),我们到底失去了什么?论文没有正面回答 —— 它只证明了「不重建也能很好用」,却没用解释为什么不需要。这件事对工程的影响很直接:一旦模型不描述世界,你就再也没法用它诊断「为什么这次会摔」,而这恰恰是所有难部署系统最后卡住的地方。FluidLab 那边也留着同样的问题:它有引擎、有物理、有可解释的中间量,恰恰是这类系统最需要的,但它在 10 个任务里没一个做成通用方案。我猜下一代接口会长成两段式的 —— 上半段用 TD-MPC2 那种「只算回报」的潜空间模型做规划,下半段保留一个能解释、能诊断的低保真物理层;但这个猜测目前没有任何论文支持,所以只当一个问题记着。

工作 真实世界进入回路的形态 方法骨架 关键数字
PILCO
ICML 2011
不确定度
(模型输出分布,闭式期望)
概率动力学模型(RBF + 线性残差,后验解析)→ 在候选动作序列的分布上优化期望代价 → 闭式策略评估 + 解析策略梯度 → 执行并采集cart-pole 真机「a handful of trials,总交互 17.5 s」;Table 1:cart-pole R⁴/≤10 次/≈20 s/R³⁰⁵、cart-double-pole R⁶/20-30 次/≈60-90 s/R¹⁸¹⁶、unicycle R¹²/≈20 次/≈20-30 s/R²⁸;unicycle 0.76 m、1 kg 轮、23.5 kg 车架、10 kg 飞轮、12 个耦合一阶 ODE、|u_w|≤10 Nm、|u_t|≤50 Nm;1000 次测试成功率约 93%,瞬态约 1 s、1.2 s 后要么摔要么稳;极端初始姿态因力矩上限救不回来;所有控制维度联合学一个控制器
DPI-Net
ICLR 2019 · arXiv:1810.01566
未知参数
(在线系统辨识)
动态建图 + 层次化建模长程依赖 → 预测粒子加速度 → shooting 轨迹优化 → 用「预测态 vs 实际态」距离做 SGD 在线辨识参数完全图 IN 在另外 3 个环境跑爆 12 GB 内存;去掉动态图 BoxBath/FluidShake 崩、去掉层次 BoxBath/RiceGrip 掉;FluidShake 模型法 600k 步 对 RL >10M 步;RiceGrip 在线辨识 150K 对 10M;真机 Kuka + 深度相机 + TSDF、N_fill=768、RMSprop 20 迭代 lr 0.003、MPC N=5;learned policy 因 domain discrepancy 不泛化到真机、输出无效抓取配置,真机靠模型 + 在线自适应
FluidLab
ICLR 2023 Spotlight · arXiv:2303.02346
接触与材料
(全可微引擎 + 软化接触)
FluidEngine(MLS-MPM 固体/液体 + advection-projection 气体、corotated + Box yield criterion、Taichi)→ 软接触模型 → 时间上逐步扩张的优化区域 → attraction loss 近似梯度共享10 个任务;每任务约 10 万粒子、RTX 3090 + i7-8700K 上 60 FPS、典型 GPU 占用 <50%;步长 2e-3 s、10 个 1e-4 s 子步;DP 在 10 列中 9 列胜过 DP-H,仅 Air Circulation 上 DP-H 5046.3±23.7 微胜 DP 5043.3±21.2;与 PODS 比同样 9/10 领先,唯一例外 Transporting(PODS 2120.2±296.1 对 DP 1471.1±127.7);Ice Cream(Dyn.) DP 1469.4±28.8 对 PODS −203.6、PPO −424.0、SAC −509.6;Latte Art(Pour.) DP 999.3 对 SAC −1417.6、Ice Cream(Sta.) DP 474.6 对 SAC −1450.7;Gathering(Hard) DP 946.8 对 CMA-ES 687.2、SAC 477.2、PPO −138.9;Mixing DP 7648.4 对 DP-H 5974.0;真机 Franka Emika 7-DoF + 平行夹爪 4 任务,奶泡更粘且拉花后重新混开、冰淇淋流速难保持、air circulation 未做真机
TD-MPC2
ICLR 2024 Spotlight · arXiv:2310.16828
不出现
(只预测回报与终值,不重建观测)
Encoder z=h(s,e) / 潜动力学 / 奖励 / 终值 / 策略先验 五件套 → MPPI 规划(时变高斯,policy prior 预热并贡献动作序列)→ log 空间离散回归 + soft 交叉熵104 个在线 RL 任务 / 4 个域,单套超参,胜 SAC、DreamerV3、TD-MPC;317M 参数单 agent 跑 80 任务(50 Meta-World + 30 DMControl);1M→317M 一致提升,而单纯放大 TD-MPC 反而净下降;架构 1M→5M(+4M):TD-MPC 无 LayerNorm、用 ELU、潜变量不受约束会梯度爆炸、只 2 个 Q、无 Dropout;SimNorm 归一化潜变量、Q 集成 5 个、首层 1% Dropout、TD 目标取随机子采 2 个最小值;规划吞吐约 2×;开源 300+ checkpoint(12 个多任务模型,1/5/19/48/317M)+ 数据集 545M transitions(240 个单任务 agent replay buffer)与 345M transitions(30 任务);硬件 12 GB 内存(单任务在线 RL)、128 GB 内存(80 任务离线 RL)、24 GB 显存(训 317M)、8 GB 显存(评估);微调比从零学好 2×(20k 步);离散动作空间仍是开放问题

References

下一篇预告:这四篇把「模型要不要描述世界」换成了「模型怎么接上规划器」。但真正的问题还悬着 —— 当真实世界彻底退场(TD-MPC2 连观测都不重建),我们到底失去了什么?论文只证明了「不重建也能很好用」,却没用解释为什么不需要;而这对工程的影响很直接:模型不描述世界,你就再也没法用它诊断「为什么这次会摔」。FluidLab 那边留着同样的问题:它有引擎、有物理、有可解释的中间量,恰恰是这类系统最需要的,但 10 个任务里没一个做成通用方案。