thinkism.ai

把 MPM 的四步换成一张 U-Net:NeuralMPM 训练 15 小时、推理快 5-10 倍 —— 论文与代码逐层拆解

2026-11-15 · AI / 物理仿真 / 学出来的模拟器 · 欧拉-拉格朗日混合 · 体素化 · 时间打包 · 自回归训练 · 阅读时间 ≈ 25 分钟

上一篇(11-07)把 DDBot 和 GPWM 摆在一起问了一句:分布级的抽象到底什么时候不够用?那篇的答案是「当你要的是连续量而不是统计量的时候」。今天这篇正好落在中间那一层,而且是被低估得最厉害的一层 —— 它既没有用物理真值(不像 DDBot 那样把 MLS-MPM 做成可微的),也没有端到端地学点云(不像 GPWM 那样拿 2,546 万帧训一个纯粒子世界模型),它做的是一件更像「工程常识」的事:保留 MPM 的骨架,只把中间那一步换成神经网络。

结果是:训练 ≤20 小时(表注写 15 小时),而 GNS 要 240 小时、DMCF 要 120 小时;内存省 10-100 倍;推理快 5-10 倍;3,000 万粒子还能跑 25 FPS。而且它在 MultiMaterial、Dam Break 2D、VariableGravity 三个数据集上把两个基线都赢了,包括一个用 SPH 仿真出来的数据集。

这篇东西叫 NeuralMPM:Omer Rochman-Sharabi、Sacha Lewin、Gilles Louppe(比利时列日大学 iSACH 实验室),TMLR 2025,arXiv:2408.15753。论文在 OpenReview 上评审过(forum id zSK81A2hxQ),代码在 github.com/OmerRochman/NeuralMPM,数据在 HuggingFace 的 iSach/NeuralMPM。

下面这篇不是摘要复述。我把论文 PDF(v3,14.7 MB)读完了,也把仓库拉下来逐个文件读了 —— 一共 51 个文件、约 6,200 行 Python。凡是论文里写了、代码里能对上口径的地方,我都把文件名和函数名标出来;凡是论文没写但代码里真实存在的(包括几处论文与代码口径不一致的地方),我也一并写出来。

一、先把名字钉死:本文解读的是哪一篇

「Neural MPM」这个名字在这条线上被用过两次,不先把话说清楚,后面所有的对比都会串台:

本文核验过的东西,一句话交代清楚:论文全文(arXiv v3)+ 仓库全量代码。所有数字都来自论文的表格与正文,或代码里能读出来的常量;我没有跑训练(那需要一台 A5000 加十几小时),所以凡是「我推断」的地方我都会写明是推断。

论文自己列的 6 个数据集来源也一并交代:WaterRamps / SandRamps / Goop / MultiMaterial 四个来自 GNS(Sanchez-Gonzalez 等,Taichi-MPM 仿真),Dam Break 2D 来自 LagrangeBench(SPH 仿真),VariableGravity 是作者自己用 Taichi-MPM 造的(可变重力,专门用来考「重力是显式给基线、还是让网络自己学」这件事)。

二、问题:粒子模拟器为什么慢到进不了下游

模拟器贵,所以做不了逆问题、不能当优化器、不能当数据源;神经模拟器便宜、可微,理论上正好补上这块。但粒子式的神经模拟器继承了拉格朗日方法的全部开销,论文把账拆成三笔:

第一笔,每步都要重建图。GNS 这类方法要在每个时间步对点云做邻居搜索:暴力是 O(N²),K-d 树是 O(N log N),体素化 / 空间哈希才能到 O(N)。论文这里的关键洞见是一句话:点云模拟器的性能「紧密地绑在处理点云空间结构的方法上」 —— 换句话说,这一项不是实现细节,它就是天花板。

第二笔,图上拿全局信息要堆很多层 message passing。层数多 → 计算图巨大 → 全自回归训练不现实(梯度要一路穿回第一步)。那就只能用 push-forward 这类更省但更弱的替代方案(论文引 List 等人的结论:push-forward 不如完全反传)。训练方式一打折,长时程 rollout 的稳定性就跟着打折,于是又要去加噪声补偿,而噪声幅度变成了一个极敏感的超参。

第三笔,训练和推理本身就很贵。论文附录里有一行很说明问题的数字:复现 DMCF 时,作者不得不给它配 96 GB 内存(他们自己的机器只有 24 GB)。

所以这篇的思路不是「设计一个更强的图网络」,而是把状态搬到规则网格上去 —— 因为规则网格的归纳偏置是白送的:邻居关系隐含在卷积核里,全局信息靠下采样层自然传播,而且不需要每步重建任何图。

把几种表示摆在一起看,这篇的位置就清楚了(下面这张表的每一行都能在论文第 2 节与附录里找到出处):

表示 每步要付的固定开销 全局信息怎么拿 代表工作
欧拉网格 / 有限元高分辨率才划算,网格要随形变重划解方程自带经典 CFD
点云 + 图每步重建邻居图(O(N²) / O(N log N) / hash)堆很多层 message passingGNS
点云 + 连续卷积每次仍要找邻居(GPU 空间哈希)多分支不同感受野,超参要调DMCF
点云 → 规则网格 → 点云体素化 O(N),无图卷积 + 下采样白送NeuralMPM

论文还顺手批评了第三类「混合路线」:用物理方程解一部分、剩下交给网络(比如学未知的本构关系、或者绕开 MPM 的某个计算瓶颈)。这类方法确实漂亮,但它们把物理知识写进了损失或求解器里,于是适用范围被物理模型的假设限死;NeuralMPM 属于纯数据驱动,它对 MPM 的先验只保留在表示层(粒子 + 网格),不留在动力学里 —— 论文对此的措辞是:先验约束「最少,且能被数据克服」。

三、方法:MPM 的四步,逐行对到代码

先把 MPM 的原始四步摆出来(论文第 2 节):① p2g 把粒子携带的量插值到规则网格 → ② 在网格上解运动方程,算导数比在点云上容易得多 → ③ g2p 把网格结果插回粒子 → ④ Euler 更新位置,然后网格清空重来。NeuralMPM 的改动只有第 ② 步:网格上的解方程,换成一张 U-Net。第 ① 步从「带核的插值」退化成「体素化」,第 ③ 步换成双线性插值,第 ④ 步原样保留。

下面这张图是它的完整回路,神经网络只出现在一个位置,这一点是理解全文的关键:

粒子状态 P^t , V^t , 类型 t_i ① 体素化 p2g grid_cluster + scatter ② U-Net h(G) 唯一的学习环节 ③ g2p 双线性 grid_sample ④ Euler 位移 P ← P + Δp 网格速度场 m 步 按材料掩码取通道 墙粒子钉住 出界粒子 clamp 插值 G^t G^t V̂ 插值 外层 K = 4 自回归:模型在自己预测上再展开 4 轮,梯度穿回整段 rollout 内层 m = 8 时间打包:一次前向出 8 步网格速度,模型调用次数降到 T/8 消融结论:K 越大越准、m=8 最优;网格噪声与粒子噪声都不改善精度,K=4 时反而更差

下面按代码把这四步对一遍。

第 ① 步,体素化(neuralmpm/interpolation/interpolation.py)。网格节点就是体素中心,函数 get_voxel_centers 按 voxel 边长铺出坐标;体素边长由 find_size 决定 —— 它在 [Δ/N, Δ/(N-1)] 这个区间里取中点(代码里注释写明「取中点,简单起见」)。粒子的归属用 torch_cluster.grid_cluster(CUDA 体素化,硬分配到最近的一个体素),聚合用 torch_scatter.scatter:密度按每种材料各自归一(每体素粒子数 ÷ 该材料总粒子数),速度按体素内粒子求平均。

这里有一个论文没写、但代码里很关键的细节。经典 MPM 的 p2g 用二次 B 样条核把每个粒子的质量与动量摊到周围 4 个网格节点上,是带核的连续插值。而这个仓库里,kernels.py 写了 linear / exponential / piecewise 三种核函数,看着像是给 p2g 用的 —— 但 p2g_cluster_batch 里调用它们的 torch.vmap 分支被整段注释掉了(第 129-136 行),真正生效的是无权重的 weighted_features = features 加一次 scatter 求和。也就是说:这篇复刻的是 MPM 的骨架,不是 MPM 的插值核。这不一定是缺陷(论文的消融也显示网格分辨率才是最敏感的超参),但它意味着你不能把这套代码直接当成「MPM 的神经网络实现」用。

把这一步的数学摊开看(全部对得上代码):密度通道存的是「这个体素里有多少份额属于这种材料」—— 代码里每个粒子先被赋上 1/该材料总粒子数 的权重再 scatter 求和,所以密度是归一化的材料占比,不是物理密度;速度通道则是体素内速度求和再除以体素内粒子数,即体素平均速度。体素边长由 find_size 给:区间长度 Δ 要切成 N 份,可行边长落在 [Δ/N, Δ/(N-1)],代码取中点。这意味着体素边长和网格分辨率是绑死的 —— 你把 64×64 换成 128×128,物理上就不只是「看得更清楚」,而是换了离散尺度。这也解释了为什么消融里网格分辨率是最敏感的一项:它同时改了「能看到多小的结构」和「一个体素里平均掉多少粒子」。

通道布局在 interpolation.py 最后一行和 data_manager.py 的 base_parser.get_num_channels() 里写得很清楚:网格张量 = [每种流体材料的速度(每种 dim 个通道)] + [每种材料(含墙)的密度(每种 1 个通道)]。单材料 2 维场景就是 4 个通道(v_x, v_y, ρ_墙, ρ_流体);VariableGravity 额外把重力向量拼成最后 2 个通道,变成 6 通道。

第 ② 步,U-Net(neuralmpm/models/networks/unet.py)。结构很朴素:先逐像素 MLP 升维(architecture=[64,64,64]),三个 factor-2 的下采样块(卷积 + LeakyReLU),瓶颈后转置卷积上采样并接 skip connection,最后每个输出通道配一个 MLP decoder。关键在 model_loader.py:UNet 的 architecture 被写成 hidden + [steps_per_call],也就是 decoder 的输出维等于 m —— 一次前向就吐出 m 个时间步的网格速度场。这就是「时间打包」在网络层面的实现方式:不是加一个时间维做 3D 卷积,而是把 m 当成输出通道的最后一段维度。

论文还试了 FNO、FFNO、CNO、UNet-3D(都留在仓库里,model_loader.py 里能直接切),结论是 FNO 更差,所以留了 U-Net;CNO 与 3D 版本留着,说明作者本来打算往 3D 和更贵的算子走。

第 ③ 步,g2p(interpolation.py 的 g2p)。F.grid_sample,mode="bilinear"、align_corners=False、padding_mode="zeros",把网格速度插回粒子位置。不同材料的通道在 simulation.py 里按粒子类型掩码选择(masks = [types == t for t in range(1, num_types)])。

第 ④ 步,Euler 更新(neuralmpm/pipelines/simulation.py 的 euler_step)。一行 pos = pos + interpolated_vel。注意这里不乘 dt —— 因为 parser 里存的速度本来就是每步位移:vel = sim[1:] - sim[:-1](data/parsers/nmpm_parser.py),论文附录也写了这一句(并因此跳过训练的第一步)。同一函数里还有两条硬规则:墙粒子(type=0)的位置被钉住、速度清零;出界粒子被 clamp 回域内(torch.clamp(particles, min=low, max=high))—— 后者正是论文 limitations 里「无法处理落在域外的粒子」在代码里的对应物。

四、真正的主角是训练策略:K=4 自回归 × m=8 时间打包

把上面的 U-Net 换成任何东西,这篇都不会快;它快是因为训练策略允许它做完整自回归训练。论文第 3 节末尾那段话,在代码里就是 neuralmpm/models/losses.py 的 particle_position_mse_loss 这一个函数:

外层循环 for i in range(0, total_steps, steps_per_call),每轮用上一步自己预测出来的状态当输入(自回归,K=4 轮),每轮调用一次模型、一次预测 m=8 步(时间打包),最后对 24 个预测状态一起算位置 MSE。

三个实现细节值得记:

消融(Goop,整段 rollout 的 MSE)的结论很干净:K 从 1 加到 4 单调变好,而且不需要注噪;单独调网格噪声或粒子噪声要么敏感要么没效果,K=4 时注噪反而有害;m=8 最优(m=16/32 需要更大的网络容量去从单个状态里榨出更多信息);U-Net 的宽度与深度影响很小(说明不需要更大的网络);而网格分辨率是最关键的 —— 32 太粗会丢细节,128 太碎会把「液团」和「墙」打散成孤立体素,64 刚好。

把消融连起来读,这篇论文真正的结论其实不是「U-Net 好」,而是:稳定性和速度不是靠更聪明的正则化换来的,是靠把「一次调用覆盖多少步」和「训练时展开多少步」这两个旋钮拧对。这也是为什么它敢做完整自回归训练 —— 不需要 push-forward,也不需要注噪。

完整的训练配方(论文第 4 节 + configs/configs.py 的 DEFAULT,两边一致):Adam,学习率 1e-3,先线性 warm-up 100 步(从 1e-5 升上来),再在 1e-3 走 900 步,之后余弦退火 100,000 步(退火终值有个小不一致:README 写 1e-6,configs.py 的 DEFAULT 写 1e-5,论文只说「cosine annealing for 100,000 iterations」没给终值);batch size 128,K=4,m=8,网格 64×64;U-Net 的 hidden=[64,64,64,64]、3 个 factor-2 下采样块、卷积核 3、逐像素 MLP 是 3 层 64 维;默认 epochs=750、buffer 里 16 条轨迹、每批过 20 遍再换下一批;梯度裁剪 clip_grad_norm_(…, 1.0)(代码里写死)。按这个配方,一个 epoch 的迭代数是 ceil(16 × 索引数 / 128),而索引数在 skip_m_steps=True 时按 m 步跳着采(torch.arange(0, max_t, steps_per_call))—— 也就是说 m 越大,每个 epoch 见到的样本越少,这是 m 变大收益递减的一个来源。

还有一个容易被忽略的实现选择:训练时的网格状态来自真值轨迹,但位置是从自己上一步预测里接着走的(losses.py 里 prev_pos = pred_pos[:, -1])。误差因此会同时从「网格预测错了」和「位置已经偏了」两条路进入 loss,这也是为什么消融里 K 越大越好:K 越大,这种「用自己的偏差继续跑」的样本越多,模型越早学会纠偏。

五、数据与数字

6 个数据集,训练轨迹各 1,000 条(Dam Break 2D 是 50 条),验证/测试 30-100 条(Dam Break 2D 是 25 条)。这六个数据集不是随便挑的,每一个都在考一件不同的事(论文第 4 节的 Data 段落 + 代码里各 parser 的配置都能对上):

这里有个值得留意的细节:Dam Break 2D 的物理域是 5.39×2.02 的长方形,而网格仍是 64×64 —— 也就是说体素在物理上不是正方形(find_size 是逐轴算边长的),模型要在各向异性的体素上工作。这个设定顺带把「换域形状」这件事提前考了一遍。

下表是论文表 1 的全量搬运(MSE 与 EMD 都是 ×10⁻³,EMD 用 Sinkhorn 距离算,需要 JAX + ott,论文说很慢):

数据集(仿真器) 粒子数 N / 序列长 T NeuralMPM GNS DMCF
WaterRamps(MPM)2.3k / 60013.92 / 6811.75 / 9020.45 / 105
SandRamps(MPM)3.3k / 4003.12 / 613.11 / 846.22 / 91
Goop(MPM)1.9k / 4002.18 / 552.4 / 735.25 / 85
MultiMaterial(MPM)2k / 10009.6 / 6614.79 / 105不支持
Dam Break 2D(SPH)5k / 40129.07 / 34887.04 / 38474.77 / 381
VariableGravity(MPM)600 / 100014.48 / 92134 / 35028.77 / 97

三个值得停一停的地方:

① 训练成本那笔账。论文的结论句是:训练时间是 GNS / DMCF 的 6%,推理快 5-10 倍,内存省 10-100 倍;表 1 的注写「NeuralMPM 15h、GNS 240h、DMCF 120h」,正文第 4 节却写成「GNS 最多 120 小时、DMCF 最多 240 小时」—— 两处把 120 和 240 对调了。结论句里的「6%」对应的是 GNS=240h 那一版,我按这个口径读。速度上,论文图 6 说 NeuralMPM 在 3,000 万粒子下能到 25 FPS,而 GNS / DMCF 在 50 万粒子左右就撑不住了;硬件是 4 核 CPU + 24 GB 内存 + 一张 RTX A5000(24 GB 显存)。

② 它输的那两格也是真的输。WaterRamps 上 13.92 对 GNS 的 11.75,SandRamps 上 3.12 对 3.11 —— 单材料 + 随机障碍这两类,GNS 是持平或略赢的。论文的消融里还写了一句很诚实的话:「据报道 GNS 略微优于 NeuralMPM,但这个结果在我们的实验里没能复现。」

③ Dam Break 2D 用的是 SPH 数据。数据是 LagrangeBench 的 SPH 仿真,而模型学的是「网格上的动力学」,照样把两个基线打下去一半以上(29.07 对 87.04 / 74.77)。这说明表示和数据源是解耦的 —— 这大概是这篇最被低估的一点。

EMD 上 NeuralMPM 在全部 6 个数据集上都是最好的,说明它对「粒子的空间分布」学得比两个基线都准 —— 这一点比单看 MSE 更能说明它学到的不是「平均位置」而是「形状」。

附录里还有一组更狠的计时(表 3,Dam Break 2D,单位毫秒):单次模型调用 Ours 7.41 / GNS 20.46 / SEGNN 46.04;整段 401 步 rollout Ours 193.50 / GNS 8,170.47 / SEGNN 18,194.10 —— 整段 rollout 差 42 倍。论文特别注明:这个实验里 NeuralMPM 是一次调用预测 16 帧(默认配置是 8),也就是说单次调用就已经赢了,累到整段就拉开更多。对应的精度(表 2,同一数据集、这次用的是 LagrangeBench 自带实现的基线,口径是 MSE ×10⁻³、EMD ×10⁻⁴):Ours 20.76 / 2.88,GNS 114.40 / 224.1,SEGNN 124.39 / 268.4。

六、怎么把它跑起来 —— 以及三个会绊你的地方

README 写得很清楚,流程是四步:装环境 → 下数据 → 训 → rollout / eval / render。

装:Python 3.10 的干净环境,然后两条 pip —— 一条装 PyTorch(--extra-index-url https://download.pytorch.org/whl/cu121),另一条装 [geom] 额外依赖(-f https://data.pyg.org/whl/torch-2.5.0+cu121.html)。那个 geom 就是 PyTorch Geometric 全家桶(torch-cluster / torch-scatter)—— 体素化的地基就在这儿,所以这篇的 p2g 是真 CUDA 实现,不是 numpy 循环。

下数据:HuggingFace 上的 iSach/NeuralMPM,用 huggingface-cli download --repo-type dataset "iSach/NeuralMPM" --include "WaterRamps/" --local-dir data,下完是 zip,解压后是 data/WaterRamps/{train,valid,test}/sim_N.h5 的结构。

训:预设实验用 nmpm-exp(准确说是 nmpm-exp)—— DEFAULT 是单跑默认、paper 是六个数据集一次排上的批量(靠元组展开),toy 是 16×16 网格的小模型自检。README 明确写着「不要在本地跑 paper」,本地只推荐 toy。另外作者强烈建议上 Slurm 集群。

评与渲染:nmpm-rollout --run outputs/... 先 rollout,nmpm-eval --run outputs/... --emd 再算指标(必须先 rollout 才能 eval;EMD 需要 JAX,慢),nmpm-render video|frames --engine v1|v2 出画面(v2 慢但好看)。预训练模型截至当前仓库版本还没放出来 —— README 写的是「will soon provide」,HuggingFace 上目前只有数据。

下面三条是我读代码时踩到、但文档没说的坑,都属于「照 README 跑会得到和论文不一样的结果」那一类:

还有一个小代码味道:scripts/train.py 里 parser.parse_args() 被连着调了三次(分别取 nowandb、no_skip_steps)。功能上没错(argparse 幂等),但它意味着「跳过 m 步采样」这个开关的名字在 CLI 上是反的:--no-skip-steps 传进去之后 skip_m_steps = not no_skip_steps 才对上。

七、泛化:两个维度的泛化都很便宜

粒子数方向的泛化几乎是免费的。因为处理网络只看体素表示,p2g 与 g2p 都是线性于粒子数的:在 WaterRamps(约 2.3k 粒子)上训练的模型直接跑 WaterDrop-XL(约 4 倍粒子、1,000 步),推理时间几乎不变。定量结果更反直觉:只用 WaterRamps 训的模型在 WaterDrop-XL 上 MSE 20.92×10⁻³,比直接在 XL 上训(同样预算)的 28.09×10⁻³ 还低。

形状方向的泛化靠全卷积。在 0.84×0.84 的方形域、64×64 网格上训练的模型,零改动就能在 1.68×0.84 的矩形域、128×64 网格上推理。论文诚实地注明:矩形域没有真值可对,因为 GNS 的原始数据不提供那部分信息。

可微性还被用来解了一个逆问题:把一块水放在不同起点、坡道角度 α 随机,用梯度下降调 α,让水最后落到指定位置。这是篇论文里唯一一个「往下游用」的例子,论文自己也定性为 toy 问题。

八、代码里值得单独拎出来的六个细节

九、落地思考 / 我的判断

第一,最值钱的一招不是 U-Net,是「把状态搬到规则网格上」。这一步同时干掉了三笔开销:每步的邻居搜索、图上堆很多层才能拿到的全局信息、以及点云表示带来的所有自建架构负担。换句话说,它把「物理的结构」换成了「图像的结构」,而图像的归纳偏置是白送的。论文那句「点云模拟器的性能紧密绑在处理点云空间结构的方法上」,其实是整篇论文的压缩版。

第二,时间打包 m=8 值得单独抄。它同时解决了两件事:速度(模型调用次数降到 T/8)和稳定性(每次只往前推 8 步,误差累积的窗口短)。而且它让「不需要注噪」成为可能 —— 也就是说,原来那些必须靠调噪声幅度来续命的方法,现在有了一条更结构化的替代路。这跟上一篇 11-15 那篇讲「持久性对照」的逻辑是同一个:你需要的往往不是更强的模型,而是一个让误差不累积的机制。

第三,边界条件用静止粒子表示,是最便宜的工程复用点。零成本拿到任意形状的障碍,我怀疑这个技巧在任何「粒子 + 网格」的系统里都能直接用。

第四,不该照抄的地方也得说清楚。硬体素分配丢掉了连续性信息(经典 MPM 的 B 样条核被注释掉了);粒子出界即裁剪,长时程 rollout 会「贴边」;规则网格的体素大小必须和粒子密度匹配,稀疏域是论文自己点名的失效区;而且 Taichi-MPM 这个经典求解器在内存上依然是最省的(论文图 6 右图明说),「换成神经网络」赢的是没优化好的学习基线,不是赢过优化得很好的经典求解器 —— 速度赢在步长(NeuralMPM 一步 2.5 ms,MPM 需要 0.2 ms)。

第五,和上一篇放在一起看,我的选择会不一样。上一篇是「物理真值 vs 学出来的粒子模型」;这篇提供了一个中间答案:物理知识可以只用在表示层,不用在损失层。DDBot 把物理写进可微求解器,梯度稳但工程重;GPWM 端到端学点云,通用但要 2,546 万帧;NeuralMPM 用网格当中间表示,几千条轨迹、15 小时就能训出来。如果今天我要给自己的项目选,我会先试 NeuralMPM 这条 —— 因为它的代价小得多,而且它对数据源的假设更松(连 SPH 的数据都能吃)。

第六,一个更大的启示。把 NeuralMPM 和 GPWM 并排:前者「粒子进、网格算、粒子出」,后者「粒子进、粒子出」。两者都能成立,但成本差着一个量级。当表示选对了,算力需求会塌一个数量级 —— 15 小时对 240 小时这个差距里,有一大半不是模型能力的差距,而是表示选择的差距。这句话对做世界模型、做具身智能、做任何「自己训一个模拟器」的人都是适用的。

一句话启发:「先把『状态放在什么表示上』想清楚,再谈用什么网络 —— 很多『模型不够强』的问题,其实是表示选错了。」


References

下一篇预告:这篇把「学出来的模拟器」的成本压到了一个很低的量级,但它的网格表示也带来一条硬边界 —— 体素大小必须和粒子密度匹配,域外粒子只能裁剪。下一篇想聊的是这条边界怎么绕:GPWM 那条纯粒子路线(上一篇拆过)为什么敢不要网格、代价又是什么,以及一个更具体的问题 —— 当你的模拟器已经快到可以放进训练回路里,误差是会帮你还是会骗你(NeRF 系的「合成数据训练、真实数据测试」里,模拟器的系统偏差是怎么被继承下去的)。