散粒材料操作的三条路线:GNN 学颗粒交互、OT 免模型塑形、40 吨挖掘机自主化 —— 三篇同期工作拆解
上一篇(11-07 的每日速读)六篇各自为战,讲的是「谁来校准那把尺子」。今天这篇不一样 —— 它是一个专题:主论文一篇,再加两篇同期工作,串成一条线一起看。
这条线的名字是「散粒材料怎么被机器人操作」。沙、砾石、咖啡渣、碎料、矿石 —— 这类材料的共同点是:它们既不是刚体(没法用一个位姿描述),也不是可数个体(几百万粒没法逐个算),而且你事先往往不知道它们的物理参数(同样的动作对沙和湿砂效果完全不同)。过去几年 robotics 会议上一类绕不开的问题就是:机器人到底要不要先学会「材料是怎么动的」,才能动手。
三篇正好给出三个答案,而且它们是互相认识的 —— ETH 那篇最优传输论文的 related work 里直接点名了 Aalto 那篇,说它「在一个学到的材料模型上直接优化,每个动作要花几小时」。这不是巧合,是同一批人在同一个问题上打过的两轮。
下面这张图是我给这三篇定的位。横轴是规划时需要多少关于材料的知识(从「完全不用模型」到「要逐颗粒建模」),纵轴是落地尺度(从桌面机械臂到工地全尺寸机械)。图上那条下降的斜线是这篇的全部重点:越依赖材料建模,落地尺度越小。桌面那两篇一个要建颗粒级代理模型、一个要在分布层面做最优传输;真到了 40 吨工地上,反而是最不需要材料模型的那篇做成了全尺寸自动化 —— 因为那个尺度上你本来就拿不到颗粒级信息,只能换一个更粗的抽象。这不是巧合,是尺度决定你能观测到什么,观测决定你能建模什么。
一、Manipulation of Granular Materials by Learning Particle Interactions:把颗粒-刚体交互学出来,再用 Wasserstein 距离规划倒料轨迹(Tuomainen、Blanco-Mulero、Kyrki,2022,IEEE Robotics and Automation Letters 7(2):5663-5670,芬兰 Aalto 大学电气工程与自动化系 EEA)
问题 这篇要解决的是一个非常具体的任务:让机器人把一个杯子里的散粒材料,倒进一个容器,并倒成目标构型。难在哪?在于颗粒材料既难定义构型、也难建模 —— 颗粒之间会互相碰撞成团,而现有的做法要么简化材料动力学、直接省略掉颗粒之间的交互;要么走视觉反馈路线,而这条路有个硬伤:材料不是完全可观测的,你从画面里学不出「掉落」和「与刚体相互作用」这类交互。论文的判断很直接:不从视觉反馈学交互,就没法规划出含掉落的目标构型。
关键 idea / 方法骨架 走的是「学一个便宜的动力学模型,再在模型上规划」这条经典路线,但每一步都做了具体选择。
第一步是表示。所有颗粒 —— 包括刚体颗粒和被操作的材料颗粒 —— 都被建成图的节点,节点之间有边表示交互。图网络上跑消息传递(借鉴 Graph Networks-based Simulators 的做法):边更新函数 φe 根据两个节点的相对位移和各自状态算出边特征,节点更新函数 φv 聚合收到的边特征,decoder 直接输出颗粒加速度。节点属性里放了最近 C 个时间步的速度历史,边属性是相对位移和距离。刚体颗粒的「控制输入」是它的当前速度,材料颗粒是零向量 —— 也就是材料不能直接控制,只能通过和刚体的交互被影响。
第二步是代价函数。这里有个关键选择:目标不是让每个颗粒都到指定位置,而是让两批颗粒的分布匹配。用 Wasserstein 距离(具体是 Sinkhorn 损失形式的二次 Wasserstein 距离)而不是逐颗粒最近邻距离 —— 作者的理由很实在:不必要求同一颗粒到目标里的同一位置,只要分布对上就行。而且目标构型直接定义成一个实验分布,这意味着它可以比高度图或密度图更复杂。
第三步是规划。轨迹用 Q = 6 个 waypoints 参数化,分段三次 Hermite 插值到 rollout 长度;优化器是 CMA-ES,在 GNN rollout 上直接搜。注意这里的分工:GNN 负责「这样倒会变成什么样」,CMA-ES 负责「怎么倒才能对上」。这样做的意义在于 —— 高保真仿真器(这篇用 Taichi-MPM 生成训练数据)太贵,而学出来的 GNN 代理模型把 rollout 算快了 20 倍,于是采样式优化才跑得动。
数据 / 数字 训练数据来自 20 次仿真:杯子沿 Y 轴平移、绕 X 轴旋转,另有一次只做小高斯噪声平移旋转、一次无杯子的自由落体。连接半径 R = 0.015,粒子位置加了标准差 σ = 3·10−4 的随机游走噪声。训练 2000 epoch、Adam、前 500 个 epoch 学习率恒定 10−4 之后指数衰减(γ = 0.997),minibatch 2,MLP 两个 128 隐藏层。
消融给了几个有信息量的结论。消息传递步数在 K ∈ {1,2,4,5,6,8,10} 里选 10 —— K=4 与 K=10 差距不大,但 K=6、K=8 的第三四分位反而比 K=4 高。速度历史长度是个反直觉的结果:直觉上二阶系统记三个速度就够了,实测 C=4 和 C=5 显著好于其他,说明只看三个历史速度不足以准确预测 rollout。损失函数上,只算颗粒加速度的 Lg 比同时算刚体加速度的 Lg+r 好 —— 把刚体加速度塞进损失会反过来损害对颗粒行为的预测。最终配置是 C=5、K=10、带控制输入、Lg。
规划结果用 Sinkhorn 损失衡量(4 个测试用例,每个 5 个随机种子),三个数字分别是「初始分布到目标」「走初始轨迹后的分布到目标」「走优化轨迹后的分布到目标」:
用例 1:3.90·10−2 → 1.43·10−4 → (2.09±0.80)·10−6;用例 2:3.87·10−2 → 5.68·10−3 → (1.16±0.36)·10−6;用例 3:3.93·10−2 → 2.29·10−3 → (1.88±0.53)·10−4;用例 4:3.83·10−2 → 1.57·10−3 → (2.69±0.78)·10−6。
作者还给了一把「标尺」,这个比数字本身更值得抄:Wasserstein 距离在 10−6 量级就算两个分布匹配良好,超过 10−4 就说明离目标很远;在预测侧,10−2 表示分布相距遥远、10−4 表示准确匹配。也就是说 3.90·10−2 和 2.09·10−6 之间差了四个数量级。另外要注意 用例 3 没有成功:Sinkhorn 损失确实降了一个数量级,但最终构型并没有准确对上目标形状,作者的解释是 CMA-ES 种群不够大 —— 这是个诚实的负面结果。还有一条更硬的限制:GNN 无法泛化到训练集里没见过的旋转和角速度,超出范围时模型会预测材料从刚体里漏出来,这直接限制了轨迹规划能用的动作集合。
真机部分用的是 Franka Emika Panda 加咖啡渣:把仿真里最好的四条轨迹搬到真机执行,仿真频率 100 Hz 插值到机器人的 1 kHz,做定性评估。仿真里的颗粒总数是 1945,其中 70% 是材料颗粒、其余是刚体颗粒。论文发表在 IEEE RA-L 卷 7 第 2 期 5663-5670 页(DOI 10.1109/LRA.2022.3158382,CC BY 许可),由芬兰科学院基金 317020 和 328399 资助,Tuomainen 与 Blanco-Mulero 共同一作。
工程判断
- 什么时候抄:你要做的是「倒出一个精确构型」而不是「大致铺平」,而且你手上有一台能生成物理数据的仿真器。抄的动作分三步:①用图表示建模颗粒-刚体交互(所有颗粒统一建节点,刚体颗粒给控制输入、材料颗粒给零向量);②目标用分布而不是逐颗粒坐标(Wasserstein / Sinkhorn 损失,目标是实验分布不是高度图);③在代理模型上跑 CMA-ES,轨迹用少量 waypoints 参数化。三步里最关键的是第 ② 步 —— 它决定了你能不能表达「倒成这个形状但颗粒怎么落无所谓」这种真实需求。
- 什么时候不抄:三个前提。第一个是必须有仿真器:整条路线是「从仿真学代理模型」,没有高保真仿真器就没有模型可学。第二个是算力成本高:CMA-ES 每个随机种子在 V100 上要 10 小时、跑了 5 个种子,而 ETH 那篇后来明确指出这条路线「每个动作要花几小时」。第三个是动作空间被模型的泛化边界卡死:GNN 学不会训练集外的旋转和角速度,超出就会预测材料泄漏,规划器能给出的动作就只剩训练分布覆盖的那一块 —— 这不是调参能解决的,得回去加训练数据。
- 一句话启发:「要倒准一个构型,就得把材料当成一群会互相碰撞的颗粒去建模 —— 但你为这份精度付出的代价是每个动作几小时算力,以及一条被训练分布卡死的动作边界。」
二、Material-agnostic Shaping of Granular Materials with Optimal Transport:不学材料模型,用最优传输直接规划扫掠(Alatur、Andersson、Siegwart、Ott,arXiv:2303.17047,cs.RO,2023-03-29,瑞士 ETH Zurich 自主系统实验室 ASL)
问题 这篇和上一篇问同一个问题,但问得更狠:能不能在完全不知道材料物理性质的前提下,规划出让散粒材料变成任意目标形状的动作。作者认为文献里缺了这样一层抽象 —— 已有工作要么去估计或学习精确的材料动力学模型,要么直接从视觉反馈学特定动作;前者贵且难泛化,后者受限于可观测性。
关键 idea / 方法骨架 这篇的骨架是「最优传输 + 启发式」两层,而且第二层是这篇真正的贡献。
第一层是分布级的最优传输。表示上做了一个明确的视角切换:从拉格朗日视角(逐颗粒)换成欧拉视角(体积分布),材料被离散成一个高度图 H = (h, X),归一化成概率分布 ĥ。因为最优传输理论是定义在概率分布上的,所以「把 h̃S 搬到 h̃T」是个标准的运输问题:写成线性规划求解,得到最优传输映射 T 和最优运输代价。代价用 1-Wasserstein 距离,作者特意点出它就是 Earth Mover's Distance,并说了一句挺有意思的话 —— 「搬地球」是引入最优传输的经典例子,而把「搬土」当成它的应用场景几乎是必然的。
第二层是启发式扫掠规划器,这是这篇和上一版最优传输应用的关键差别。问题在于:最优传输假设质量可以被无限切碎、任意搬运、且搬运没有额外代价,这对「精确舀取和倾倒」这种局部作用的动作大致成立,但对扫掠这种一大片区域同时被影响的动作就不成立了。所以这篇不能直接把 T 当动作,它用了一个两段式:先给出一个简单的「前推模型」 —— 扫掠覆盖的方块里的材料,预测会被推到扫掠末端;再用一个代理分数 g(T, a) = Σi 1P(XS,i) Σj Tij r(i, j) 给每个候选扫掠打分,其中 r(i, j) 是个启发式权重:正向项奖励扫掠方向与最优传输向量对齐(α+·max(nfw·tedge, 0)),负向项惩罚冲过头(α−·min(nfw·terror, 0))。候选扫掠从 T 里采样边对生成,采 L 次,最后取分最高的那个执行。
整个循环是反应式的:算一次最优传输 → 选一个最优扫掠 → 执行 → 重新感知 → 再算。因为不需要多步的模型式规划,所以它能塞进一个快速的反馈回路里。
数据 / 数字 仿真用 Nvidia Isaac(内部是 Position-Based Dynamics),机械臂是 Franka Panda 配一把 7 cm 宽的刮板,工作区 0.5 m × 0.5 m,高度图分辨率 2 cm,控制器是 Isaac 自带的 RMPFlow,最优传输用 Python Optimal Transport 工具箱算。参数固定为 α+ = 1.0、αerror = 100.0、Lsamples = 10、δrefine = 0.02,仿真和真机用的是同一套参数。
任务有三类:收集(把散料聚到一个目标区)、分离(分成 2、3、4 簇)、塑字(E、T、H)。起始分布有五种(1-blob、2-blobs、4-blobs、Gaussian、Uniform),生成了 10 个随机收集目标、9 个随机分离目标。基线有两个,都很说明问题:MAX-OT 直接把最优传输映射里最强的那条非平凡边当扫掠(完全不尊重扫掠的运动学约束),DIFF-MAP 干脆不用最优传输,改成从「多出来的高度图」和「缺的高度图」里分别采样起点和终点。
收集任务的结果(EMD,中位数,括号里是 5%–95% 分位):
1-blob:INITIAL 2.9 [10.6, 23.1] / OURS 1.2 [1.5, 2.9] / MAX-OT 2.7 [5.2, 9.5] / DIFF-MAP 3.7 [5.4, 8.1];2-blobs:15.7 [22.8, 32.7] / 1.8 [2.5, 3.8] / 10.0 [11.9, 17.8] / 6.9 [8.9, 13.4];4-blobs:28.6 [35.5, 45.3] / 2.1 [2.6, 3.6] / 16.8 [22.0, 29.5] / 12.1 [14.6, 21.1];Gaussian:9.7 [16.7, 26.7] / 1.6 [2.2, 3.0] / 10.2 [15.9, 24.2] / 7.8 [10.6, 16.5];Uniform:14.6 [21.3, 30.8] / 1.0 [1.8, 2.7] / 16.0 [22.6, 32.6] / 10.0 [12.2, 16.4]。
分离任务同样:1-blob 8.1 → 1.4(MAX-OT 3.0、DIFF-MAP 3.4);2-blobs 5.8 → 1.9(3.5、4.5);4-blobs 10.2 → 1.8(6.4、6.9);Gaussian 5.1 → 2.2(4.6、4.3);Uniform 5.6 → 1.7(5.7、6.0)。两条最值得记的观察:一是 OURS 在最难的初始分布上反而最好(Uniform 收集 1.0 是全表最低),而两个基线在简单任务上还能凑合(1-blob 收集 MAX-OT 2.7 只比 1.2 差一倍),一到复杂任务就崩(4-blobs 收集 MAX-OT 16.8 是 OURS 的 8 倍);二是方差也最小,分位区间窄得多 —— 而方差在真机上就是「同一套参数换个初始状态会不会翻车」。
真机部分:Franka Panda 配一把刷子(提供与硬地面的机械柔顺),Pico Monstar 飞行时间相机采高精度点云,用 Fankhauser 那套高程图方法融合,MoveIt2 的 PILZ 工业运动规划器走平滑直线。材料用了三种真实散料:砾石(圆边)、碎砂石(尖边)、木屑;任务是收集、分离成 2 簇、分离成 4 簇、塑字 E/T/H,其中塑字任务做了全部三种材料,总共 9 次运行,用 EMD 和 IoU 的 5%/50%/95% 分位曲线报告,结果显示持续向目标形状收敛且方差很小。
最值得注意的是作者写的限制条件:他们假设材料不可压缩、颗粒尺寸远小于末端执行器、无黏附无内聚、工作区是平面且重力对齐的凸无障碍区域且完全可达、状态是无遮挡的离散高度图。最后一条最要命 —— 「高度图这只对大颗粒成立,小颗粒(比如沙)要么用精度极高的深度传感器,要么换个传感模态来估计体积」。论文最终发表于 IROS 2023(DOI 10.1109/IROS55552.2023.10342505),由欧盟 Horizon 2020 计划 955356 号协议资助。
工程判断
- 什么时候抄:你的任务目标能写成「一个分布」而不是「一堆物体」(聚成一堆、分成几堆、铺成某个形状),而且材料性质未知或会变(真实工地上的土、回收料、食品原料)。抄的动作:①用高度图/密度图当状态,用 Wasserstein(EMD)当目标度量;②最优传输只用来产生「该往哪搬」的方向,不直接当动作 —— 中间必须加一层「简单前推模型 + 代理分数」来把连续运输意图转成机械臂能执行的扫掠;③负向惩罚项给足(这篇 α− = 100 让规划器保守,宁可少搬也不冲过头);④做成反应式单步循环,不要试图做多步模型式规划。附带一个好处:换材料只需要换传感,不换任何代码。
- 什么时候不抄:三个前提。第一个是OT 的「质量可任意切分」假设在扫掠动作上不成立,这正是它必须加启发式桥子的原因 —— 你抄的时候不能只抄 OT 那一半,桥子那半才是关键。第二个是高度图的门槛:只有大颗粒能用深度传感器分辨,沙这种细颗粒需要极高精度传感器或换模态,这是硬伤。第三个是几何假设太干净:不可压缩、无黏附、平面凸工作区、无遮挡高度图 —— 真实工地一条都不满足。
- 一句话启发:「不想学材料模型的时候,就别去预测材料会怎么动 —— 直接算出「材料应该去哪里」,再用一个几行代码的前推模型把这个答案翻译成一次机械臂扫掠。」
三、Large Scale Robotic Material Handling:把尺度推到 40 吨工地机械,颗粒被抽象成策略而不是模型(Spinelli、Zhai、Nan、Egli、Nubert、Bleumer、Miller、Hofmann、Hutter,arXiv:2508.09003,cs.RO / eess.SY,2025-08-12 提交 / 2026-03-01 v2,瑞士 ETH Zurich 机器人系统实验室 RSL + 德国利勃海尔液压挖掘机公司 Liebherr-Hydraulikbagger GmbH)
问题 这篇把前面那个实验室里的问题换了个量级:散料搬运(bulk material handling)—— 货船卸货、废料分选、建筑与拆除 —— 是很多行业的核心作业,用的是配备欠驱动蚌壳抓斗的大型液压物料搬运机。这些作业重复、费力、安全关键,却长期少有自动化。作者点出三个拦路虎:散料本身行为复杂(跟刚体完全不是一回事)、液压系统强非线性加上抓斗欠驱动(抓斗自由悬挂,运动时被动摆动)、工地环境非结构化。
关键 idea / 方法骨架 框架是四个模块 + 一个状态机,被拆成「抓-倒」循环反复执行:
①RL 攻点规划器。这是这篇的第一个贡献。它从 LiDAR 点云里裁出料堆几何,直接决定抓斗往哪扎,目标是最大化单次装斗率、最小化铲斗次数。基线是行业里常用的「最高点启发式」(选点云里最高的那点)。
②采样式路径规划器(固定基座假设,障碍用 OctoMap 体素表示)。
③RL 航点跟随控制器。这一层要对付欠驱动抓斗的摆动,用的是「管道(tube)」约束:策略必须把末端保持在相邻航点连成的管道内,并且把剩余安全余量 δtube 作为观测直接喂给策略 —— 这个设计后面会看到效果。奖励里有目标跟踪、工具振荡惩罚、管道约束、超调惩罚等多项。
④RL 抛掷控制器。这是第二个贡献:不靠夹爪固定住材料,而是利用抓斗自由摆动的特性,在运动中动态把料甩出去。仿真里材料被近似成三个依次释放的离散负载 L1:3 来模拟连续流,并捕捉工具振荡与释放时机的相关性;释放延迟按真实实验测得的 U(0.24, 0.36) s 随机化。
还有一个诚实的工程细节值得注意:抓取本身没有建模。仿真里不模拟抓斗与料堆的交互,所以抓取用一个简单的三阶段脚本控制器:下降到完全接触 → 合斗 → 收 boom。
数据 / 数字 机器是 40 吨重、工作范围约 20 m 的物料搬运机,配 1.5 t 蚌壳抓斗,最大装载 1.5 m³,全开覆盖约 2.0 × 1.5 m²。整机 6 个自由度,其中两个工具自由度是欠驱动的;低层控制把 10 Hz 的速度参考转成 50 Hz 的归一化手柄指令经 CAN 总线下发,boom 和 stick 用查表前馈 + PI,LUT 各由 37 个阶跃数据点构成。
攻点规划器(100 个仿真回合):料堆场景下 RL(带噪声)平均装斗率 62.7%、16.0 步结束;最高点启发式(带噪声)只有 14.6%、要 60.0 步;启发式在无噪声的理想观测下也只有 57.7%、17.8 步。容器场景:RL 62.9% / 21.6 步,启发式带噪声 33.5% / 35.6 步,无噪声 61.2% / 23.0 步。关键在于 RL 打赢了带噪声的启发式,甚至打赢了无噪声的启发式 —— 作者据此论证「最高点启发式本身就不保证最优,跟状态估计精度无关」。
真机对比启发式:RL 规划器成功率 100%、平均装斗率 67.3%;启发式成功率 76%、平均装斗率 47.9%(只看成功的那次是 62.9%)。平均多抓 41% 的材料体积。原因说得很直白:点云里料堆上方飘着的落料噪声会让启发式把攻击点选到空中去,导致抓取失败。
MPC 与 RL 的对照是最硬的一组。在逐步增大的执行延迟下:MPC vanilla slow 速度 8.78 °/s、位置误差 0.85 m、振荡 37.21 °/s、管道满足率 98%、最大违反 0.55 m;MPC vanilla fast 速度 13.52 °/s 但误差 1.31 m、振荡 63.18 °/s、管道满足率掉到 73%、最大违反 2.88 m;MPC 加 0.2 s 延迟直接 FAILED。RL 那一侧:0.0 s 延迟时速度 12.10 °/s、位置误差 0.28 m、振荡 14.66 °/s、管道满足率 95%;0.3 s 延迟下仍然正常跑完,速度 11.76 °/s、误差 0.27 m、振荡 13.72 °/s、管道满足率 94%、周期 31.97 s。同样条件下 RL 的位置误差是 MPC 的 1/4 左右,振荡只有 1/4 左右。
管道约束满足率的消融也印证了那个设计选择:不做 δtube 观测的策略只有约 72% 的控制步满足约束,1 m 管道 94%,2 m 管道 98%(各跑 100 个随机航点)。真机上多周期连续测试:1 m 管道在自由空间 95%、有障碍 91%;2 m 管道在自由空间 99%、有障碍 97%,最大违反压到 0.11 m。
抛投精度(搬走约 24 m³、约 20 铲之后用二维高斯拟合):仿真平均误差 0.034 m、det(Σ) = 0.048;真机 Single 策略 1.415 m / 2.613,Multi 2.298 m / 2.449,2 m 管道 2.061 m / 2.132,1 m 管道最好,1.151 m / 1.878。相对之前的 RL 控制器,抛投精度提升最高 39%。
跟人比是这篇最有价值的部分。20 次连续搬运(自由空间):Fast Throw 策略速度 14.57 °/s、位置误差 0.59 m、振荡 23.39 °/s、装斗 67.3%、周期 32.55 s;1 m 管道 10.83 °/s、0.48 m、16.82 °/s、装斗 68.0%、周期 41.29 s;Expert Fast 速度 22.51 °/s、振荡 38.43 °/s、装斗 66.7%、周期 17.44 s;Expert Slow 振荡 31.71 °/s、装斗 76.0%(全场最高)、周期 21.62 s;Novice Fast 速度 21.37 °/s、振荡 33.29 °/s、装斗 65.3%。作者的总结很克制也很清楚:自主系统只比专家慢 25%,比新手快 12%;但人类操作员的工具振荡比 RL 大 64% 到 89% —— 因为人为了吞吐量故意允许更大摆动。代价是固定管道半径让 1 m Tube 比 Expert Slow 慢 83%、比 Expert Fast 慢 49%。卡车装载任务上,1 m 管道速度 8.18 °/s、振荡 16.20 °/s、不含抓取周期 26.88 s;Expert 11.52 °/s / 18.98 / 21.55 s,Novice 10.42 °/s / 16.08 / 30.06 s。
必须照实说的负面结果有三条:①专家装斗率仍然高于 RL —— 专家能提前规划并做精细动作多铲土,作者认为换掉脚本化抓取、接进分层 RL 可以缩小差距;②真机结果不如仿真准 —— 仿真里把材料当成离散负载粒子,没建模开口抓斗里散料自由下落的复杂流动动力学,作者明说要用粒子级仿真器才能补上,但计算开销会威胁无模型 RL 的可行性;③低层控制器本身不可靠 —— 它的前馈项没法处理瞬态动力学,在大负载 boom 动作上会引发振荡,反过来影响 RL 策略的闭环稳定性。
训练细节也记一下:攻点规划器用 PPO、Nupd = 10,000、Nenv = 4096、MLP 隐藏层 [256, 256, 128, 64];料堆用 6 × 6 m 栅格分辨率 0.15 m,容器 4 × 1.5 × 1.2 m 分辨率 0.05 m。航点跟随 PPO 训练 5,000 次更新,RaiSim 跑 512 个并行环境、仿真 50 Hz / 控制 10 Hz。感知鲁棒性靠域随机化:零均值高斯噪声 σ = 0.1 m、10% 概率丢点、0.5% 概率的垂直尖刺。攻点规划器一小时内就能为新任务几何重训。最终版已发表于 IEEE Transactions on Field Robotics(DOI 10.1109/TFR.2026.3662619)。
工程判断
- 什么时候抄:你在做的是「有欠驱动自由度的大负载设备」(挖掘机、林业集材机、起重机),而且目标带碰撞安全约束。抄的动作:①把安全余量做成观测而不是只做奖励(δtube 那一项,72% → 94% 的差别就是这么来的);②用域随机化硬扛感知噪声(高斯噪声 + 丢点 + 垂直尖刺,正好对应点云里的飞料和自遮挡);③把「被动摆动」当资源而不是噪声(这篇用抓斗自由摆动做动态抛投);④RL 一定要配 MPC 基线来证明自己的价值,尤其要测执行延迟这个维度。
- 什么时候不抄:三个前提。第一个是硬件门槛极高:40 t 机器、液压 CAN 总线、低层 LUT 前馈,全套都要自己搭。第二个是它其实也没解决材料建模,只是换了抽象层级 —— 抓取用脚本、抛掷把散料近似成三个刚体负载,这个近似在真机上就是误差来源,作者自己承认。所以它是「在材料模型缺席时用策略补位」,不是「解决了材料建模」。第三个是效率仍不及人类:专家装斗率更高、速度更快,自主系统只是「接近」而非「超过」,而且固定管道半径造成 83% 的时间损失。
- 一句话启发:「尺度一大,你连颗粒长什么样都看不见了 —— 所以别建模,改成让强化学习直接学「往哪挖、怎么走、怎么甩」,同时把安全余量当观测喂进去、把摆动当资源用。」
四、落地思考 / 我的判断
三篇其实回答的是同一个问题的三个层级,而且第二个问题已经由第一篇自己提出来了。Aalto 那篇问「能不能学会颗粒交互,从而规划出目标构型」,答案是能,代价是每个动作几小时的采样优化和一个被训练分布卡死的动作边界。ETH 那篇接着说:在拥有材料参数之前,更实际的做法是先用「应该去哪里」替代「将会怎么动」,用最优传输提供方向、用一个几行代码的前推模型把方向翻译成机械臂动作。于是材料被抽象成高度图和分布,不再是颗粒。而 ETH + 利勃海尔那篇把这个抽象层级又往上抬了一格:到了 40 吨工地上,材料既不是颗粒也不是分布,而是一个策略要决定「往哪挖」的问题 —— 攻点规划器直接从 LiDAR 几何里选点,抛掷策略把散料近似成三个刚体负载。
它们共同的方法论转向更值得记:三篇都在把「材料」这个概念一层层剥薄。从显式的颗粒级图网络,到分布级的最优传输,到任务级的强化学习策略,每剥一层,代价就下降一个量级(几小时 → 反应式单步 → 直接从传感器到动作),而对材料物理的依赖就少一分。这跟世界模型那几年「状态表示该落在哪一层」的争论其实是同一个问题,只是换了个战场:在颗粒材料这个题目上,「表示的抽象层级」直接决定了系统能不能真的落到现场。
最值得先抄的是 ETH 那篇的最优传输 + 扫掠规划器,理由有三条。第一,成本最低 —— 它不需要仿真器、不需要训练、不需要 GPU,一张高度图就能跑。第二,泛化性最好 —— 材料无关这件事在真机上被验证了:三种真实散料、同一套参数、9 次运行。第三,它自带两个极有价值的基线(MAX-OT 和 DIFF-MAP),这两条基线本身就是一组现成的消融实验,你可以直接拿去判断「OT 那部分到底贡献了多少」。
Aalto 那篇更适合「必须倒出一个精确构型、而且你已经有高保真仿真器」的场景 —— 比如配料、混料、精密铺料这类误差有代价的活。它那把标尺尤其值得抄走:Wasserstein 距离 10−6 量级算匹配,10−4 以上算远离,这让你能判断一个规划器到底有没有真的把材料搬到位,而不是靠肉眼看一张图。第三篇的可复用部分则是安全余量当观测和延迟鲁棒性测试这两个做法,它们跟材料无关,任何欠驱动设备都能用。
三篇共同的盲区必须记下来,而且三篇的盲区各不相同。Aalto 那篇的盲区是泛化边界:GNN 学不会训练集外的旋转和角速度,超出就预测材料泄漏,而它的 CMA-ES 每个种子要 10 小时 V100 —— 四个测试用例里还有一个没匹配上目标形状。ETH 那篇的盲区是传感与几何:高度图只对大颗粒成立,无黏附无内聚、平面凸无遮挡工作区的假设在真实工地一条都不满足。第三篇的盲区是低层与抓取:抓取用脚本、抛掷把散料当三个刚体负载、低层前馈扛不住瞬态动力学 —— 这三条加起来就是它「真机不如仿真准」的全部原因。
我的判断是:这三篇加起来,把「机器人能不能操作散粒材料」从一道工程题变成了一道「选抽象层级」的题。如果你以前默认「操作材料 = 先建模材料」,那这三篇的顺序就是一次纠偏:先问目标需要多精确,再决定要不要建模。要聚成一堆、分开、铺平,分布级的最优传输足够,而且现场可用;要倒出一个精确构型并且误差有代价,才值得去建颗粒级模型、忍受采样优化的昂贵;而当尺度大到你根本观测不到颗粒时,正确的动作不是硬上模型,而是换一个更粗的抽象(策略),把精度要求降下来。
落到工程上,这三篇拼出了一条不需要先建模型的排查顺序。第一步,用一张高度图 + Wasserstein 度量看看目标能不能写成分布 —— 这一步几乎零成本,做完你就知道要不要往下走。第二步,如果分布不够用(比如需要逐颗粒精确构型),再评估你有没有能生成物理数据的仿真器;有,就学代理模型(记住 Aalto 那四个消融结论:K=10、C=5、只算颗粒加速度、带控制输入),没有就老实走分布级或任务级路线。第三步,如果你的设备有欠驱动自由度,把安全余量当观测、把延迟当测试维度加进你的 RL 策略 —— 这部分跟材料无关,纯赚。
于是下一层的问题摆在这里了:分布级的抽象到底什么时候不够用?具体是三个:①误差有代价的边界在哪(10−4 量级的 Wasserstein 误差对铺料是致命的,对清理桌面就无所谓 —— 没人给这个阈值下一个通用答案);②颗粒级建模的成本能不能摊薄(Aalto 那篇 10 小时/种子 × 5 种子是离线的一次性成本,但如果材料种类多、每个都要重训,这个账就不成立了);③尺度切换时的接口(第三篇的高度图、攻点规划器、抛掷策略是三套独立模块,它们之间的信息流其实是散的 —— 一个既懂分布又会用 RL 的系统长什么样,目前没人写出来)。我认为第三个最难,也最该先想清楚。
| 论文 | 材料被抽象成什么 | 方法骨架 | 关键数字 |
|---|---|---|---|
| Manipulation of Granular Materials by Learning Particle Interactions IEEE RA-L 2022 | 颗粒级 (图网络显式建模颗粒-刚体交互) | 图表示 + GNN 消息传递学代理动力学 → Wasserstein/Sinkhorn 损失作目标 → CMA-ES 在 rollout 上搜 6 个 waypoints 的倒料轨迹 | Sinkhorn 损失 4 用例 3.83-3.93·10⁻² → 最优轨迹 (1.16-2.69)·10⁻⁶(用例 3 为 1.88·10⁻⁴,未匹配上目标形状);GNN rollout 比高保真模拟器快 20 倍;标尺 10⁻⁶ 量级算匹配、10⁻⁴ 以上算远离;消融 K=10、C=5、只算颗粒加速度、带控制输入;训练 20 次仿真、1945 粒子(70% 材料)、R=0.015;每种子 V100 10 小时 × 5 种子;真机 Franka Panda 倒咖啡渣(定性);GNN 不泛化到训练集外的旋转与角速度,超出会预测材料泄漏 |
| Material-agnostic Shaping of Granular Materials with Optimal Transport arXiv:2303.17047 | 分布级 (欧拉视角高度图 + 概率分布) | 离散最优传输 LP 求运输映射 T → 简单前推模型 + 代理分数 g(T,a) 给候选扫掠打分 → 反应式 next-best-sweep 单步循环 | 收集 EMD 中位数 OURS 1.0-2.1 对 INITIAL 2.9-28.6、MAX-OT 2.7-16.8、DIFF-MAP 3.7-12.1;分离 1.4-2.2 对 INITIAL 5.1-10.2、MAX-OT 3.0-6.4、DIFF-MAP 3.4-6.9;方差也最小(分位区间最窄);参数 α+=1.0 / αerror=100.0 / Lsamples=10 / δrefine=0.02 仿真真机同一套;真机 Franka Panda + 刷子 + Pico Monstar ToF,三种材料(砾石/碎砂石/木屑)共 9 次运行;Isaac + PBD,7 cm 刮板、0.5×0.5 m 工作区、高度图 2 cm 分辨率;假设不可压缩、无黏附内聚、平面凸无遮挡工作区;高度图只对大颗粒成立,沙需极高精度深度传感器 |
| Large Scale Robotic Material Handling: Learning, Planning, and Control arXiv:2508.09003 | 任务级 (材料被近似成三个离散负载) | RL 攻点规划器(LiDAR 几何) → 采样式路径规划(OctoMap) → RL 航点跟随(tube 约束, δtube 作观测) → RL 抛掷控制器(利用抓斗自由摆动),状态机编排抓-倒循环 | 攻点规划(100 仿真回合)料堆 RL 62.7%/16.0 步 对最高点启发式带噪声 14.6%/60.0 步、无噪声 57.7%/17.8 步;真机 RL 成功率 100%、平均装斗 67.3% 对启发式 76%、47.9%,多抓 41% 体积;MPC 0.2 s 延迟 FAILED,RL 0.3 s 仍正常(速度 11.76°/s、误差 0.27 m、振荡 13.72°/s、管道满足 94%),同条件 MPC 误差与振荡约为 RL 的 4 倍;管道满足率 无 δtube 观测 ~72% / 1 m 94% / 2 m 98%;抛投精度仿真 0.034 m,真机 1 m 管道最好 1.151 m(相对旧 RL 提升 39%);20 次连续搬运:RL 只比专家慢 25%、比新手快 12%,人类振荡比 RL 大 64-89%,1 m Tube 比 Expert Slow 慢 83%、比 Expert Fast 慢 49%;卡车装载 1 m 管道 8.18°/s、振荡 16.20°/s、26.88 s;40 t 机器、1.5 t 抓斗、1.5 m³、20 m 范围、6 DoF(2 个欠驱动);抓取用脚本、散料近似成三个刚体负载,真机不如仿真准;攻点规划器 1 小时内可重训 |
References
- Tuomainen, Neea, Blanco-Mulero, David, Kyrki, Ville (2022). Manipulation of Granular Materials by Learning Particle Interactions. IEEE Robotics and Automation Letters, 7(2), 5663-5670. DOI: 10.1109/LRA.2022.3158382; published 2022-04-01; 稿件收到 2021-10-22、录用 2022-02-23; 芬兰 Aalto 大学电气工程与自动化系(EEA); License: CC BY; 芬兰科学院基金 317020、328399 资助; Tuomainen 与 Blanco-Mulero 共同一作。
- Alatur, Nikhilesh, Andersson, Olov, Siegwart, Roland, Ott, Lionel (2023). Material-agnostic Shaping of Granular Materials with Optimal Transport. arXiv:2303.17047. cs.RO; submitted 2023-03-29; 正式发表于 IROS 2023(DOI 10.1109/IROS55552.2023.10342505); 瑞士 ETH Zurich 自主系统实验室(ASL); 欧盟 Horizon 2020 计划 955356 号协议资助; 8 页。
- Spinelli, Filippo A., Zhai, Yifan, Nan, Fang, Egli, Pascal, Nubert, Julian, Bleumer, Thilo, Miller, Lukas, Hofmann, Ferdinand, Hutter, Marco (2025). Large Scale Robotic Material Handling: Learning, Planning, and Control. arXiv:2508.09003. cs.RO / eess.SY; submitted 2025-08-12, v2 2026-03-01; 最终版发表于 IEEE Transactions on Field Robotics(DOI 10.1109/TFR.2026.3662619); 瑞士 ETH Zurich 机器人系统实验室(RSL)+ 德国 Liebherr-Hydraulikbagger GmbH; 29 页; NCCR digital fabrication 与利勃海尔资助; Spinelli 与 Zhai 共同一作。
下一篇预告:这三篇把「机器人能不能操作散粒材料」变成了一道「选抽象层级」的题 —— 分布级最便宜、颗粒级最精确、任务级最能在现场活下来。但它们没解决三件事:分布级的误差到底什么时候有代价(10⁻⁴ 量级的 Wasserstein 误差对铺料致命、对清理桌面无所谓,没人给这个阈值下通用答案)、颗粒级建模的成本能不能摊薄(10 小时/种子 × 5 种子是离线一次性成本,但材料一多种、每个都要重训,这个账就不成立)、以及尺度切换时的接口(第三篇的高度图、攻点规划器、抛掷策略是三套独立模块,它们之间的信息流其实是散的 —— 一个既懂分布又会用 RL 的系统长什么样,目前没人写出来)。其中第三个最难,也最该先想清楚。