探索该为谁服务:把系统辨识的目标从「参数准」换成「任务好」 —— Learning Active Task-Oriented Exploration Policies 拆解
前两篇(11-07 的两篇专题)都在讲散粒材料:一个用可微物理做真值,一个用两千万帧数据学代理模型。看起来是两个方向,其实背后是同一个更老的问题 —— 你手里的模型不准,于是你得在真实世界里采数据把模型修准。可这些数据该怎么采?
默认答案是「让模型更准」:找一组最有信息量的动作,最大化参数估计的精度或者最小化模型预测误差。这是 Active Task-Agnostic exploration,2020 年 RSS 上这篇论文(Liang、Saxena、Kroemer,CMU 机器人研究所)要挑战的正是它。
它的反问很朴素:参数估得准,和任务做得好,是同一件事吗?通常不是。系统里有一堆参数,但任务只对其中一小部分敏感 —— 你花力气把一个对任务毫无影响的摩擦系数测到极致,等于把钱花在了错的地方。这篇的答案是:把探索策略的优化目标从「参数辨识精度」直接换成「下游任务的后悔值」,让探索动作为任务服务,而不是为模型服务。
下面是这篇论文的管线图,也是全文的骨架:探索策略 πe → 观测轨迹 → 拟合出参数 θ̂ → 模型预测任务策略 πτ(θ̂) → 真的去把任务做完。整篇论文改的就是这个管线里 πe 的训练目标 —— 训练时把整条管线在仿真里闭环跑一遍,用任务的后悔值给 πe 发梯度。
一、问题:探索策略不该为模型服务,而该为任务服务(Liang、Saxena、Kroemer,arXiv:2006.01952,cs.RO,2020-06-02 提交 / 2020-11-05 v2 / 发表于 Robotics: Science and Systems 2020,美国卡内基梅隆大学机器人研究所)
问题 论文的出发点是一个大家都默认、但很少有人质疑的前提:sim-to-real 的误差要用「把模型修准」来解决,而采数据的目标就该是「让模型更准」。过去两条主流路线是:域随机化(DR),用一个很宽的参数分布去训策略,赌真实参数落在里面;在线系统辨识(Sys-Id),用真实观测去调模型参数。前者的问题是对手工指定的参数分布敏感,而且容易训出过度保守的策略;后者的问题是被动 —— 任务策略执行时顺带产生的轨迹,未必是最适合辨识参数的那些。
于是出现了主动系统辨识(Active Sys-Id):专门训一个探索策略去「探测」环境,产出有信息量的观测。这条路的关键在于探索策略该优化什么。已有工作优化的是参数辨识精度或模型预测误差,论文把这类统称为 Active Task-Agnostic exploration。
但论文指出一个被忽略的事实:通常情况下,一部分参数对轨迹优化和任务性能的影响远大于其他参数。如果一个探索策略把所有参数都测得同样准,它的任务表现反而可能不如一个「只把注意力放在任务敏感参数上」的策略。这篇论文要做的事情因此可以一句话说清:让探索策略直接优化下游任务的表现,而不是优化它自己的副产品(参数精度)。
关键 idea / 方法骨架 管线是 πe → πτ 两段式。πe 是探索策略,它从某个初始状态出发作为反馈控制器,产生一段探索轨迹 {u0:Te, o0:Te};这段轨迹交给辨识器 g,得到估计参数 θ̂;θ̂ 再交给轨迹优化(TrajOpt)生成任务策略 πτ(θ̂),这个策略带着错误的参数上真机做任务。
训练目标就是整条管线的期望任务后悔值:
πe = argmin Eθ[ Ψ(πτ(θ̂), θ) + γ·h(πe) ]
其中 Ψ(πτ(θ̂), θ) = J(πτ(θ̂), θ) − J(πτ(θ), θ),第一项是「用估计参数规划的策略在真实环境里的代价」,第二项是「用真参数规划的策略的代价」,两者之差就是后悔值。h(πe) 是正则项,防止策略过于复杂或者进入高代价状态。
这里有三个设计决定值得注意。
①训练时把「真值仿真」当裁判。每次迭代先从宽分布里采一组真参数 θ ~ Θ,然后在用这组真参数做的仿真里完整跑一遍 πe → πτ 管线:πe 在 fθ 里探索得到轨迹、g 拟合出 θ̂、TrajOpt 用 θ̂ 生成策略、这个策略再在 fθ 里执行、算出后悔值。训练全程不需要真实世界。
②为什么从分布里采 θ,而不是为某个具体 θ 训练。作者的答案很有意思:DR 的论证应该套在探索策略上,而不是套在任务策略上。πe 应该在尽可能宽的仿真环境分布里都可用,这样才能迁移到没见过的真实环境。而且这比训练任务策略更容易 —— 「完成任务的轨迹空间」比「对辨识有信息的轨迹空间」窄得多,后者宽松得多。
③奖励是稀疏的,而且实际优化的是 J 而不是 Ψ。πe 的奖励只能在整段探索轨迹跑完之后才算出来。作者说实际优化 EθJ(πτ(θ̂), θ),但报告时用 EθΨ,因为在有噪声的动力学下 Ψ 比 J 波动小得多,而且 Ψ = 0 是一个可解释的训练目标(意味着「用估计参数规划出来的策略和用真参数规划出来的一样好」)。
还要说清这篇跟前人的分界线在哪。论文把主动系统辨识分成三类数据来源:①被动辨识 —— 用任务策略执行时顺带产生的轨迹,或者离线轨迹;②主动但任务无关 —— 显式的探索策略去探测环境,但优化目标是参数精度或模型预测误差;③主动且任务导向 —— 这篇。被动的问题很直接:任务策略产生的轨迹未必是最适合辨识参数的 —— 你倒水时顺手测的那两杯质量,跟「为了测准而刻意抬杯子」的效率完全不同。而②的问题是本文的核心论点:把所有参数一视同仁地测准,不代表任务做得好。
顺带一个作者给出的警示,关于②里的「优化模型预测误差」这个变体:如果优化的是探索轨迹上的模型预测误差,探索策略会倾向于生成「容易被预测」的轨迹 —— 在某些系统里这等于什么都不做、不改变状态,预测自然变得平凡,而拟合出来的参数对下游任务毫无用处。这个反例很值得记,它说明「让模型准」这个目标本身可能自毁。
数据 / 数字 论文做了三个实验:一个仿真里的 LQR,两个真机任务(倒水、拖箱子),用了三种模型形态(解析模型、黑盒全动力学仿真)和两种探索动作空间(离散、连续)。
LQR 部分是全文的理论骨架,因为它能推出闭式目标。系统写成 xt+1 = A xt + B ut,代价是二次型;关键是令 A = UθU⊤,U 是 A 的特征向量、θ 是对应的特征值对角阵 —— 这样就把系统拆成已知部分 U 和未知部分 θ,探索策略要推断的就是 θ(也就是 A 的特征值)。
在这个设定下,作者推导出了「优化任务代价 J 关于探索策略 Ke 的目标」是三件事的乘积:①被辨识参数 θ̂ 对探索策略的敏感度(∇Keθ̂)、②动力学预测误差(x̂t − xt 项)、③任务代价(Dt 里的 Q 项)。任务无关的变体则完全没有和任务表现相关的项。这个推导把整篇论文的直觉变成了可以验证的公式。
这里还有一个容易被略过的设计:把 A 强行写成 UθU⊤ 是为了把未知量压缩到最少。一个一般的 n 维系统有 n² 个矩阵元素,但特征分解之后,未知量只有 n 个对角元素(特征值),U(特征向量)是已知的。也就是说,论文用一个结构假设把「辨识几个参数」这个问题从 n² 压到了 n —— 这也是为什么后面能逐个参数分析敏感度。这个技巧本身可以独立于本文使用:任何时候你想让系统辨识变得可解,第一步都该是找结构,把未知量降到最小。
评测用的是后悔比(regret ratio):探索策略在测试系统上的后悔值,除以初始随机探索策略的后悔值。因为 LQR 代价没有量纲单位,这样能给出 0 到 1 之间可解释的值。10 个随机种子,报告均值和标准差。结果:两种策略都能降低后悔值,但任务导向的收敛更快、终值更低、方差也更小。
倒水任务是第一个真机实验,设计得很干净:任务是从一个形状已知但初始水量未知的杯子里倒出 mτ g 水,mτ 每次执行都从分布里采样。因为杯子形状已知,只要知道初始水量就能算出该倾斜多少角度 —— 任务策略只有一个参数(倾角 φ),任务代价 J = |mτ − m̂τ|。
场景里还放了一个「干扰杯」:两只一模一样的杯子,未知参数是两个杯子的初始质量 θ = [m1, m2]。探索策略的动作空间是离散的 —— 抬 0 号杯还是 1 号杯,用末端力传感器估计被抬杯子的质量。测量有噪声,所以抬得越多估计越准。策略先对两个杯子各测一次,剩下的 Te − 2 步按伯努利分布 pe 选杯子,pe = 1 表示总是选任务相关的那只杯子。Te = 6,所以每只杯子最多测 5 次。
训练结果非常可读:任务无关策略的 pe 在 0.6 附近徘徊(两个杯子差不多各测一半),任务导向策略的 pe 接近 0.9,而且最终任务代价更低。真机上用 7 自由度 Franka Panda、两个一模一样的塑料烧杯、用秤测倒前倒后的质量,10 组目标参数采样:任务导向策略的平均任务代价是 14 g,任务无关是 22 g。
拖箱子任务是第二个真机实验,也是唯一一个用全动力学仿真的:把一个均匀密度的箱子在平面上从初始位姿拖到目标位姿。三个需要辨识和变化的参数:机器人-物体接触的扭转摩擦、物体-桌面接触的扭转摩擦、物体质量。任务代价是平移误差的 L2 范数加上角度误差绝对值的加权和,权重取到旋转误差与平移误差大致 3:1 的比例。
仿真用 NVIDIA Isaac Gym,并行跑 20 个机器人、时间步 Δt = 0.01 s,在单张 GTX 1080 Ti 上约 100 FPS。两个优化器都用 REPS(Relative Entropy Policy Search)这个无导数方法:SimOpt 和 TrajOpt 都在 10 次迭代内收敛。训 πe 时本来也想用 REPS,但取 Ψ 的完整期望在实践中太慢,所以改用仿真里的有限差分,并用 Adam 更新。
真机侧的设置很讲究:3D 打印一个带可拆盖空腔的箱子(这样能改变质量),盖子上贴 AprilTag 估计位姿;箱子顶面用 3 种材料(PLA 塑料、牛皮纸、毛毡)、桌面用 2 种材料、箱子用 2 种质量。每组参数用 3 个目标位姿、每个位姿 2 次试验,剔除了机器人完全推不动箱子的那些试验(发生在物体-桌面摩擦远大于机器人-物体摩擦时),最终每种方法各 48 次试验。
结果:任务导向探索的代价均值和标准差都更小,而任务无关那版相对随机探索没有改进。作者的解释很诚实:这个任务里随机探索本身已经能做出还不错的系统辨识,任务导向的信息只能带来进一步的提升。而探索轨迹的形状差异也能读出来:任务导向的轨迹起点离物体质心更远,这样物体的运动轨迹对「物体与桌面之间的扭转摩擦」更敏感 —— 作者在 LQR 分析里推导出的那个「敏感度 × 预测误差 × 任务代价」的三项乘积,在这里有了直观的对应。
工程判断
- 什么时候抄:你的场景是「模型已知但参数未知」(这是前提),而且探索预算有限 —— 你不可能在真机上无限试参数。抄的动作:①把探索策略的训练目标从参数误差换成下游任务后悔值,整条管线要在仿真里闭环跑完才能算梯度;②用真值仿真当裁判(采 θ ~ Θ → 在 fθ 里跑完管线 → 算后悔值);③报告时用后悔值而不是原始代价,因为它波动小、且 0 是可解释的目标;④一定要做那个「任务无关 vs 任务导向」的对照实验,不然你没法证明新目标真的有用。
- 什么时候不抄:三个前提。第一个是sim-to-real 的差距必须能表达成少数几个可辨识的参数 —— LQR 是特征值、倒水是两个杯子的质量、拖箱子是三个摩擦和质量参数;如果你的误差不是「已知模型 + 未知参数」的结构,这篇整个框架不适用。第二个是嵌套采样的代价:作者明说优化 πe 需要三层嵌套采样(有限差分采样、系统参数采样、任务目标采样),用全动力学仿真时梯度很慢 —— 论文只有 20 行轨迹、3 个参数才跑得动。第三个是探索预算必须真的紧:如果你的探索预算充裕、随便采都能把参数测准,那任务导向的优势会消失 —— 拖箱子任务里任务无关策略相对随机探索毫无改进就是这条边界的证据。
- 一句话启发:「别为了把参数测准而探索 —— 你要的是任务做对,所以应该问『哪个参数错了会让我的任务失败』,然后把探索预算全花在那个参数上(倒水任务里,就是把测任务那只杯子的概率从 0.6 抬到 0.9)。」
二、落地思考 / 我的判断
这篇论文真正改变的不是算法,是「谁为谁负责」这个默认设定。在它之前,机器人学里所有涉及采数据的环节 —— 主动感知、交互式感知、在线系统辨识 —— 几乎默认把「模型更准」当目的。这篇把目的换成了「任务更好」,而且这个替换在数学上是有依据的:LQR 分析给出的三项乘积(辨识敏感度 ∇Keθ̂ × 动力学预测误差 × 任务代价 Q)明确告诉你,任务代价这一项在任务无关的版本里整个消失了。
但它的适用范围比标题看起来窄得多,这一点论文自己交代得很清楚,我不打算替它放大。三条边界:①必须先有一个「模型已知、参数未知」的结构;②探索预算必须紧,否则任务无关版本靠随机探索就够了;③三层嵌套采样的梯度很慢,全动力学仿真下尤其明显。
更值得注意的是它的三个实验给出了一个「什么时候任务导向会赢」的判据。三个实验都赢了,但赢的原因不完全一样:倒水任务是「有明确的任务相关参数」 —— 任务只关心任务那只杯子的质量,干扰杯的质量测得再准也没用,pe 从 0.6 到 0.9 就是全部故事;LQR 是「任务代价有明确结构」,Q 矩阵直接告诉你哪些状态方向重要;拖箱子任务则是「有隐性敏感参数」 —— 机器人-物体接触的扭转摩擦本身不在目标里,但物体-桌面的扭转摩擦决定了拖不拖得动,所以探索策略得学会「从离质心更远处下手」来放大对关键参数的敏感度。第三种是最普适也最难自动发现的情况,而它恰好是三个实验里唯一需要「轨迹形状」层面调整的。
把这篇和前两篇连起来看,会发现一条很干净的线索。前两篇讲散粒材料:一篇用可微物理做真值模型,一篇用两千万帧数据学代理模型。而这篇讲的是当模型不准时该怎么采数据。三篇串起来其实在回答同一个问题:「模型」在闭环里到底应该被当成目标还是当成工具。
这篇的答案是模型是工具,任务才是目标。这个立场其实在别处也出现过,只是没人明说:前两天写的 DDBot 里有个「任务导向的演示方法」—— 用人先挖出一个目标坑的形状,来给技能优化提供初值,这本质上就是「为任务服务的先验」而非「为参数精度服务的先验」;GPWM 里的「搜隐噪声而不是搜动作」,本质也是把搜索限制在模型学过的、任务上合理的交互分布里,而不是在原始动作空间里瞎试。三篇的方法不同,但共享同一个立场:探索和优化的目标应该挂在任务上,而不是挂在模型上。
还有一层对照值得摆出来:这篇的「探索策略」和 GPWM 的「世界模型」其实是同一件事的两个极端。GPWM 学的是一个学出来的交互先验 —— 探索能力被压缩进模型权重里,而这份权重是任务无关的(它要覆盖六个物理域);这篇的探索策略是任务导向的 —— 它只针对一个任务、一个模型结构训练,专用程度高得多。前者泛化强但任务无关,后者任务相关但专用。真正的工程选择取决于你的探索预算和任务的参数敏感度分布:预算紧、参数敏感度集中,就该走这篇这条路;预算宽、任务多样,就该走 GPWM 那条。
我的判断是:这篇论文的价值不在于它今天还能不能跑起来(LQR、倒水、拖箱子都是六年前的配置),而在于它提出了一个可以被移植的目标函数改造。今天的世界模型、强化学习、系统辨识三套体系里,「采数据」这个动作无处不在,但「为谁采」很少被写成显式的目标。你可以把这个改造往上套:世界模型的数据采集策略是不是在优化「覆盖参数空间」而不是「覆盖任务相关状态」;主动感知是不是在优化「信息量」而不是「任务相关信息的期望价值」;仿真器的域随机化范围是不是在均匀覆盖而不是集中在任务敏感区域。
落到工程上,这篇给出一条能立刻跑的排查顺序。第一步,先问你的探索目标函数写的是什么。如果它写的是「最小化参数估计误差」或者「最大化信息增益」,那你正在为模型服务 —— 改成「最小化下游任务的后悔值」,这是纯目标函数改造,不改架构。第二步,如果你的探索预算充裕,先测一下随机探索够不够(拖箱子任务里答案就是够,那么这个方法对你没价值,别硬上)。第三步,如果预算紧,就去查「哪些参数对任务敏感」,这篇给的判据是看轨迹优化对哪个参数敏感(LQR 里是 Q 矩阵,拖箱子里要看物体-桌面的扭转摩擦对最终位姿的影响),然后把探索动作往那些方向设计。第四步,一定要跑完闭环再算梯度 —— 这篇最重的一段计算量全在这儿,而跳过它就等于回到了任务无关。
如果你的系统还没到「模型已知、参数未知」这一步,这篇给了一条中间路径。注意一个细节:这篇的管线和它批评的「域随机化」其实是互补而不是对立的 —— DR 在参数分布上做宽覆盖,这篇在探索动作上做任务导向。所以两者可以叠起来用:先用 DR 式的宽分布训练出对参数分布鲁棒的 πe(这正是论文说「DR 的论证应该套在探索策略上」的原因),再用任务导向的目标把 πe 拧到任务敏感的参数上。这一步拼接不需要改架构,只是把两个损失加起来。
另一个可以直接搬走的细节是用「后悔比」而不是原始代价做评测。这篇在 LQR 部分明确说了理由:无量纲的 LQR 代价不好解释,而后悔比能给出 0 到 1 之间的可解释值 —— 0.3 比 12.7 好读得多。这个做法对任何「代价量纲奇怪」的系统辨识实验都适用。
于是下一层的问题摆在这里了:这个目标函数改造在什么规模上还成立?具体是三个:①探索空间大到不能枚举时怎么找任务敏感参数(这篇只有 2 个和 3 个参数,是穷举得动的;几十个参数时,「哪些参数对任务敏感」本身就是另一个学习问题);②嵌套采样怎么摊平(三层嵌套是这篇明确承认的瓶颈,有限差分 + REPS 都试过,全动力学下还是慢 —— 一个可能的出路是用可微仿真直接对 θ̂ 求导,把「采样 θ」这一层消掉);③任务目标本身不确定时怎么办(后悔值需要你知道任务代价 J,这篇假设 J 已知;真实任务里「什么算做好了」往往要人给,而这恰恰是很多系统卡住的地方)。我认为第三个最难,也最该先想清楚。
| 实验 | 模型与探索动作空间 | 未知参数 | 关键数字 |
|---|---|---|---|
| LQR(仿真) 理论分析 | 解析模型;连续探索 | A 的特征值 θ(A = UθUᵀ) | 闭式目标 = 辨识敏感度 ∇Ke θ̂ × 动力学预测误差 × 任务代价 Q —— 任务无关版本中 Q 项整体消失;评测用后悔比(相对初始随机探索的后悔),10 个随机种子;任务导向收敛更快、终值更低、方差更小 |
| 倒水(真机) Franka Panda | 解析模型(圆柱杯倾角 φ = tan⁻¹((h − 2V/πr)/r));离散探索(抬 0 号或 1 号杯) | 两个杯子的初始质量 [m₁, m₂],任务只用一只杯 | Te = 6,每杯最多测 5 次,用力传感器测质量;任务无关 pₑ ≈ 0.6 对任务导向 pₑ ≈ 0.9(测任务那只杯子的概率);真机 10 组目标采样,平均任务代价 14 g 对 22 g;任务代价 J = |mτ − m̂τ|;训练用仿真有限差分求 ∂E_θ J/∂p |
| 拖箱子(真机) 3D 打印箱 + AprilTag | 全动力学仿真(Isaac Gym,并行 20 机器人,Δt = 0.01 s,单卡 GTX 1080 Ti 约 100 FPS);连续探索(两个受限 waypoint) | 机器人-物体扭转摩擦、物体-桌面扭转摩擦、物体质量 | SimOpt 与 TrajOpt 都用 REPS,均在 10 次迭代内收敛;真机每方法 48 次试验(3 目标位姿 × 2 次,剔除推不动的);箱子顶面 3 材料(PLA/牛皮纸/毛毡)、桌面 2 材料、箱子 2 质量;任务导向代价均值与标准差都更小,任务无关相对随机探索无改进;任务导向轨迹起点离质心更远,放大对物体-桌面扭转摩擦的敏感度;代价权重旋转:平移 ≈ 3:1;作者承认三层嵌套采样(有限差分/系统参数/任务目标)使全动力学下梯度很慢 |
References
- Liang, Jacky, Saxena, Saumya, Kroemer, Oliver (2020). Learning Active Task-Oriented Exploration Policies for Bridging the Sim-to-Real Gap. arXiv:2006.01952. cs.RO; submitted 2020-06-02, v2 2020-11-05; 正式发表于 Robotics: Science and Systems (RSS) 2020; 美国卡内基梅隆大学机器人研究所; 12 页。项目页与视频: sites.google.com/view/task-oriented-exploration
下一篇预告:这篇把「模型」在闭环里的定位讲清楚了 —— 模型是工具,任务才是目标。这个立场在别处也出现过:可微挖掘那篇用「任务导向的演示方法」给技能优化提供初值,粒子世界模型那篇让规划「搜隐噪声而不是搜动作」,本质都是把目标挂在任务上而非模型上。但这篇的适用边界也很窄:必须先有「模型已知、参数未知」的结构、探索预算必须紧(否则随机探索就够)、三层嵌套采样的梯度还慢。下一层要处理的是三件事:①探索空间大到不能枚举时怎么找任务敏感参数(这篇只有 2-3 个参数,几十个参数时「哪些参数对任务敏感」本身就是另一个学习问题)、②嵌套采样怎么摊平(一个可能的出路是用可微仿真直接对 θ̂ 求导,消掉「采样 θ」这一层)、以及③任务目标本身不确定时怎么办(后悔值需要已知 J,而真实任务里「什么算做好了」往往要人给 —— 这恰恰是很多系统真正卡住的地方)。第三个最难, 也最该先想清楚。