thinkism.ai

今日 6 篇 arXiv 速读:Auriga 用零样本 agent harness 把操作成功率从 22.5% 抬到 59.2%、TAMPAgent 让经典 TAMP 规划器接管 LVLM 的几何约束(77.2% 对 57.2%)、一张照片合成的监督打过了五帧真视频、CBF-QP Repair 把 VLA 的 SafeSuccess 从 47.19% 修到 49.69%、STL 监控测出「预测未来」几乎不比「看当前」强、Roz 测出世界模型组合泛化跌破 33% 随机基线

2026-11-04 · AI / 每日 arXiv / 零样本 agent harness · 信念空间 TAMP 规划 · 自生成监督 · VLA 安全修复层 · 预测式安全监控 · 世界模型潜变量审计 · 阅读时间 ≈ 20 分钟

上一篇(11-03)的收尾留了一个问题:「判据层自己有盲区,盲区里发生的事谁来管」。那六篇的答案是把「判据」从策略内部搬出来,做成一层可以单独测、单独审计的东西。但搬出来之后立刻冒出第二个问题:这层东西自己也会失灵。

今天这六篇往前推了一步:它们回答的不是「怎么造判据」,而是「当判据顶不住的时候,用什么替代它」。而替代的方式高度一致 —— 用结构换数据:

下面这张图把六篇放到两轴上。横轴是结构接管了多少工作(从左到右:没接管 → 接管了一半 → 几乎全交给结构);纵轴是工程投入(从下到上:几乎零成本 → 要建一整套基础设施)。

这张图最反直觉的地方:「接管的越多」和「越贵」几乎不成正比。右下角的 Roz 只管测不管跑,是最便宜的结构;左上角的 TAMPAgent 把几何判定整个接管过来,却最贵。所以成本不在「结构」本身,而在这个结构要接住的世界接口有多宽 —— TAMPAgent 要接完整的几何约束,接口最宽;CBF-QP Repair 只需接一个障碍距离函数,接口最窄,于是最便宜;One Image 的接口是「一个姿态条件生成器」,但要付 62GB 级别显存。结构接住的范围是手工划定的,边界也是手工划定的。

没接管 少 一半 多 全接管 结构接管了多少工作 → 低 中 高 很高 工程投入 → Roz 1734 场景 / 一次跑完 STL 监控 前瞻只值 +0.03 AUROC One Image FVD 92.5 唯一 <100 CBF-QP SafeSuccess 47.19→49.69 Auriga 22.5% → 59.2% / 13 轮迭代 TAMPAgent 77.2% / 要接完整几何 最便宜的结构,但只管测 接口越宽,越贵
六篇论文在「结构接管程度 × 工程投入」两轴上的定位。右下角的 Roz 是最便宜的结构(只做评测,不管运行时);左上角的 TAMPAgent 接管得最彻底,却因为要接住完整几何约束而最贵。中间那三个的成本,几乎完全由各自结构需要接住的接口宽度决定。

一、Auriga:把「会想不会做」的差额,用一个 harness 补上(Wang 等,arXiv:2611.01112,cs.RO / cs.AI,2026-10-31,StellarEdge AI Technical Team)

问题 视觉语言模型能读指令、能规划任务,但让它直接当机器人策略去执行就不行。作者把这个现象量化成一个叫「规划—执行差」的东西:在 RoboDojo 上,只要把机械臂执行整个拿掉,GPT-6 Astra 的成功率就从参考控制接口下的 22.5% 跳到 76.2%。换句话说,这个模型想的比做的好得多,中间那截全掉在执行上。

关键 idea / 方法骨架 Auriga 的定位是任务无关(task-agnostic)的 agent harness,它不改模型权重,而是把执行这件事从模型里搬到一个可编程的壳里。分工很清楚:

模型负责所有任务决策,它在一份显式的 task belief 上推理,通过两种方式动作 —— 直接 tool call,或者自己合成一段多步 Python 程序。harness 负责三件模型做不好的事:标定的 3D 测量、以手指为参照的双臂控制、以及通往机器人的单一 admission gateway。

这个 gateway 有两个时点上的职责。运动之前,仿真暂停,模型先看一份视觉轨迹预览再决定动不动。执行过程中,harness 检查模型自己声明的 stage tolerance 和抓取边界,一旦发现发散就直接停机,并把实测偏差量返回给模型,让它原地恢复而不是从头再来。

开发上的做法值得记一笔:13 轮跨任务的能力迭代,每一轮失败都用来改进共享的感知、控制、验证工具,而不是写成某个任务专属的脚本;然后冻结再评测。所以它的泛化能力是「设计出来的」,不是「调出来的」。

数据 / 数字 RoboDojo 的 42 个任务上,能力迭代到第 4 轮时是 36.2% SR(45.5 Score),冻结后的 Auriga 做到 57.7% SR(64.0 Score),排在排行榜第一;同一个模型下的参考 harness 是 29.0 Score / 22.5% SR。场景随机化下 Auriga 在标准场景 52.3% SR、随机场景 45.6% SR,而学习策略在随机布局下最多掉 33.9% SR。210 个 episode 的诊断集上,它闭合了规划—执行差的 68.3%,最终成功率 59.2%(参考接口 22.5%,特权无臂动作 76.2%)。RoboCasa365 的 50 个 Target50 移动操作任务(250 episodes,全是训练里没见过的厨房)拿到 73.2% Overall SR(92.2% Atomic-Seen、67.5% Composite-Seen、57.5% Composite-Unseen),对比 VLA-assisted agent 里的 RPent 59.2% 和 PyRUA-Lean 56.4%,复合任务上分别高 19.4% 和 23.1%。

工程判断
- 什么时候抄:你的系统里「决策」和「执行」由不同东西负责,而且你已经量化过这个差。判据很具体:把执行拿掉再跑一遍,成功率是不是明显更高 —— 是,就说明这半截该从模型里搬出来。搬出来需要三样:标定的几何测量接口、一个动作前给模型看预览的闸门、一个动作后的发散检测与原地恢复 —— 都不需要动模型权重。另外如果你要的是跨任务泛化,那「共享工具迭代 + 冻结评测」这个流程本身就是它一半的贡献,可以单独抄。
- 什么时候不抄:任务差异极大的时候别抄 —— harness 要覆盖的能力集很大,Auriga 用了 13 轮跨任务迭代才凑齐,这轮迭代成本必须算进预算;你的执行本来就很可靠时也别抄,68.3% 的闭环收益对你不存在;还要注意,如果你的失败主要来自「物理上做不到」而不是「没做对」,harness 帮不上忙 —— 它修的是「做了但做歪了」,不是「做不了」。
- 一句话启发:先量一量「把执行拿掉之后成功率是多少」 —— 这个差值就是你的 harness 该值多少钱,也是你该不该去建它的唯一依据。

二、TAMPAgent:LLM 决定「做什么」,经典规划器决定「怎么做才成立」(Mishra、Degirmenci、Chen、Xu、Hermans、Garrett,arXiv:2611.03584,cs.RO,2026-11-02,NVIDIA Research / 佐治亚理工学院 / 犹他大学)

问题 家里的机器人要在一间从没建过图的屋子里做长时程操作:目标可能在别的房间、杂物后面、甚至关着的容器里。这类任务把「决定要去找什么」和「决定怎么动」耦在了一起。LVLM agent 直接写 tool-call 程序,语义灵活、常识先验强,但不显式表达每个动作必须满足的几何与概率前置条件,换到新任务零样本部署就失败。TAMP(任务与运动规划)系统正好反过来:它显式推理带前置条件的参数化动作,计划可以先验证再执行 —— 但它有两个假设在开放世界里直接崩:问题要手写、场景要全观测。

关键 idea / 方法骨架 TAMPAgent 给 LVLM agent 装上一个跑在可扩展 API(感知、规划、控制三类工具)之上的信念空间规划模型。流程是三步:

第一步,agent 写出一个部分任务计划 —— 由参数化的观测动作和执行动作组成(比如「走到台面前」「抓那个把手的物体」)。第二步,这个计划交给经典搜索算法补全。第三步,从补全后的计划里抽出几何约束,agent 再用自己的工具 API 去给参数绑定合法取值以满足可行性,产出可执行的运动规划。执行时 agent 持续更新信念历史,交替做观测和操作动作,重复这个闭环。

关键设计在于分工:LLM 只负责产出「一个带参数的动作骨架」和语义判断,所有可行性判定都下沉给经典搜索 —— 它知道「大概要走到台前」,但算不出「从哪条路走、在什么姿态抓才不碰倒旁边的杯子」。

数据 / 数字 RBY1 的厨房任务上绝对成功率 77.2%,对比 CaP 的 57.2% 和 Graph as Policy(GaP)的 61.1%,而且每分钟仿真时间用掉的未缓存输入与输出 token 都更少。最有说服力的是那组非抓取任务 —— T4 到 T6、T8、T10 直接把「直接出计划」的路堵死:TAMPAgent 在 75% 的 episode 里成功,对比 CaP 50%、GaP 56%。次数上 TAMPAgent 和 GaP 都在第三次尝试成功、CaP 要第四次;累计这些尝试,TAMPAgent 的未缓存输入 token 比 GaP 和 CaP 少 42% 和 31%。另一组设置下,绝对成功率从 6.7% 提到 53.3%、部分成功率从 30.3% 提到 76.6%(六个任务平均)。

工程判断
- 什么时候抄:你的 agent 失败模式是「动作序列本身不可行」而不是「理解错了任务」—— 抓取姿态不对、路径撞障碍、物体根本够不到。判据可判定:把失败样本挑出来人工看,语义正确但几何不可行的占比超过一半就值得上。只抄分工(LLM 出骨架、搜索判可行)即可,不必抄完整的 TAMP 栈。
- 什么时候不抄:任务里没有多少几何自由度(纯桌面、物体都在手边)时,TAMP 的搜索开销换不回收益;调用链本来就只有一两步、试错成本可忽略时也别加。另外注意 TAMP 的经典假设是封闭世界,这篇是自己用信念历史去软化它 —— 这部分维护成本是你要自己付的隐性账单。
- 一句话启发:可行性判定不该由语言模型兼职 —— 让它决定做什么,让规划器决定怎么做才成立。

三、One Image Is Enough:没有真视频的时候,让模型自己造监督(Pinon、Orsini、Falaki、Jiang、Kingi、Wang、Zuo,arXiv:2611.02964,cs.CV / cs.GR / cs.LG,2026-11-02,Concordia University / Mila – Quebec AI Institute)

问题 姿态驱动的人体视频扩散模型,用一张参考图加一段目标姿态序列来驱动一个人。问题在于姿态一偏离参考,脸和衣服就开始画走样。标准解法是做个性化(personalization),但个性化需要监督,而监督恰好不存在:一张图只在单一姿态上定了身份,多姿态的主体视频在实践中根本拿不到。这是个典型的「要做的模型需要一种你恰好没有的数据」的死结。

关键 idea / 方法骨架 这篇的解法是不等数据,自己造。三步:

第一步,一个域调过的、姿态条件的生成器在选定的关键姿态上产出伪真值帧。第二步,推理时用一个只用参考图(reference-only)的采样器把这些候选推向主体,保留身份最一致的那些。第三步,一个 per-subject 低秩适配器(LoRA)在这些合成帧上训练,配置完全由参考图决定 —— 没有主体视频、没有真值、没有标签。

但真正起作用的机制是一个乍看反直觉的设计:把每张合成图重复成一个静态片段再拿去训练。真实帧作为采集物带着运动会侵蚀时间先验(你在教模型「这个人这么动」),而一个静态片段只传外观(只教「这个人长这样」)。于是合成帧虽然保真度更低,作为监督却比真帧更有效 —— 这正好把「身份」和「运动」从一条此消彼长的曲线上拆开了。

数据 / 数字 在 TikTok 和 UBC Fashion 上,适配后的模型在每一项指标上都优于基座,并反转了「身份 vs 运动」的权衡。跨域场景(训练于 TikTok,测 Unseen100-Val)最能说明问题:FVD 是唯一一个低于 100 的方法(92.5),其余全部高于 125(MusePose 131.1、Moore-AA 229.3、Animate-X 198.6 等)。人评(34 位受试者、每轴 180 个打分):外观一致性打 4–5 分的占 93%,基座只有 38%,四个轴上都是第一。消融:4,000 步时下游 PSNR 22.89 / LPIPS 0.177 / FaceID 0.764 / BodySIM 0.927,基座 20.33 / 0.283 / 0.619 / 0.906;500 步(默认的八分之一)已经拿回 95% 的 PSNR 增益,LPIPS、SSIM、BodySIM 从此就平了。成本也交代了:峰值显存里冻结基座占 70%(视频 DiT 49%、文本与图像编码器 + VAE 合计 21%),LoRA 更新连同优化器状态只占 15%;帧间残差(时间闪烁)比基座降了 60%。最狠的一句是结论里的:用一张照片合成出来的监督,打过了用五帧真实视频做的适配。

工程判断
- 什么时候抄:你要「保留这个主体」但手上只有一张图或一段短片,而且评测里身份和画质是分开的两轴。前提是你已有一个能按姿态生成的主体级生成器(这篇用的是姿态条件生成器 + 姿态控制适配器),且能拿到足够大的显存(62GB 量级)。另外那句「500 步拿回 95% 增益」值得单独抄:先跑小预算扫一遍再决定训多久。
- 什么时候不抄:要的是「训练信号本身的保真度」而不是「训练出来的模型的表现」—— 合成帧的教师质量(PSNR 19.54)明显低于真帧,论文自己标了这个代价;需要逐帧精确对应的任务(配准、测量、三维重建)更不该用伪标签。还有,LoRA 只占峰值显存的 15%,冻结基座占 70% —— 你省下的不是显存,是数据。
- 一句话启发:监督不存在时,别降级到用更弱的真数据 —— 用模型自己生成的、更「干净」的静态监督,因为静态片段只带外观、不带运动。

四、Route-Guided CBF-QP Repair:给 VLA 的安全过滤器补一条「回家的路」(Park、Hong、Kim、Park、Olson、Pesaranghader,arXiv:2611.01713,cs.AI / cs.RO,2026-11-01,成均馆大学 / KAIST / 多伦多大学 / LG Electronics Toronto AI Lab)

问题 VLA 模型能生成面向任务的动作,但不保证在障碍密集的场景里安全执行。在操作任务里这个安全缺口尤其要命 —— 一次小碰撞就会推动障碍物、打乱场景,后面每一步都建立在错误的前提上。已有的做法是 CBF-QP 安全过滤器:把不安全的动作局部投影回安全集。但作者点出了一个死结:这种修正可能把机器人推离学到的任务轨迹,结果动作安全了,任务却做不成了,而且 VLA 策略没有可靠的恢复方向 —— 它不知道该怎么绕回来。

关键 idea / 方法骨架 一个后置(post-hoc)修复模块,底座模型一行不改。做法是:用 VLA 预测的短时程 action chunk 去检测被堵住的标称轨迹,然后绕开障碍生成一条「进入 — 离开 — 重新汇入」(entry-exit-rejoin)的引导路径。选中的路径作为软引导项加进 CBF-QP 的目标函数,而CBF 的安全约束保持硬约束 —— 也就是说,路线影响「往哪走」,但绝不让位于安全。

这里的设计有两处讲究。第一,用 chunk 而不是单步:单步动作看不出「被挡住了」,短时程 chunk 才能看出这条路走不通。第二,「重新汇入」是流程的一部分,不是可选项 —— 下面这组消融数字会告诉你为什么。

数据 / 数字 在 SafeLIBERO 上对比 AEGIS:平均碰撞规避率(CAR)64.69% → 69.06%,任务成功率(TSR)62.81% → 65.00%,SafeSuccess 47.19% → 49.69%。分套件看,Object suite 上提升最大:CAR 56.25% → 76.25%,TSR 67.50% → 72.50%,SafeSuccess 41.25% → 55.00%。消融最有意思:去掉「重新汇入」引导,SafeSuccess 从 49.69% 掉到 47.92% —— 说明绕开障碍是不够的,机器人没被带回任务轨迹时仍然不算成功;去掉路线打分,SafeSuccess 掉到 48.15% —— 说明选对绕行方向同样重要。

工程判断
- 什么时候抄:你已经在跑 CBF-QP 之类的过滤器,而且能观测到「动作被改写」这个事件。判据可判定:统计你被投影的动作里,有多少在改写后让任务成功率不升反降 —— 这个数不小就值得加修复层。你需要三样:能拿到 VLA 的短时程 chunk、能算障碍绕行、能把路线写进同一个 QP。而且它是后置的,底座可以一行不改。
- 什么时候不抄:你还没有一个能用的安全过滤器 —— 本篇是三层楼(CBF + QP + 路线),你得先把第一层搭起来;场景里没有「被挡住」这回事(空旷桌面)时修复层根本没有触发条件;还要清醒地看一眼绝对值,69.06% 的 CAR 并不高,别把它当成「已经安全了」—— 它相对 AEGIS 只是更好。
- 一句话启发:硬约束只保证「不撞」,不保证「还在干原来的事」 —— 安全层和任务层之间,需要一条明确的路。

五、Predictive STL Monitoring:给 RL 策略配「预测式安全监控」到底值不值(Ali、Chachar、Ali、Rajper,arXiv:2611.02218,cs.RO / cs.LG,2026-11-01,信德伊斯兰大学 / 沙阿阿卜杜勒拉蒂夫大学 / 卡尔米里诺大学 / CNR 生物物理研究所 / 米尔普尔哈斯大学)

问题 在标称仿真条件下训的 RL 运动策略,部署时大概率会撞上分布偏移。一种思路是给策略配一个预测式监控器:用世界模型 rollout 预测未来几步,提前发现会发生的违规。但这里有两个硬伤 —— 世界模型的预测在偏移下同样会失灵,而另一个常用替代指标集成分歧(ensemble disagreement)本身没有标定。这篇要回答的是:这套东西到底值不值这个钱。

关键 idea / 方法骨架 用信号时序逻辑(STL)写安全规格 —— 这比「越界了就算违规」强,因为 STL 能表达「在 T 时间内始终不超过阈值」这类时序性质。实验设置是:对冻结的 Ant-v5 和 HalfCheetah-v5 策略,用闭环世界模型 rollout(三个模型的集成),在外部力、观测噪声、质量三类偏移下,检验「预测出来的鲁棒性」对「未来 STL 违规」的排序能力,并与「集成分歧」这个常见替代指标正面对照。

这个设计的克制之处在于:它先在当前状态上建一个基线,再问预测带来了多少增量。这个基线如果不做,结论就没法解释。

数据 / 数字 最刺眼的一个数:严重噪声下违规仍然很常见 —— K=20、三个 PPO 种子上违规率 64.2%±24.4%,也就是说这些设定下监控基本失效。但关键结论是反过来的:不用预测、只看当前状态的鲁棒性,在 AUROC 上离「预测式鲁棒性」只差 0.03。预测式鲁棒性能对 HalfCheetah 未来的 STL 违规给出很强的排序,但集成分歧既不能可靠跟踪观测预测误差,也不能跟踪违规;用分歧惩罚预测式鲁棒性也没有一致改善排序。Ant 上的证据互补:复合目标没有正违规样本,「任何违规」这个目标在多数「种子 × 条件」切片上是单类的 —— 有些切片根本无从排序。结论很克制:预测式鲁棒性提供了有用的 STL 特定排序能力,但相比当前状态几乎没有展示出额外的排序价值。

工程判断
- 什么时候抄:反向抄 —— 你的监控已经建立在「当前状态」上,而你正准备加一层世界模型做前瞻,这篇建议你先别加,除非「违规会在几秒后才发生」是主要失效模式(比如刹车距离、接触余量)。判据很硬:前瞻比只看当前状态好多少?如果这个差是 0.03 量级,那这套世界模型可能只是让你多付一份训练成本。要求不高:当前状态可观测、你能给一个布尔或阈值的判据。
- 什么时候不抄:别把这篇读成「预测没用」。它的结论被明确限定在 STL 规格 + 冻结策略 + MuJoCo 三类偏移上;换成安全关键的长时程接触任务,或违规代价高度不对称(一次碰撞的代价是其他违规的百倍)的场景,前瞻的价值会变。另外它明确反对的是「把集成分歧当安全不确定性指标」,不是反对预测本身。
- 一句话启发:看到「用世界模型做安全前瞻」时先要一个数 —— 它比「只看当前状态」好多少?这个差值就是你该给它多少预算。

六、Roz:世界模型的潜变量里,到底有没有物理(Ge、Sheth、Thaman,arXiv:2611.00612,cs.RO / cs.LG,2026-10-31,Pantheon)

问题 潜变量动力学世界模型在机器人规划上成绩很好。问题是:它们真的编码了世界的物理吗?这篇的回答是 —— 今天流行的世界模型,在那些「退化成图像相似度」的任务上拿得到分,却忘掉了场景里的关键细节:质量、形变、摩擦、弹性。换句话说,它们的潜变量里存的是「看起来对」,不是「物理上对」。

关键 idea / 方法骨架 两步。第一步,严格定义「一个潜变量动力学世界模型应该编码什么」,并用常识论证每一条性质(哪些信息该进潜变量、哪些不该)。第二步,给出两种可扩展的评测方法:对比式(contrastive)和连续最近邻(continuous nearest-neighbor),按它们对距离函数要求强度分成三类任务。

这套评测最亮眼的设计是它不要任何东西:probe-free、training-free、model-agnostic。你只需要三样 —— 一个能吃静帧或视频的模型、一个提取它预测的潜变量的方法、以及潜变量之间的一个距离函数 —— 一次跑完。作者解释了为什么这重要:语言模型的评测(MMLU、HellaSwag)提供了简单接口让领域能爬坡放大,而机器人评测因物理测试昂贵、不可靠,往往带来陡峭的成本和取舍。

数据 / 数字 Roz 总计 1,734 个场景(10 个对比式 + 3 个连续式)。最直接的证据:在同样的 2,800 个 hidden-location 输入上,Wan2.2-TI2V-5B 与 Motus Stage 1 在主 Roz 关系上都是正好 37.5%(两种噪声抽取都是)。在组合恢复上,Wan 拿到 22.0% 和 16.7%,Motus 15.4% 和 15.5%,全部低于 33% 的最佳常数基线;Motus 减 Wan 的配对差分别是 −6.6 点(95% 场景区间 [−9.4, −3.9])和 −1.2 点([−4.0, +1.7]),两个方向都没触发预注册的十点门槛。DreamDojo 上,hidden-location 的几何关系对每个 checkpoint、每种噪声抽取都停在 37.5%(128 个关系里 48 个)。更小的诊断里,末层分类器在熟悉的移动模式上恢复 55–62%(高于「初始位置 + 无序移动计数」的 50% 上限),中层读出到 71–76%;但换成 16 个新场景的新组合,准确率掉到 28–32%,在 33% 最佳常数基线上下。论文自己的模型上,性能随训练步数大致上升,但与重建 MSE 不一定相关。33% 这个数字的来源也解释清楚了:三个表示近乎等价时,三对距离比较中哪一对最小是等概率的 —— 所以这不是「模型有 37.5% 准确率」,而是「模型分不清」。

工程判断
- 什么时候抄:你正在选型潜变量世界模型,或者你手上有一个世界模型、但「它在规划上分数不错」让你放心。直接跑 Roz:不需要 probe、不需要 planner、不需要重训,一次跑完就能告诉你潜变量里有没有质量、形变、摩擦这些你真的会用到的东西。如果你还在用重建 MSE 选模型,这篇直接告诉你那不是一个可靠的替代指标。
- 什么时候不抄:你的任务里物理属性根本不需要区分(只做位姿搬运,物体多重无所谓),那 1,734 个场景里的大部分对你无意义;也别把 37.5%、22.0% 当成「模型坏了 63%」—— chance level 是 33%,模型就在「几乎等于随机」的位置,而 Roz 的分辨率本身也受限于这个设计。最后记住它的边界:Roz 测的是潜变量「表达了什么」,不测 rollout「会不会漂」 —— 潜变量啥都没有却预测得很准,也是可能的。
- 一句话启发:重建 MSE 涨了不等于潜变量里多了物理 —— 今天能用一次跑完的评测测出来,就别再拿 planner 分数去猜。

七、落地思考 / 我的判断

六篇的统一潜台词:它们都在做同一件事 —— 用结构换数据。具身智能的默认答案是「加数据、加模型、加训练」;这六篇给的是另一条路:当数据不够、标注太贵、或者模型天花板卡在某个环节上时,把本该从数据里学出来的那一部分,交给一个显式的、可单独检查的结构。Auriga 把执行能力交给 harness;TAMPAgent 把可行性判定交给经典规划器;One Image 把监督交给模型自己生成的伪帧;CBF-QP Repair 把安全后处理交给一条显式路线;Roz 把「该往哪优化」交给评测;STL Monitoring 则反过来证伪了一个我们以为很值钱的结构 —— 前瞻式监控几乎不产生增量。

但把这六篇并排放在一起看,图上留着一条更有意思的线:接管的多少和贵不贵几乎无关,贵的永远是「结构要接住的世界接口有多宽」。

所以最值得先抄的是第六篇(Roz)的评测,不是它的方法。理由是成本:它只需要一个能输出潜变量的模型、一个距离函数、一次跑完,产出的是一张「你的世界模型到底存了什么」的表。这张表会改变你接下来所有的采购和训练决策 —— 而你现在很可能靠 planner 分数和重建 MSE 做决策,而这篇正好证明两者都不可靠。它的前提也很低:能提取潜变量、接受「一个距离函数」这个抽象、且你的任务里物理属性真的会进决策(抓取力、摩擦、形变)。如果你不做模型选型,那第二值得抄的是第四篇(CBF-QP Repair)—— 后置、底座零改动。

今天没解决的,比解决的更值得记一笔。这六个结构自己都有盲区,而且盲区都是被具体设计出来的:Auriga 的 harness 只覆盖那 13 轮迭代出来的能力集合,新任务类型还得再迭代;TAMPAgent 的经典搜索建立在封闭世界假设上,这篇用信念历史去软化,但信念的维护它自己不管;One Image 的伪帧保真度低于真帧(教师 PSNR 19.54),且它为拿身份把运动先验一起削弱了;CBF-QP Repair 的绕行路线依赖障碍能被几何化描述;STL Monitoring 的负结论被限定在 MuJoCo + STL 规格 + 冻结策略的范围内;Roz 测的是潜变量表达,不是预测会不会漂,33% 的 chance level 也意味着这套评测分辨率本身有限。

于是上一期那个问题今天有了更锋利的版本。上一篇问「判据层有盲区,盲区里发生的事谁来管」。今天六篇的答案是:盲区不消失,只是被搬到了一个你能看见的地方 —— 你能看见 harness 没覆盖的能力清单、伪帧的教师质量、过滤器把任务推歪的比例、Roz 的 chance level 立在 33%。但搬出来不等于缩小了。真正的新东西是第五篇那一类:它测出了一个「大家都以为很值钱的结构其实几乎不产生增量」 —— 前瞻式监控加了一整套世界模型训练,换来 0.03 AUROC。这说明我们手里那些「显然该有的组件」,混着不少同款。

所以下一层的问题摆在这里了:你系统里那些「所有人都觉得理所当然要建的结构」,有多少是这一种?这个问题的成本很低 —— 像 Roz 那样做一次对照实验就行 —— 但结论可能很难接受。

论文 主题 结构替换了什么 关键数字
Auriga
2611.01112
agentic control模型只做决策;执行交给标定 3D 测量 + 双臂控制 + 单一 admission gateway + 动作前后校验参考接口 22.5% → 去臂 76.2%,Auriga 59.2%(闭合差的 68.3%);RoboDojo 57.7% SR / 64.0 Score 第一;随机布局下学习策略最多掉 33.9%;RoboCasa365 73.2% SR,对 RPent +19.4%、PyRUA-Lean +23.1%(复合任务)
TAMPAgent
2611.03584
agentic control · 规划LVLM 出参数化动作骨架,几何可行性交给经典 TAMP 搜索,belief 空间闭环RBY1 77.2% 对 CaP 57.2%、GaP 61.1%;非抓取任务 T4-T6/T8/T10 75% 对 50%/56%;未缓存输入 token 少 42%/31%;另一组绝对成功率 6.7%→53.3%、部分成功率 30.3%→76.6%
One Image Is Enough
2611.02964
可控视频生成没有主体视频就自己造:姿态条件生成器产伪真值帧 + reference-only 采样器选帧 + per-subject LoRA 训静态片段Unseen100-Val 上唯一 FVD < 100 的方法(92.5),其余全在 125 以上;人评外观一致性 4-5 分占 93% 对基座 38%;4,000 步下游 PSNR 22.89 / LPIPS 0.177 / FaceID 0.764,基座 20.33 / 0.283 / 0.619;500 步已拿回 95% PSNR 增益;峰值显存基座占 70%、LoRA 只占 15%
Route-Guided CBF-QP
2611.01713
安全 VLA用短时程 chunk 检测被堵轨迹,生成 entry-exit-rejoin 绕行路线作为软引导项,CBF 约束保持硬约束SafeLIBERO 对 AEGIS:CAR 64.69%→69.06%、TSR 62.81%→65.00%、SafeSuccess 47.19%→49.69%;Object suite SafeSuccess 41.25%→55.00%;去掉重汇入掉到 47.92%、去掉路线打分掉到 48.15%
Predictive STL Monitoring
2611.02218
安全 RL · 预测式监控STL 时序规格 + 三模型集成的闭环世界模型 rollout,并与「只看当前状态」和「集成分歧」两个基线对照严重噪声下 K=20、三个 PPO 种子违规率 64.2%±24.4%;预测式鲁棒性比当前状态只高 0.03 AUROC;分歧不跟踪预测误差也不跟踪违规;Ant 的复合目标无正违规样本
Roz
2611.00612
世界模型 · 潜变量审计probe-free / training-free / model-agnostic 的潜变量评测,只要模型 + 潜变量 + 距离函数,一次跑完10 个对比式 + 3 个连续式任务共 1,734 个场景;Wan2.2-TI2V-5B 与 Motus Stage 1 在 2,800 个 hidden-location 输入上同为 37.5%;组合恢复 Wan 22.0%/16.7%、Motus 15.4%/15.5%,低于 33% 最佳常数;16 个新场景的新组合准确率 28–32%

References

下一篇预告:今天把「用结构换数据」这一层摆出来了 —— 六个结构,六种替代方式。但这次看得更清楚的是:贵的从来不是「结构」本身,而是「这个结构要接住的世界接口有多宽」。TAMP 要接完整几何所以最贵,CBF-QP 只接一个距离函数所以最便宜,Roz 干脆不接运行时接口。下一层要正面处理的,是「你系统里那些所有人都觉得理所当然要建的结构,有多少是今天第五篇那种 —— 加了一整套世界模型训练,只换来 0.03 AUROC」。好消息是这个问题很便宜:像 Roz 那样做一次对照实验就行。