今日 6 篇 arXiv 速读:90.11% 的成功率换把尺子只剩 16.9%、官方评测器把 8493 条指令搞坏、看见验收标准反而学会过拟合、黑盒奖励分换成可核验清单、探针自带漏检误报上界、有限实验只能证明单边下界
上一篇(11-06)留了个问题:「如果那个『量缝隙』的动作本身也可能是错的呢?」那天六篇的答案是补上两个环节之间那一步。
今天这六篇再往后退一步 —— 盯上的不是「缝隙」,也不是「怎么把量缝隙的那个数换掉」,而是换完之后,谁来证明这把新尺子本身是准的。六个方向的答案形状惊人地一致:每一篇都先说清楚「原来那把尺子偏了多少」,再谈新尺子。
- Training-Independent Validation:特技驾驶策略报告 90.11% 成功率,换一把独立于训练目标的尺子重测,1,152 次试验后只剩 16.9% —— 旧尺子把最差的一档排成了最好;
- Same Behavior, Different Mechanism:两个输入输出相同、机制不同的网络,行为看不出差别(0.28 对 0 比特);而盲区是样本量救不回来的精度地板 0.30 到 1.02 比特;
- RSIJudge:让 agent 看见验收标准,它学得更快(原标准下 51.6% 对 27.8%),但换成忠实于指令的标准后优势倒过来(45.0% 对 47.2%),换任务就消失;
- La-JEPA:官方 LIBERO-Plus 评测器把 10,030 个变体里的 8,493 个指令搞坏了,修好之后 Fast-WAM 直接涨 19.3 个点;
- ArtiVidRM:奖励模型不该吐不透明标量,而该先列看得见的瑕疵清单再打分 —— 清单平均 6.11 条/视频,召回 87.84%、精度 84.37%;
- VLA-Tug:运行时监控不该只报一个分数,该报漏检率与误报率的上界 —— 迁移到没见过的任务时这上界在 40% 到 86% 的运行里还成立,基线最多 21%。
下面这张图把六篇放到两轴上:横轴是尺子和被测物解耦到什么程度,纵轴是拿到新尺子要动多少东西。
图上最反直觉的是右下角:最便宜的那把尺子(Same Behavior)恰好是唯一一把能说清自己最多能证明什么的尺子。左上角的特技驾驶独立性最高,代价只是 1,152 次仿真加几趟真车,却给出最大的落差。真正贵的是中间偏上和最右上那两个:La-JEPA 要重训世界动作模型,ArtiVidRM 要两阶段 RL 加 26.5K 条偏好标注,却恰恰最深地陷进被测物里。越贵的格子,换来的是更贴合的尺子,不是更可信的尺子。
一、Training-Independent Validation:把最差的一档排成最好(Shekar、Arab、Yi,arXiv:2611.07516,cs.RO / eess.SY,2026-11-05,General Autonomy / 纽约城市学院 · 纽约大学 / 罗格斯大学,CC BY 4.0)
问题 学出来的控制器几乎都在训练时用的那套条件和目标下做验收。但真实道路上会变的那些物理参数,恰恰是训练时被固定住的。作者的立场很硬:验收必须独立于训练 —— 要变训练时没变的参数,用训练目标里根本没有的验收标准。
关键 idea / 方法骨架 被测对象是特技驾驶策略 G-Maneuver,任务是 180 度掉头。方法结构是「先造一把新尺子,再拿两把尺子同时量同一批试验」:一、验收标准独立写 —— 原训练目标只管「转够多少度」,新标准额外要求交接时刻车辆既不旋转也不侧滑(可恢复性)。二、用汽车安全分析框架(覆盖率测试)挑参数而不是均匀撒点。三、Sim2Real2Sim —— 真车试验有安全代价,先用仿真挑出「安全区」,真车只在这区域跑,再用仿真复现真车条件。四、把两把尺子并排比。
数据 / 数字 G-Maneuver 在训练条件下报告 90.11% 成功率。独立验收下:全量网格 1,152 次 CARLA 试验,215 次(18.7%)满足完成判据;再扣掉「完成掉头但交接时还在转或滑」的 20 次,剩 195 次通过,16.9%。失败很集中:666 次(57.8%)转角不足 170 度。两把尺子对撞:仿真框架自带的分数,报出 156 次成功,但只有 80 次能通过独立验收、还错拒 115 次,两尺在 191 次(16.6%)上结论相反。更宽松的终端航向评分,把最差的那一档排成了最好。
工程判断
- 什么时候抄:你在验收一个学习出来的控制器,而验收标准是从训练目标里抄的。动作很小:写一条训练目标里没有的验收标准,在训练时没变过的参数维度上开网格,把两把尺子在同一批试验上并排跑一遍。两个可搬零件:覆盖率测试代替均匀撒点、Sim2Real2Sim 闭环。
- 什么时候不抄:前提是你能生成只差一个因子的对照试验,并能承受真车成本 —— 这篇真车接受率只有 16.9%,大部分真车试验是失败的。失败模式还是任务相关的:这篇集中在转角不足。另一条元教训:旧尺子差在「训练目标里没提的条件」,不是差在精度 —— 只调阈值,还在同一把有偏的尺子上。
- 一句话启发:「训练时用的那个目标,天然会给自己打高分」—— 换一把训练里没出现过的尺子,才是验收的开始;新尺子还要能把旧尺子排错的那一档揪出来。
二、Same Behavior, Different Mechanism:有限实验最多能证明什么(Wu、He,arXiv:2611.08469,cs.LG / cs.AI / q-bio.NC,2026-11-05,滑铁卢大学 / 圆周理论物理研究所 / 德布勒森大学,代码作为附属文件发布)
问题 可解释性、AI 审计、机器意识评估越来越依赖机制层面的量 —— 不是「系统输出什么」,而是「系统怎么算出来的」。但实验只能通过有限的、部分覆盖、带噪的干预去摸这个机制。这篇问的是个被忽略的问题:这样的量,在什么实验条件下才是可识别、可连续、可证明的?
关键 idea / 方法骨架 作者选了一个故意选得很苛刻的案例:整合信息论里的 φ —— 它要选分区、要选原因和结果、还要求报告的量和自己指定的量是同一个。实验设定是有已知真值的随机网络(4 单元与 5 单元),「真实 φ」是能算的,于是这篇可以反过来问:给我一组有限的实验记录,我能恢复出多少关于 φ 的信息?
三条结论线:行为可以是哑的 —— 一个循环网络和一个前馈网络,在响应延迟上输入输出完全相同,但 φ 一个是 0.28 比特、一个是 0 比特,行为上永远分不开;只要记一个内部单元,4 到 53 次试验就能分开。部分接入可以同样盲 —— 没被记录到的单元引入 0.30 到 1.02 比特的精度地板,再多样本量也降不下去。这个量有锋利的边 —— φ 在边界两侧不连续,99% 的边会让它变化 25% 到 100%,而且拟合得几乎完美的代理模型照样会报错,约 1% 的拟合错报超 20%。
但最后给出了能站住的结论:单边下界。同一条边的两侧,数据仍能各证一个下界。作者还证明了在一个 64 维的机制区域里 φ > 1.004 比特,从约 750 万次受控转移就能认证,假证书概率不超过 α。作者把它写成一句设计命题:可测性是设计问题,而且有可计算的答案。
数据 / 数字 必须记住的数:0.28 对 0 比特;4 到 53 次试验分开;0.30 到 1.02 比特的精度地板(1.02 是四单元上限 1.21 比特的 84%);0 到 1.13 比特的兼容区间 —— 同一份记录与 φ 从 0 到 1.13 比特都相容,合法 95% 区间的期望宽度至少 1.016 比特,与样本量无关;849 条边,26% 到 44% 的随机路径会在单位参数距离内撞边。
工程判断
- 什么时候抄:你在做机制层面的审计或可解释性断言,而手上只有有限的部分观测。抄这篇的方法论比抄它的结论有用:先算清楚你的实验设计能分辨哪些候选,再去收数据。三个可以照搬的检验:①行为等价测试 —— 造两个行为相同但机制不同的候选,看能不能分开;②精度地板测试 —— 把某个关键变量从记录里拿掉,看结论塌不塌;③边的测试 —— 沿参数做微小扰动,看指标是不是在某处跳变。放弃点估计,改报单边下界是这篇给的实用形态。
- 什么时候不抄:前提是你的断言真的是机制层面的。要证明的只是「模型在这个分布上表现如何」,直接量行为就行 —— 这篇第一条结论恰恰是行为对机制完全无信息。另一个前提是你得先有「真值」或可穷举的小系统:严格结论建立在 4 到 5 单元的合成随机网络上,真实大模型没有对应物。给大模型做审计,该搬的是三个警告,不是 φ 的数值。
- 一句话启发:「多收数据」不是万能解药 —— 盲区会变成精度地板,再多样本也降不下去;该做的是先把实验设计算清楚,然后敢于只报单边下界。
三、RSIJudge:让 agent 看见验收标准,它学会的是验收标准(Huang、Bi、Yang 等 13 人,arXiv:2611.08318,cs.AI / cs.RO,2026-11-05,北京大学 / 新加坡国立大学,22 页 8 图 10 表,CC BY 4.0)
问题 自我改进的具身 agent 越来越在机器人仿真基准上刷分,而好几个近期工作会把基准的验收标准直接暴露给学习中的 agent(Criteria Exposure,CE)。问题在于:那些标准本来是为「验证模仿学习策略」写的,要求常常比语言指令更多。所以问题是 —— 当 agent 看见了验收标准,它写出来的代码是更好地完成了指令,还是只是更好地过拟合了那个验收器?
关键 idea / 方法骨架 结构是一个三段对照实验,关键是它造了第二把尺子。第一段先按基准自己的标准判:success-only(只看到成功/失败的粗反馈)对 w/ CE(额外读到验收标准的规则、评分表、数值阈值甚至验证器源码);每轮基于上一批证据改一版代码,改坏了就回滚。第二段把同一批 episode 交给第二把尺子重判 —— 这把新尺子叫 instruction-faithful criteria:只重写验收标准代码,绝不动指令。第三段问迁移:把两个代码库蒸馏成一个,用到没被源任务覆盖过的新任务上,再跨基准搬到 LIBERO-PRO 和 RoboCasa365。还有一件前置工作不能漏:作者人工复查了 RoboDojo 每个任务,分成「criteria-limited」(验收标准和指令在某条轨迹上不一致)和「faithful」两类 —— 这就是一把尺子的体检报告。
数据 / 数字 RoboDojo 上学 25 个任务(16 个 criteria-limited、9 个 faithful)。按基准原标准判:空代码库 24.6%,success-only 47.8%(+23.2),w/ CE 62.0%(+37.4);拆开看,criteria-limited 上是 8.4 / 27.8 / 51.6,faithful 上是 53.3 / 83.3 / 80.6 —— 暴露标准只在「标准比指令要求更多」的地方有收益,在忠实任务上甚至是负的。
第二把尺子一上,结论就翻了:同样 320 个 episode/代码库,改用 instruction-faithful 标准判,暴露方 45.0%,success-only 47.2% —— 优势倒过来,且在噪声内(47 对 54 个布局)。而第三段最狠:搬到 10 个新任务(200 个 episode),空库解 65 个,success-only 80 个(+15),w/ CE 只有 71 个(+6) —— 原本 14.2 个点的优势在新任务上完全消失,甚至反转。跨基准更弱:LIBERO-PRO 上 45 → 48 → 46,RoboCasa365 上 22 → 24 → 24。细节也很说明问题:press_by_number 要求蓝按钮在两组红按钮之间恰好按两次 —— 指令里从没提过,暴露了标准的 agent 真的学会了这个协议,success-only 的 agent 永远找不到它。
工程判断
- 什么时候抄:你在做自我改进 / RL from execution feedback,而你的反馈信号里包含了验收规则、评分表、数值阈值甚至验证器源码。抄这篇的动作分三步,都很便宜:①把「暴露标准」当成可开关的实验变量而不是默认项,做一次 A/B;②造一把 instruction-faithful 的尺子:只重写判分代码、不动指令;③加一个换任务测试,把学到的东西搬到没覆盖过的任务上看还剩多少 —— 这一步最便宜也最有信息量,它区分了「学到能力」和「学到套路」。
- 什么时候不抄:如果你故意在训一个「把基准刷到最高分」的策略,那 CE 是对的手段 —— 它反对的不是「利用验收标准」,而是把过拟合的分数当成能力提升来汇报。另外两个前提:你得有第二把尺子(instruction-faithful 标准要人工改写,这篇反馈是仿真的);若 agent 看不到任何成功/失败信号,CE 就是你唯一的反馈来源。还要注意迁移方向性:换任务后优势消失、跨基准后几乎为零,但同基准内还在。
- 一句话启发:「看见答案」和「学会解题」在分数上可以完全一样 —— 所以必须加一把只判题面、不判额外条件的尺子,再加一次换题测试;51.6% 对 27.8% 的领先,在换尺子后变成 45.0% 对 47.2%。」
四、La-JEPA:官方评测器把 8493 条指令搞坏了(Clémente、Xue、Abyaneh 等,arXiv:2611.08156,cs.RO / cs.CV / cs.LG,2026-11-05,华为 / 多伦多大学 / 麦吉尔大学 / Mila,30 页 6 图)
问题 世界动作模型(WAM)改编自预训练视频生成器,VLA 改编自预训练视觉语言主干 —— 两者都把策略的架构和推理成本绑在为生成设计的大 transformer 上。这些生成导向的选择到底对控制有多大影响,没人说清。但真正引爆的是它顺手撞上的另一件事。
关键 idea / 方法骨架 La-JEPA 的做法很直接:策略 transformer 从零训练,但训练在预训练 V-JEPA 2.1 编码器的特征空间里做;训练时像 Fast-WAM 那样联合预测未来特征和动作,推理时只出动作。三个规模 S / B / L 对应 0.10 / 0.34 / 1.14 B 可训练参数。作者还做了一组设计研究:换预测目标、换特征空间、换时序编码、相机 dropout、数据增强与编码器适配。
而真正的头条在 5.2 节:作者发现 官方发布的 LIBERO-Plus 评测器把 10,030 个变体里的 8,493 个指令搞坏了 —— 它把扰动的参数直接追加到指令尾巴上。作者的处理是自己修好指令、重跑所有开源基线。
数据 / 数字 修好指令后的变化非常直接:Fast-WAM 涨 19.3 个点,LeapBot-WA 涨 8.1,Cosmos Policy 涨 4.1;而图像生成器类 WAM 和 VLM 类策略最多变 1.4 个点,La-JEPA 自己涨 3.9 到 6.3。换句话说,评测器的 bug 恰好在视频生成器那一类模型上放大了。方法本身:La-JEPA 相对最强竞争策略部署参数少约 4 倍,比 Fast-WAM 最快快到 5 倍;三个尺寸训练时更新 0.10 到 1.14 B 参数,基线是 2.0 到 7.8 B。联合训练相对只训动作:LIBERO-Plus 平均成功率 74.35% → 76.47%(+2.12 点),三个种子全部为正(McNemar p < 0.01);RoboTwin 上 80.16% 干净 / 39.02% 随机,对 73.14% / 35.34%。特征空间的选择差得更远:V-JEPA 特征在随机场景 15.00%,Wan2.2 只有 1.28%。
工程判断
- 什么时候抄:这个可以直接照抄的检查只有一句话:去读一遍你用的评测器的判分代码,确认它发给策略的到底是哪条指令。这篇的价值不在模型(那要重训),而在它顺手查出来的事:84.6% 的变体指令是坏的,后果是实打实的:Fast-WAM 修完指令涨 19.3 个点。任何靠 LIBERO-Plus 排名的结论都要重算。所以抄的动作是:(一)审计你的评测器,逐个变体比对「你发出的指令」和「你要求的任务」;(二)审计榜单上别人的数字;(三)顺手试一下换特征空间 —— 15.00% 对 1.28%,这是整篇里最像「选型建议」的一条。
- 什么时候不抄:这个 bug 只在 LIBERO-Plus 上,换基准就要重新查;修好后对不同架构的影响差 13 个点(19.3 对 1.4 对 6.3),「修完榜单就重排」只在视频生成器那一类成立。另一个方向是别照抄它的架构:从零训练策略,前提是你有预训练编码器可用,并接受「策略没有生成式预训练主干」这个取舍。不要把架构结论和评测结论混为一谈 —— 前者是设计主张,后者是可核查的事实。
- 一句话启发:「榜单上有一部分名次是评测器的 bug 造出来的 —— 而 19.3 个点的落差只需要改几行判分代码就能看见;查尺子的成本,永远低于用错的尺子做决策的成本。」
五、ArtiVidRM:奖励模型不该吐一个不透明的标量(Li、Ji、Lin 等 15 人,arXiv:2611.07301,cs.CV,2026-11-05,东南大学 / Opus AI Research / 中科院自动化所 / 伊利诺伊大学厄巴纳-香槟分校 / 加州大学洛杉矶分校,CC BY-NC-SA 4.0)
问题 视频生成的强化学习确实有效,但成败全押在奖励模型上。现有做法两条路都不理想:一条是把视频直接映射成一个不透明的标量分数,你不知道它凭什么;另一条是生成自由形式的理由,但那个理由没有被显式优化成最终判断的依据 —— 理由和分数之间没有绑定关系。
关键 idea / 方法骨架 ArtiVidRM 走的是 observe-then-score 两段式,中间那层可核验:第一段先找出看得见的生成瑕疵(artifact),组织成结构化 artifact list,再把这些 artifact 当显式的评分细则(rubrics)去评估质量。关键一步是 video-grounded verification:让 Qwen3-VL-32B 当验证器,对着清单逐条复检,不能从可见证据确认的就删掉 —— 这一步剔除了 26.8% 的候选,最终清单平均每个视频 6.11 条 artifact。
第二段 两阶段训练:Stage I 微调出结构化输出能力;Stage II 做多奖励强化学习,总奖励拆成 格式有效、artifact 语义召回、成对偏好正确和一个非对称长度惩罚(多生成满额罚)。它承认召回和长度有天然冲突,硬砍长度会伤害召回。
数据 / 数字 管线先被体检:召回 87.84%、精度 84.37%,人工抽检一致性 Fleiss κ = 0.78,源数据是 26.5K 条专家成对偏好三元组。成对偏好预测(accuracy):GenAI-Bench w/T 0.518(与 VisionReward 并列最高)、w/oT 0.753(最高);VBench-2.0 w/T 0.572、w/oT 0.524,两项都是最高;MonetBench 0.606 / 0.697 —— 这里低于 VisionReward 的 0.640 / 0.721,是三个基准里唯一没赢的。
往下游走:用 ArtiVidRM 当奖励优化 Wan2.1-1.3B,运动平滑度 97.41% → 98.38%,画质 61.31% → 63.85%。对闭源的 Veo-3.1 做 artifact 引导的提示词修改(不动权重),5 个 VBench 维度里 4 个提升,人工评测 71% 被偏好、18% 打平 —— 幅度小于优化 Wan2.1 的幅度。
工程判断
- 什么时候抄:你在用奖励模型做视频生成 RL,或更广义地,你有一个只输出标量分数的评分器,而你需要知道它错在哪。改动的形状是:不改打分函数,改中间表示 —— 让模型先输出结构化的缺陷清单,再基于清单给分。清单人能读、能查、能改,标量分数你只能猜。三个零件:①video-grounded verification(用强 VLM 逐条复检,剔掉无法从可见证据确认的条目 —— 这一步剔掉了 26.8%);②非对称长度惩罚;③两阶段:先微调出结构化输出能力,再用多奖励 RL 把它和最终偏好绑在一起。「先列证据再打分」这个形状是通用的,缺陷类型可以换。
- 什么时候不抄:它需要人工偏好标注的种子集(26.5K 条专家成对三元组),不是小成本。第二个前提是你需要一个足够强的验证器(这篇用 Qwen3-VL-32B),而且它有明显的失败模式:清单里的 artifact 是「看得见的瑕疵」,看不见的问题它列不出来,语义跑偏、时序错乱表面看不出来就会被直接放行。第三个是 MonetBench 上它没赢,说明「可核验清单」不是普遍更优。别忽略下游收益不大:画质只涨 2.54 个百分点 —— 方法再对,RL 也只能榨出这么多。
- 一句话启发:「如果一个分数不能被指回具体的证据,那它就不能被调试 —— 先让评分器列清单,再让它打分;而且一定要有一道『哪些缺陷根本看不见』的追问,因为看不见的缺陷会被整套奖励直接放行。」
六、VLA-Tug:监控器该报上界,而不是报一个分数(Podolinsky、Yang、Little 等 9 人,arXiv:2611.08425,cs.RO / cs.AI,2026-11-05,德克萨斯大学奥斯汀分校 / 塔夫茨大学 / 德克萨斯大学达拉斯分校,CC BY 4.0)
问题 VLA 在分布漂移下很脆,一个没预料到的失败就可能损坏设备或伤人。所以部署需要运行时监控,而能上生产的监控器要同时满足四件事:及时、校准、有信息量、便宜到能跑在边缘设备上。现有方法四条都做不到。
关键 idea / 方法骨架 VLA-Tug 的想法是不去另建一个监控模型,而是在 VLA 主干的潜层上挂一个极小的探针。骨架三块:①探针:读主干 embedding,用 LSTM + MLP 映射到一个潜在失败空间,一个校准后的触发器负责报警,另一个 mode head 预测失败模式。②监督信号的时机关:在轨迹的「失败前那一段」上做监督,而不是给整条轨迹打 episode 级标签。③用 Learn-then-Test 做联合校准:不只是给一个假正率保证,而是同时对 FPR 和早期真阳率 TPR_early 做风险控制 —— 阈值落在集合 Λ̂ 里,以至少 1−δ 的概率保证 FPR ≤ α 且 TPR_early ≥ β。之前的工作只给假阳率保证,不给漏检率保证,「我保证不乱报警」和「我保证能抓到」之间缺了一半。第四,输出可执行的失败模式,而不只是「要出事了」。
数据 / 数字 在相同假阳率下,对最强学习基线,早期检测能力提升最多 30%。在没见过的任务上,漏检率与误报率的上界在最多 86% 的运行里仍然成立,而基线最多只有 21%;已见任务上这个界在 57% 到 71% 的运行里成立,漂移到未见任务后假阳率目标仍在 40% 到 86% 的认证运行里成立,基线是 0% 到 21%。失败模式 top-3 准确率在未见任务上比「多数类」基线高最多 44%。工程量上:每个策略步不到 1 ms,而策略步本身是 400 / 250 / 120 ms。配套数据集公开:3,180 条带标注的操作 episode、约 289k 个 VLA 主干 embedding,覆盖 LIBERO 三个基准与 8 个真机任务。
工程判断
- 什么时候抄:你在部署一个 VLA 或任何学出来的策略,而运行时监控是一个阈值 + 一个二值报警,或者更糟 —— 只有事后日志。抄这篇的成本结构非常友好:不需要重训策略,只需要一个探针 + 一批带失败时刻标注的 rollout;开销每步不到 1 ms。三个零件:①在失败前那一段上监督 —— 这是 +30% 的主要来源;②把报警阈值做成 Learn-then-Test 的联合校准,同时约束误报和漏报,并声明这个保证在哪些任务上成立、迁移后掉到多少(40% 到 86% 对 0% 到 21%);③输出失败模式而不只是危险信号(top-3 准确率 +44%),报警才能接上「该做什么」。
- 什么时候不抄:「保证」的成立范围必须说清楚 —— 这篇的界在 86% 的运行里成立,而不是 100%,且是认证过的运行里的比例,不是「每一步都保证」。探针要挂在能反映失败前兆的层上:换模型就得重新找层。标注是最贵的部分:需要 3,180 条精确到失败时刻的标注,不要用 episode 级标签凑数 —— 整个方法一半价值就在那个「失败前那一段」上。它只检测失败,不修复失败。
- 一句话启发:「监控器最值钱的输出不是一个分数,而是『我这个上界在多少比例的运行里还站得住』—— 86% 对 21% 的差距,比任何单点的检测率都更该写进你的日志。」
七、落地思考 / 我的判断
六篇的统一潜台词是同一件事 —— 把「校准」从没人负责的隐含工作,变成必须有人签字的显式交付物。
上一篇(11-06)修的是「尺子测错了东西」。今天这六篇往上游退了一步 —— 它们不问尺子测的东西对不对,它们问尺子本身可不可信。修法统一:先造一把能证伪的尺子去量旧尺子,再把两把尺子的差值公开。六篇各治一种病 —— 独立性、可识别性、污染、缺陷、可追溯性、保证的强度与范围;共同形状是每一篇都先量了旧尺子的偏,再谈新尺子。
最值得先抄的是第一篇(Training-Independent Validation)的思路,它同时满足三个条件:成本低(写一条训练目标里没有的验收标准 + 在训练时没变的参数上开网格)、结论硬(90.11% → 16.9%,并指出旧尺子把最差排成最好这种方向性错误)、可推广。前提有两个:能生成只差一个因子的对照试验,并能承受真车成本(接受率只有 16.9%)。
成本近乎为零的那个动作来自第四篇(La-JEPA):去读一遍你用的评测器的判分代码,确认它发给策略的到底是哪条指令。代价是一晚上读代码,收益是可能改掉 19.3 个点的差距 —— 这是今天唯一一个成本近乎为零、收益可能上百分位点的动作。第二值得抄的是第三篇(RSIJudge)的换任务测试:它便宜到几乎免费,却能区分「学到能力」和「学到套路」—— 在自己任务上分数更高的设置,换到新任务上优势消失甚至反转(80 对 71)。做自我改进时要比谁在新任务上还剩得下。
今天没解决的,比解决的更值得记一笔。六篇各有明确的盲区:第一篇的失败模式是任务特有的,真车成本只覆盖 16.9%,新尺子仍然是人造的;第二篇的严格结论建立在有已知真值的合成随机网络上,真实大模型没有对应物;第三篇的第二把尺子也是人造的,反馈是仿真的;第四篇的架构结论是可争议的设计主张;第五篇的清单只覆盖看得见的瑕疵,看不见的缺陷会被整套奖励直接放行;第六篇的保证在 86% 的运行里成立而非 100%。
把这些盲区并起来看,六篇共同留下了一个更大的洞:我们有了很多把尺子做得更准的办法,但几乎没有一篇回答了「谁来校准校准者」本身。VLA-Tug 的 Learn-then-Test 最接近 —— 它把「我的保证在多少比例的运行里还站得住」写成了数字;Same Behavior 更进一步,把「这个实验最多能证明什么」变成了收数据之前就能算出来的设计问题。但两者都没解掉最后一层:你要校准 Learn-then-Test 的校准集,那把尺子又由谁校?答案是单边下界 + 明说保证范围。
于是上一层的问题摆在这里了:你的系统里,有哪个数是被当成「质量」用的,而它自己的可靠性从来没人测过?这不需要论文来回答 —— 只需要做一件今天六篇都在做、但写成了不同样子的事:换一个角度重测一遍,把两把尺子的差值记下来。差值不是零的地方,就是你找到新的一篇。
| 论文 | 主题 | 尺子的哪种毛病 | 关键数字 |
|---|---|---|---|
| Training-Independent Validation 2611.07516 | 安全控制 · 验收独立性 | 独立性 ↔ 相关性:验收标准从训练目标里抄,真实路上变的参数恰恰训练时固定;改为变训练时没变的参数 + 用训练目标里没有的验收标准 | G-Maneuver 报告 90.11%,独立验收下 1,152 次 CARLA 试验只剩 195 次通过(16.9%);失败 666 次(57.8%)转角不足 170 度;旧尺子报 156 次成功只有 80 次过验收、错拒 115 次,两尺 191 次(16.6%)结论相反;更宽松评分把最差档排成最好 |
| Same Behavior, Different Mechanism 2611.08469 | 机制可识别性 · 有限实验的证明力 | 可识别性 ↔ 样本量:行为可以完全沉默,盲区会变成精度地板;边界两侧不连续;代理模型会错报;最终只能报单边下界 | 循环网络与前馈网络输入输出相同、φ 为 0.28 对 0 比特,内部记录 4-53 次试验可分;未记录单元的精度地板 0.30-1.02 比特,再多样本也不降;同记录与 φ 从 0 到 1.13 比特相容,合法 95% 区间期望宽度至少 1.016 比特;400 个随机网络找到 849 条边,99% 的边使 φ 变化 25-100%;约 1% 的代理拟合错报超 20%;64 维区域内 φ > 1.004 比特,约 750 万次受控转移可认证 |
| RSIJudge 2611.08318 | 智能体闭环控制 · 验收标准污染 | 能力 ↔ 过拟合:把暴露验收标准做成可开关变量 + 造 instruction-faithful 第二把尺子 + 换任务测试 | RoboDojo 25 任务(16 criteria-limited、9 faithful):空库 24.6%、success-only 47.8%、w/ CE 62.0%;criteria-limited 8.4 / 27.8 / 51.6,faithful 53.3 / 83.3 / 80.6;改用 instruction-faithful 标准判同一批 320 episode/库,暴露方 45.0%、success-only 47.2%;搬到 10 个新任务(200 episode):65 空 / 80 success-only / 71 暴露,14.2 点优势消失并反转;跨基准 LIBERO-PRO 45/48/46,RoboCasa365 22/24/24 |
| La-JEPA 2611.08156 | 世界模型 / 潜空间策略 · 评测器缺陷 | 榜单可比性 ↔ 评测器缺陷:官方 LIBERO-Plus 把扰动参数追加到指令尾巴,自己修指令并重跑所有开源基线 | 官方评测器把 10,030 个变体里的 8,493 个指令搞坏;修好后 Fast-WAM +19.3 点、LeapBot-WA +8.1、Cosmos Policy +4.1,图像生成器类 WAM 与 VLM 类策略最多变 1.4 点,La-JEPA +3.9 到 6.3;部署参数少约 4 倍,最快快 5 倍;S/B/L 为 0.10/0.34/1.14 B,基线 2.0-7.8 B;联合训练把 LIBERO-Plus 从 74.35% 抬到 76.47%(+2.12 点,McNemar p < 0.01);V-JEPA 特征随机场景 15.00% 对 Wan2.2 1.28% |
| ArtiVidRM 2611.07301 | 可控视频生成 · 可核验奖励 | 不透明标量 ↔ 可核验清单:observe-then-score,先列生成瑕疵清单再当显式 rubrics 打分,强 VLM 逐条复检 | Qwen3-VL-32B 复检剔除 26.8% 候选,最终清单平均 6.11 条 artifact/视频;管线召回 87.84%、精度 84.37%,Fleiss κ = 0.78;源数据 26.5K 条专家成对偏好三元组;GenAI-Bench 0.518/0.753、VBench-2.0 0.572/0.524 两项最高,MonetBench 0.606/0.697 低于 VisionReward 的 0.640/0.721;优化 Wan2.1-1.3B,运动平滑度 97.41% → 98.38%、画质 61.31% → 63.85% |
| VLA-Tug 2611.08425 | 安全 VLA · 运行时校准监控 | 分数 ↔ 上界:在主干潜层挂轻探针(π0.5 第 18 层、GR00T-N1.7 第 16 层),在失败前那一段上监督,Learn-then-Test 联合约束误报与漏报,并预测失败模式 | 相同假阳率下早期检测比最强学习基线最多 +30%;失败模式 top-3 准确率在未见任务上最多 +44%,每步开销不到 1 ms;漏检与误报上界在最多 86% 的运行里成立,基线最多 21%;已见任务 57%-71% 成立,漂移到未见任务后 40%-86%,基线 0%-21%;公开 3,180 条带标注 episode 与约 289k 个主干 embedding,覆盖 8 个真机任务 |
References
- Shekar, Kiruthiga Chandra, Arab, Aliasghar, Yi, Jingang (2026). Training-Independent Validation of a Learning-Based Controller for Stunt Maneuvers. arXiv:2611.07516. cs.RO / eess.SY; submitted 2026-11-05; General Autonomy(美国)/ 纽约城市学院 · 纽约大学 / 罗格斯大学; 9 页 7 图 2 表; License: CC BY 4.0。视频:youtu.be/dN1Oes8pNIo
- Wu, Linqian, He, Diaoxuan (2026). Same Behavior, Different Mechanism: What Finite Experiments Can Certify About Integrated Information. arXiv:2611.08469. cs.LG / cs.AI / q-bio.NC; submitted 2026-11-05; 滑铁卢大学 / 圆周理论物理研究所 / 德布勒森大学; 30 页; 代码作为附属文件发布。
- Huang, Wenbo 等 13 人 (2026). Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement. arXiv:2611.08318. cs.AI / cs.RO; submitted 2026-11-05; 北京大学 / 新加坡国立大学; 22 页; License: CC BY 4.0。项目页:dagroup-pku.github.io/PyRUA-Lean/RSIJudge
- Clémente, Mateo 等 8 人 (2026). La-JEPA: Compact Robot Policies with Latent World Modeling. arXiv:2611.08156. cs.RO / cs.CV / cs.LG; submitted 2026-11-05; 华为技术 / 多伦多大学 / 麦吉尔大学 / Mila; 30 页。代码:github.com/mt-clemente/lajepa
- Li, Caorui 等 15 人 (2026). ArtiVidRM: Verifiable Artifact-as-Rubric Reward Modeling for Explicit Quality Articulation in Video Generation. arXiv:2611.07301. cs.CV; submitted 2026-11-05; 东南大学 / Opus AI Research(腾讯)/ 中科院自动化所 / 伊利诺伊大学厄巴纳-香槟分校 / 加州大学洛杉矶分校; License: CC BY-NC-SA 4.0。
- Podolinsky, Michal P. 等 9 人 (2026). Failure Prediction and Classification in Vision-Language-Action Models via Calibrated Latent Probing. arXiv:2611.08425. cs.RO / cs.AI; submitted 2026-11-05; 德克萨斯大学奥斯汀分校 / 塔夫茨大学 / 德克萨斯大学达拉斯分校; License: CC BY 4.0。项目页:vla-tug.github.io
下一篇预告:今天六篇补的是「谁来校准这把尺子」 —— 独立性、可识别性、污染、缺陷、可追溯性、上界,六个方向在回答同一个问题。但六篇都留了同一个洞:校准者的校准者。Learn-then-Test 的校准集由谁校?instruction-faithful 标准由谁写?精度地板躲不掉时,单边下界已是最强结论 —— 那么当所有尺子都只能给单边下界的时候,决策该怎么走?下一层不再是「怎么把尺子做得更准」,而是「在一把只能证明一半的尺子面前,怎么下判断」 —— 不确定的方向、不对称的损失、以及什么时候应该干脆不测。