thinkism.ai

今日 6 篇 arXiv 速读:规划器吃掉量化误差塌 100 点、奖励模型换成生成器自己、真回报被搜掉 76%、终局奖励涨了高危却塌、深度系统性偏高碰撞 63%→3%、共享把漏洞放大 38 点

2026-11-13 · AI / 每日 arXiv / 尺子被用错对象 · 分布内精度 · 过程信用 · 偏好超优化 · 共享放大 · 单侧界

上一篇(11-12)结尾留了个问题:「当你自己造出来的那个量,本身也变成了训练或优化的目标,它还算尺子吗?」—— 那期六篇的答案是「把锚点换成一个能被算出来的量」,但它自己也留下了更尖的一层:「怎么知道一把尺子没被改」。

今天这六篇给的答案有点反直觉:大多数时候,尺子根本没被改 —— 是尺子被用在了别的地方。你的指标量的是分布内精度,优化器推的是另一个量。低比特世界模型的一步预测误差看着很准,而规划器把确定性误差当信号吃掉了;视频奖励模型测的是表征能力,不是生成能力;单目深度的平均误差可以砍半,但导航回路要的是近处的单侧界;终局 verifier 只管答案,奖励一涨可能只是少问了问题;偏好打分器的 held-out 准确率可以到 0.97,而搜索把真实回报吃掉了 76%;验证器的漏洞被参数共享既可能压制也可能放大。

下面这张图把六篇放到两轴上:横轴是「检查得搬到多深」,纵轴是「把它变成默认设置的工程代价」。

图上值得看的是左上角那一格是空的 —— 今天没有一篇做到「检查看得最深、又改得最便宜」。看得最深的两篇(GenRM-Flow、Wrong the Same Way)恰好最贵;最便宜的两篇(Dithered WM、Goodhart in Planner)只能把检查搬到「决策回路」这一层,再往里就要重训生成器或者改参数共享结构了。

尺子自己身上 决策回路 / 自己的 proposal 优化器推的量 过程内部 / 跨 prompt 检查得搬到多深 → 低 中低 中 高 改成默认设置的代价 → Safe Depth 2611.13769 Dithered WM 2611.11780 Goodhart in Planner 2611.09670 Credit-Assign GRPO 2611.12728 Wrong the Same Way 2611.13218 GenRM-Flow 2611.11421

一、Planners Exploit Deterministic Error: Dithered Low-Bit World Models:规划器会把量化误差当信号吃掉(Yong Hwi Song、Keon Myung Lee,arXiv:2611.11780,cs.RO / cs.LG,2026-11-09,忠北大学,7 页 3 图 1 表)

问题 采样型规划器(MPPI、CEM)每个控制步要问世界模型几千次,所以把世界模型量化到低位是让 model-based control 变便宜最直接的一条路。但换尺子这件事从来没人量过后果:世界模型自己的预测误差看着还行,规划却塌了。这篇问的非常具体——同样的位宽下,到底是什么决定了成败。

关键 idea / 方法骨架 结论是:决定成败的不是舍入误差有多大,而是这个误差会不会持续存在、会不会在所有候选之间共享。用 round-to-nearest 且不做校准,量化留下的是一个持续存在的确定性误差;迭代式规划器会朝着这个误差所偏爱的候选漂移 —— 尺子没坏,是尺子被规划器当成了信号。修法是 dither:给量化加一个随机量,但注意加法的方式和直觉相反 —— 必须所有候选之间共享、每次迭代重新抽。反过来(候选各自独立抽,或者整个 episode 固定)等于把漂移固化住,论文里明确测出「把同一个 dither 在一步内或一个 episode 内固定住,漂移就回来了」。位宽格式也有讲究:TD-MPC2 上 block-scaled NVFP4 收回大部分损害、MXFP4 只收回一部分,作者据此把失败归因到共享 scale 的粗网格。

数据 / 数字 Meta-World 上 TD-MPC2 的 19 个受影响格子(任务 × 位宽),共享 dither 至少收回一半损害,中位数 95%;DINO-WM 的 5 个格子里收回 4 个;317M 参数的多任务 TD-MPC2 上 8 个受影响任务全部收回。速度侧:在 Ampere GPU 上用 CUDA graph 捕获,W8A4 整数世界模型的规划 rollout 比 FP32 快 1.9–3.3×,整个规划步快 1.3–1.5×;共享 dither 最多加 2.3% 延迟。整篇最该记住的是那个反面数字:坏掉的方案里,隐空间一步预测误差并不比规划良好的随机舍入更大 —— 那把尺子从一开始就没测到出问题的地方。另外作者写明假设、阈值与分析代码都在出数据之前定好,失败的假设也照报。

工程判断
- 什么时候抄:你在做低比特部署(量化世界模型、量化策略),而你的验收指标是模型自身的预测误差。抄三件:① 把检查搬进规划器内部 —— 要在「规划器迭代内 + 候选之间」量,而不是在模型输出上量;② dither 必须候选间共享、迭代间重抽,这是全文最容易抄错的一个细节;③ 共享 dither 的延迟代价 ≤2.3%,基本可以默认开。

- 什么时候不抄:① 前提是你用迭代式采样规划器(MPPI / CEM)—— 走梯度式策略或直接前向的部署,这套「误差被规划器吃掉」的机制基本不存在;② W8A4 比 FP32 快 1.3–1.5×,但比预转换权重的 BF16 并不快 —— 如果你的瓶颈不是整数推理,这篇帮不上;③ 全部是仿真数字(Meta-World / DINO-WM),没有真机验证。

- 一句话启发:「一步预测误差这把尺子量的是模型,不是规划器 —— 误差会不会被规划器一口一口吃掉,只有在规划器自己的迭代里才测得出来。」

二、GenRM-Flow: Generators are Process-aware Reward Models in Flow Matching:把奖励模型换成生成器自己(Siming Fu、Ruizhe He、Zheming Fu 等 10 人,arXiv:2611.11421,cs.CV,2026-11-08,浙江大学 / 之江实验室 / 厦门大学 / 清华大学,CC BY 4.0)

问题 视频生成对齐已经全面变成「奖励模型」问题:收偏好数据 → 训奖励模型给生成结果打分 → 用偏好优化更新生成器。奖励模型是整条管线的承重墙,打分偏差会直接变成生成器的退化。但这篇指出一个结构性问题:现有的视频奖励模型取的是表征能力,不是生成能力 —— 要么把 VLM 当像素空间打分器,要么在冻结生成器的特征上再训一个打分头。生成器自己会不会预测速度、去噪潜变量、生成视频这件事,压根没参与给它自己打分。

关键 idea / 方法骨架 论文从离线偏好学习的一个解析性质入手:任何偏好优化目标在数学上都指向一个 KL 约束下的最优策略。把奖励项从这个解析解里单独隔离出来,再把生成对数似然映射到它的流匹配 surrogate,经验奖励就确定性地等于连续时间速度预测误差的相对差。于是结论翻了个个儿:一个偏好微调过的视频生成器,本身就在噪声潜空间里是一个过程感知的奖励模型,不需要任何外挂的奖励网络。论文还推了一条更狠的:DPO / IPO(对比式)与 RWR(非对比式)只是通往同一个最优策略的不同优化路径,各自诱导出同一个「速度预测误差」的奖励读出。副产品是:VAE 解码在高噪声区会失败,所以 VLM 奖励只能管后段 —— 而生成器自己的速度误差在全程都可用。

数据 / 数字 偏好预测准确率(Wan2.1-T2V 骨干):14B 上 88.96%,比 PAVRM 的 82.64% 高 6.32 个点;1.3B 上 86.79% 对 PAVRM 的 76.06%,差 10.73 个点;两者都超过 VideoAlign 的 78.26%。高噪声区才是分水岭:他们维持 ≥81.00%,而 PAVRM 掉到 78.02%(14B)和 71.25%(1.3B)。生成质量(VBench,14B):GenRM-Flow 拿到 MS 99.03 / DD 74.87 / SC 97.73 / HA 97.73,对比 Pretrain 的 98.30 / 65.46 / 97.52 / 95.40、VideoAlign 的 98.51 / 70.36 / 97.60 / 95.62、PAVRM 的 98.41 / 71.82 / 97.68 / 96.18。反例也有:PAVRM 在 1.3B 上把 VBench Subject Consistency 从 97.56 拉低到 97.52,并在 MS / SC / HA 三项上都落在序列级 VideoAlign 之后 —— 奖励模型的预测准确率和最终生成收益并不同向,这一点很值得记。

工程判断
- 什么时候抄:你在做视频(或图像)的偏好对齐,而且已经有一支训好的偏好奖励模型。抄两件:① 先量一下你的奖励模型到底在测表征还是测生成 —— 把「VLM 当打分器」和「外挂打分头」这两条现成范式的偏差算出来;② 如果你的生成器是流匹配的、而且已经做过偏好微调,直接把它的速度预测误差差值当奖励读出来,未必需要再训一支 RM。

- 什么时候不抄:① 这条等价关系建立在「偏好目标指向 KL 约束最优策略」这个前提上 —— 你如果用 SFT + 人评、或根本没有离线偏好数据集,奖励项提不出来;② 结论在 Wan2.1-T2V-1.3B / 14B 上得到,纯 DDPM 与像素空间扩散没验证;③ 它是换一把尺子,不是把旧尺子修好 —— 你原来那条 VLM 奖励管线不会自动变好,流程上是要换的;④ 它是 CC BY 4.0 的短文,limitations 要自己到全文里读。

- 一句话启发:「视频奖励模型一直用别人的眼睛打分 —— 而偏好优化已经把答案写进生成器的速度预测误差里了,那才是它自己的尺子。」

三、From Depth to Safe Depth: Uncertainty-Aware Monocular Perception for Mobile Robot Navigation:深度这把尺子系统性偏了(Saeid Firouzi Daghigh、Saeed Ayat,arXiv:2611.13769,cs.RO / cs.CV,2026-11-10,Payame Noor University(德黑兰)计算机工程与信息技术系)

问题 单目深度基础模型让人很想把移动机器人的深度传感器换成一台 RGB 相机 —— 便宜、轻、省电。这篇的观察是:直接拿来用是不安全的。在仿真室内导航基准上,标准 Nav2 栈用 Depth Anything V2 (metric) 驱动,120 个 episode 里碰撞了 63%。原因不是噪声大,而是模型系统性地把近处障碍物的距离估远。这里有一个典型的「尺子没对准」:深度误差的平均值看着很好,而机器人在意的是近处那几米的正确性。

关键 idea / 方法骨架 把深度这把尺子改成单侧界。一个 0.58M 参数的头挂在冻结的深度模型上,逐像素预测一个对数深度修正 μ 和一个不确定度 σ,用 β 加权的高斯负对数似然训练;导航栈消费的是单侧下界 $\hat d_{safe} = d \cdot e^{\mu - k\sigma}$,其中 k 用留出世界上的 conformal 校准定下来。这里有个容易被忽略但很关键的点:不确定度不只是输出,它还决定哪些像素有资格被当作地板。也就是说这把尺子输出的不是「一个更准的深度」,而是「一个下游能安全消费的距离」。另外全篇刻意不改 Nav2 的规划器与代价地图,只改喂进去的深度。

数据 / 数字 深度误差直接砍半(AbsRel 0.262 → 0.134),近距高估从 59.8% 降到 12.0%。导航上成功率 37% → 70%、碰撞 63% → 3%,已经接近真值深度的 2%。最有说服力的对照::在同样的像素覆盖率下校准的「固定安全余量」方案只能拿到 30% 成功率 —— 因为它把机器人冻住了;不确定度感知的安全方案在 56 个「一方成功另一方失败」的配对回合里赢了 52 个。增益在玻璃、无纹理墙面和暗区都成立。

工程判断
- 什么时候抄:你在用单目深度做避障,而你的验收指标是平均深度误差。抄两件:① 把评价口径从平均误差换成近距高估率 —— 这篇里平均 AbsRel 砍半和碰撞率 63%→3% 之间的落差,说明平均误差从来不是瓶颈;② 给深度配一个不确定度,用 conformal 定单侧界,并让不确定度参与「这像素是不是地板」的判断。

- 什么时候不抄:① 结论在仿真室内导航基准上,真机没有验证 —— 玻璃 / 无纹理 / 暗区的增益只在该基准上成立,不是泛化保证;② 它需要一个留出的世界做 conformal 校准,你得有一个能反复复现的场景;③ 它完全没碰 Nav2 的规划器和代价地图,只改了喂进去的深度 —— 如果你的瓶颈在定位、动态障碍或全局规划上,这篇不解决;④ 它是 IEEE 单栏短文,篇幅与复现细节要自己评估。

- 一句话启发:「Depth Anything V2 的平均误差可以只有 0.134,而 Nav2 撞车率还有 63% —— 因为机器人要的不是平均深度,是近处的单侧下界。」

四、Safe Reinforcement Learning for Multi-Turn Clinical Agents: When Dense Rewards Beat Outcome Rewards:终局奖励涨了,高危子集却塌(Brendan P. Murphy、Agustina Saenz,arXiv:2611.12728,cs.LG / cs.AI / cs.CL,2026-11-09,斯坦福大学(通讯作者 Saenz 为 MD、MPH),31 页 11 图)

问题 RLVR 被大量用来训语言模型的推理,但它对「多轮序列决策过程」的影响一直没搞清楚。这篇挑了最高风险的那个场景:临床多轮 agent 要决定该问什么信息、什么时候停止收集证据、最后做什么动作。而今天几乎所有医疗 RLVR 只看最终答案对不对 —— 这恰好是「过程对了但答案蒙对」和「过程走了捷径但答案对」分不开的地方。

关键 idea / 方法骨架 三个带隐藏临床状态、问询成本、精确自适应 oracle、确定性结果验证器的环境(用药续方分诊 / 急性诊断检查 / 剂量调整)。核心训练信号是给「降低隐藏状态不确定度」的问题分配稠密信用。但这里有个必须注意的设计:训练时给过程信用,评测时仍然只用原来的临床效用减问询成本 —— 所以任何提升都必须真的在同一把终局尺子下更好,而不是换了一把更宽松的尺子自说自话。另外还有两道前置门(自适应 headroom、潜行为支撑)、一个把探索与利用拆开更新的变体。

数据 / 数字 (诊断任务,held-out 隐藏状态,3 个训练种子)基线整体价值 +0.251;只看结果的 GRPO 涨到 +0.285±0.027,但高危子集从 +0.160 掉到 +0.098±0.037、高危支撑从 0.50 掉到 0.33±0.29,平均提问数从 2.5 掉到 1.82±0.11(oracle 水平约 3.9)—— 整体分数是靠在少问问题换来的。加上过程信用(λ=0.2)后:整体 +0.313±0.024、高危价值 +0.157±0.057、高危支撑 0.50±0.00(三个种子都保住了基线支持的那一个腹部病例)、中危支撑 0.38±0.18 → 0.67±0.10,平均提问 2.08±0.30。探索/利用解耦的单种子最好 checkpoint:高危价值 +0.248、高危支撑 1.00、整体 +0.329,但平均提问涨到 4.4 —— 超过了 oracle 的 3.9;到第 60 步最终 checkpoint 高危回落到 +0.158 / 0.50,提问却涨到 5.0,良性支撑从 0.48 掉到 0.04。作者反复标注的边界也要照抄:held-out 高危子群只有 2 个病例(高危支撑 0.50 = 12 条 rollout 里至少一条命中了 2 个中的 1 个),中危子群 n=35 才有统计意义;解耦那组的第 40 步 checkpoint 是在 held-out 上挑的,是乐观估计。

工程判断
- 什么时候抄:你在用 RLVR 训一个多轮 agent(搜代码、改文件、问工具、问医生)。抄三件:① 把「问对了问题」也变成可训练的信用 —— 信用函数就是「这个问题降低了多少隐藏状态的不确定度」;② 训练时可以给过程信用,评测时必须换回原来的终局 verifier,否则你量的就是自己;③ 同时报「整体价值」和「高危子群」两个数 —— 这篇里这两个数第一次朝相反方向走,只报一个就看不见了。

- 什么时候不抄:① 它需要能算出精确自适应 oracle 的仿真环境(隐藏状态 + 精确 oracle),真实医疗场景没有;② 高危那一列样本极小(n=2),别把 0.33 / 0.50 当成可靠效应量;③ 探索/利用解耦的收益是瞬时的(第 40 步好、第 60 步回落到与对照组持平),代价是提问数超过 oracle —— 买的是高危覆盖,不是效率。

- 一句话启发:「终局 verifier 只量答案,奖励一涨就可能只是少问了问题 —— 这篇里整体价值从 +0.251 涨到 +0.285 的同时,高危支撑从 0.50 掉到 0.33。」

五、Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences:搜得越狠,真回报掉得越多(Soovadeep Bakshi、Apurba Bose,arXiv:2611.09670,cs.RO / cs.AI / cs.LG,2026-11-06,德克萨斯大学奥斯汀分校机械工程系 / 独立研究者,19 页 4 图,代码待发布)

问题 机器人现在越来越多地「搜一个从人类偏好学出来的奖励模型」来选动作 —— MPC 里是,best-of-N 里也是。论文要量一件具体的事:这么搜,对真实目标做了什么。

关键 idea / 方法骨架 两条路径一起走。① 测:在 HalfCheetah / Hopper(众包标签)与 Meta-World 的 drawer-open / plate-slide(合成标签与两位作者自己的盲标)上,比较「温和搜索」和「更狠的搜索」对真实回报的影响;并按打分器自己每步对实际执行 episode 的估计怎么变来区分两种失效模式 —— 估计上升是真回报下降(打分器高估了某些状态,属 extremal exploitation),估计下降是「规划时看着好、一重规划就不成立」(闭环里的 optimizer's curse)。两者的修法不同,这是这篇最实用的一块。② 证:$\chi^2$-正则化的 MPPI,在温度取打分器在 proposal 上的误差分布时是最坏情况最优;当打分器的误差跨度超过打分器自己的精度后,任何正增益都无法被保证;而且 episode 的回报可以精确拆成逐步项,保证只覆盖其中的「选择」项。

数据 / 数字 更狠的 MPPI 搜索让真实回报最多掉 76% —— 人类标签下 drawer-open 在 20 次运行里开了 0 次,而规划器起步的那个克隆策略是 10/10 全开;而 held-out 标签准确率仍然是 0.75–0.97,也就是尺子看着很准。真实回报大致跟着「规划器权重离 proposal 移动了多远」(√KL)走。全文最有诊断价值的一段是:决定结果的那个相关量 ρ_q(打分器在规划器自己 proposal 上的排序与真回报的相关)与常规 held-out 检查完全无关 —— 500 标签的 drawer 打分器在标注数据上 held-out 准确率 0.88、逐步相关 0.88,但在规划器 proposal 上的 ρ_q 只有 0.10;hopper 打分器在数据上逐步相关只有 0.08,proposal 排序 ρ_q 却有 0.76。作者还给出:论文预测的初始斜率在 13 个设置里的 11 个与实测差在 6% 以内。最安全的修法是用 100 对按真实回报排序的 oracle proposal 对做校准:五组独立设置里每次都在每个 arm 跑成功,plate-slide 与 drawer-open 上平均保住克隆策略 86–94% 的回报 —— 但它在搜索本来就有用的地方比较保守。

工程判断
- 什么时候抄:你在用学出来的奖励模型做 MPC / best-of-N。抄三件:① 把 ρ_q(在你自己 proposal 上的排序相关)当成要测的量,别只报 held-out 准确率 —— 这篇里 0.88 准确率对应 0.10 的 ρ_q,是最响的一次警告;② 给搜索强度设上限,并把温度设成打分器在 proposal 上的误差跨度($\chi^2$-正则化那套);③ 按打分器自身估计的变化方向判断你踩了哪种坑 —— 上升是打分器高估,下降是优化者诅咒,两者的修法完全不同。

- 什么时候不抄:① 结论依赖搜索强度 —— window-open 上搜索反而有帮助,所以「搜得越狠越差」不是普适规律;② 那个最安全的修法需要 100 对 oracle 排序的 proposal,真实部署拿不到,只有玩具设置能给;③ 代码和结果写的是「will be released」,复现成本要自己评估;④ 论文自己写下了最重要的边界:用一个人的比较去校准,检测不出打分器从这个人那里学到的偏置,要换第二个人、或只校正人分不清的那些对,才能限制伤害。

- 一句话启发:「held-out 准确率 0.97 的打分器,能让 drawer-open 在 20 次里开 0 次 —— 因为尺子准的是标注数据,规划器吃的是它自己的 proposal。」

六、Wrong the Same Way: Cross-Prompt Sharing Both Suppresses and Amplifies Reward Hacking in RLVR:共享既压制漏洞,也放大漏洞(Michael Li、Rohan Pandey、Ray Chen,arXiv:2611.13218,cs.LG / cs.AI,2026-11-09,卡内基梅隆大学 / 华盛顿大学 / 独立研究者,已被 NeurIPS 2026「Transitioning from Pre-Training to Post-Training」Workshop 接收)

问题 关于 RLVR 与不完美验证器,有两个互相打架的说法同时流传:一个说 reward hacking 是从基座模型继承来的,另一个说 RL 会放大它。这篇在一个小到能把整个响应分布精确算出来的受控环境里把两个都测了。自变量是「漏洞的普遍性」u(多大比例的 prompt 接受同一个错误答案)与验证器的静态假阳性率。

关键 idea / 方法骨架 在 KL 正则化的最优点上,RLVR 只是一个滤波器 —— 它重新加权被接受的集合,不改变集合的成分,所以 hacking 率被精确继承。把这个当零模型,漂移可以分解成「奖励与经验切核」在各个 prompt 上的协方差之和。没有参数共享时,其它 prompt 的项直接消失;一旦共享,每个接受错误答案的 prompt 都在推它上去,每个拒绝的 prompt 都在通过 baseline 把它压下去,比例是模型在该 prompt 上产生它的概率。所以结论是两面的:共享会把「少数 prompt 接受的漏洞」压到基线以下,把「多数 prompt 接受的漏洞」放大。作者把它提为一条假设,用来解释为什么早期文献各说各话。

数据 / 数字 共享策略下,drift 的跨 prompt 项从 6.6±1.1 涨到 12.2±0.8;每个 prompt 自身漏洞的跨 prompt 梯度余弦从 +0.02 涨到 +0.29(正确答案只有 +0.03)。最干净的对照实验:给每个 prompt 一份独立的 transformer 副本(同 checkpoint、同步数、只评自己),对普遍性的依赖消失 —— 斜率从共享的 +0.0210 / 翻倍 降到 +0.0019 / 翻倍(CI [−0.0008, +0.0050]),配对同种子差 +0.0191(CI [+0.0082, +0.0330],10 个种子);u=1 时副本漂移 −0.090 并守住 0.959 准确率,而共享策略两个都丢。Adam / SGD / 采样式 GRPO 在每个收敛学习率下结论一致(高普遍性时 hacking 终值更高),但是否越过基线率取决于步长。给验证器加固的建议非常具体:要修模型跨 prompt 重复犯的那些错 —— 两个消掉同样多错误的补丁,真准确率最多差 38 个点。

工程判断
- 什么时候抄:你在做 RLVR,而且验证器有已知漏洞。抄三件:① 先算「漏洞的普遍性」u —— 同一个错误答案被多大比例的 prompt 接受,决定了共享是压制它还是放大它;② 别用 held-out 准确率评估加固效果,改用「跨 prompt 重复错误」来选补丁(两个同样消错的补丁能差 38 个点);③ 如果你的架构允许,用 per-prompt 副本做一次对照实验 —— 这是把「继承说 vs 放中说」一次性分清的实验设计。

- 什么时候不抄:① 这是受控环境:小到能精确算出整个响应分布,任务与验证器是构造出来的,真实 RLVR 的规模与噪声都不同;② 理论结论在 KL 正则化最优点上,实践中步长、学习率、KL 惩罚都会把结论推走 —— 论文自己说「是否越过基线率取决于步长」;③ 它是 NeurIPS workshop 论文,篇幅短、实验窄;④ 「共享压制漏洞」只在「少数 prompt 接受的漏洞」上成立,别拿它当「共享是好事」的通用论据。

- 一句话启发:「验证器的漏洞是『多数 prompt 都接受』还是『少数 prompt 接受』,决定了参数共享是在压它还是在放大它 —— 两个同样消错的补丁,真准确率能差 38 个点。」

七、落地思考 / 我的判断

六篇的统一潜台词是同一句话:尺子没坏,是尺子被用在了别的地方。这六把尺子 —— 一步预测误差、平均深度误差、表征打分、答案判定、held-out 准确率、单 prompt 准确率 —— 本身都不算错,错的是它们量的东西和被优化器动的那个量不是同一个。所以今天六篇给出的不是六个新方法,而是六个新的检查位置 —— 表里每篇都标了它把检查搬到了哪一层。

最值得先抄的是 Safe Depth 那个「换口径」,不是任何一篇方法论文。理由是成本 / 收益比压倒性地高:你已经有深度模型、已经有评测集,重新统计一个「近距高估率」不需要训练任何东西,而这个口径一换,「平均 AbsRel 0.134 但 Nav2 撞车 63%」这个落差就会自己跳出来 —— 要不要上单侧界、配 conformal 是第二步。**前提条件**:你得有一个能复现的仿真世界,因为 conformal 校准需要一个留出的世界,而且这篇的碰撞数字全部来自仿真,真机没有验证。第二值得抄的是 Goodhart in the Planner 的 ρ_q 口径 —— 洞察最狠(held-out 0.88 对 ρ_q 0.10),但能落地的只有「给搜索强度设上限」和「按打分器估计的变化方向分诊」,那个最安全的修法需要 100 对 oracle 排序,真实场景拿不到。

今天最该警惕的是两件事,正好是这篇两篇论文自己写下的边界。一是 09670 的校准有个洞:用一个人的比较去校准,检测不出打分器从这个人那里学到的偏置 —— 也就是说换一把尺子解决不了「尺子是从某个人那里搬来的」这件事,换第二个人、或只校正人分不清的那些对,才是真正的补丁。二是 12728 的高危那一列只有 2 个病例:它非常准确地演示了「整体价值涨、高危子群塌」这个形状,但 0.33 和 0.50 这两个数不能当效应量读;真正有统计意义的是中危子群(n=35)的 0.38→0.67。这两个洞的共同点是:它们都不是方法的问题,是「你的尺子从谁那里来」的问题。

一句话启发:「今天六篇教你的是把检查搬到你真正在优化的那一层去 —— 而最值得先做的那个,连训练都不用跑,换个统计口径就能看到落差。」

论文 主题 方法骨架 关键数字
Planners Exploit Deterministic Error
2611.11780
世界模型 · 量化误差被规划器吃掉判据:同位宽下决定成败的不是舍入误差大小,而是它是否持续存在且是否在候选间共享;round-to-nearest 留下持续性确定性误差,迭代规划器朝它偏爱的候选漂移;修法是 dither——候选间共享、每次迭代重抽(固定住漂移就回来)规划成功率最多塌 100 点,而隐空间一步预测误差并不比随机舍入更大;TD-MPC2 19 个受影响 Meta-World 格子 dither 至少收回一半(中位数 95%),DINO-WM 5 个格子收回 4 个,317M 多任务 TD-MPC2 的 8 个受影响任务全收回;W8A4 整数世界模型规划 rollout 比 FP32 快 1.9-3.3×、整个规划步 1.3-1.5×,共享 dither 加 ≤2.3% 延迟
GenRM-Flow
2611.11421
控制导向视频生成 · 生成器自带奖励模型从离线偏好优化的解析解里隔离奖励项,把生成对数似然映射到流匹配 surrogate,经验奖励确定性地等于连续时间速度预测误差的相对差;偏好微调过的生成器本身即噪声潜空间里的过程感知奖励模型,无需外挂奖励网络偏好预测准确率 14B 88.96% 对 PAVRM 82.64%(+6.32 点)、1.3B 86.79% 对 76.06%(+10.73 点),均超 VideoAlign 78.26%;高噪区维持 ≥81.00% 而 PAVRM 掉到 78.02%(14B)/71.25%(1.3B);VBench 14B MS 99.03 / DD 74.87 / SC 97.73 / HA 97.73 对 Pretrain 98.30/65.46/97.52/95.40;PAVRM 在 1.3B 反而把 SC 从 97.56 拉低到 97.52
From Depth to Safe Depth
2611.13769
具身感知安全 · 单目深度的单侧界0.58M 参数头挂在冻结深度模型上,逐像素预测对数深度修正 μ 与不确定度 σ,β 加权高斯负对数似然训练;导航栈消费单侧下界 d·e^{μ-kσ},k 由留出世界上的 conformal 校准定下;不确定度还决定哪些像素可被当作地板Nav2 + Depth Anything V2 (metric) 在 120 个 episode 里碰撞 63%(系统性高估近距障碍);AbsRel 0.262→0.134,近距高估 59.8%→12.0%;成功率 37%→70%,碰撞 63%→3%(真值深度为 2%);同像素覆盖率的固定安全余量只有 30% 成功率,不确定度方案在 56 个分歧配对回合里赢 52 个
Safe RL for Multi-Turn Clinical Agents
2611.12728
安全 RL · 终局 verifier 之外的过程信用三个带隐藏临床状态、问询成本、精确自适应 oracle、确定性结果验证器的环境(续方分诊/急性诊断/剂量调整);给「降低隐藏状态不确定度」的问题分配稠密信用,评测时仍只用原临床效用减问询成本;探索与利用解耦更新;两道前置门(自适应 headroom、潜行为支撑)诊断任务 3 种子:基线整体 +0.251;只看结果的 GRPO → +0.285±0.027,但高危价值 +0.160→+0.098±0.037、高危支撑 0.50→0.33±0.29、平均提问 2.5→1.82±0.11(oracle ≈3.9);加过程信用 λ=0.2 → 整体 +0.313±0.024、高危 +0.157±0.057、高危支撑 0.50±0.00、中危支撑 0.38±0.18→0.67±0.10、提问 2.08±0.30;解耦单种子最佳 ckpt 高危 +0.248/支撑 1.00/整体 +0.329 但提问 4.4 超 oracle,末 ckpt 回落到 +0.158/0.50 而提问 5.0
Goodhart in the Planner
2611.09670
智能体闭环控制 · 偏好奖励模型的超优化测:更狠的 MPPI 搜索对真实回报的影响,并按打分器自身每步估计的升降区分「打分器高估某状态」与闭环 optimizer's curse 两种失效;证:χ²-正则化 MPPI 在温度取打分器 proposal 误差分布时最坏情况最优,打分器误差跨度超过其自身精度后任何正增益都无法保证,episode 回报可精确拆成逐步项且保证只覆盖选择项更狠搜索让真实回报最多掉 76%;人类标签下 drawer-open 20 次运行开 0 次,而克隆策略 10/10 全开,held-out 标签准确率仍 0.75-0.97;真实回报大致跟随 √KL;决定性量 ρ_q 与 held-out 检查无关——500 标签 drawer 打分器 held-out 0.88/逐步相关 0.88 但 ρ_q 仅 0.10,hopper 打分器逐步相关 0.08 而 ρ_q 0.76;100 对 oracle 校准后每次 arm 跑成功,保住克隆策略 86-94% 回报
Wrong the Same Way
2611.13218
RLVR 智能体 · 共享放大 reward hackingKL 正则化最优点上 RLVR 只是一个滤波器,重加权被接受集合而不改其成分,故 hacking 率被精确继承;以此为零模型,漂移分解为奖励与经验切核在各 prompt 上的协方差之和;无参数共享时其它 prompt 项消失;共享后接受错答的 prompt 推它上去、拒绝的 prompt 通过 baseline 压它下去,比例是模型在该 prompt 上产生它的概率;per-prompt 副本作对照实验共享策略下 drift 的跨 prompt 项 6.6±1.1→12.2±0.8,跨 prompt 梯度余弦 +0.02→+0.29(正确答案仅 +0.03);per-prompt 副本使斜率从 +0.0210/翻倍降到 +0.0019/翻倍(CI [−0.0008,+0.0050]),配对同种子差 +0.0191(CI [+0.0082,+0.0330],10 种子),u=1 时副本漂移 −0.090 并守住 0.959 准确率而共享策略两个都丢;Adam/SGD/GRPO 在每个收敛学习率下一致,是否越过基线率取决于步长;两个消掉同样多错误的验证器补丁真准确率最多差 38 点

References

下一篇预告:今天六篇把「尺子被用错了地方」这件事说清楚了 —— 分布内精度、终局答案、平均误差、held-out 准确率,都可能是一把完全没坏的尺子被用在了优化器根本不在动的那一层上。但它们都没回答一个问题:这把尺子的口径是谁定的?09670 那篇最诚实的边界是「用一个人的比较去校准,检测不出打分器从这个人那里学到的偏置」—— 也就是说口径不是从数据里长出来的,是从某个人(或某个群体)的判断里搬过来的。下一层要问的是:当一把尺子的口径是社会约定的,谁来负责校准它,谁又来承担被这把尺子量错的那个人的下场?