thinkism.ai

今日 6 篇 arXiv 速读:想出来的障碍会自己蒸发(AUC 0.85→0.71)、省掉一个网络换 4.4% 显存、冻结 VLA 自己当验证器(真机 +22.6%)、安全写成预算反而失灵(8.9%→4.8%)、先看状态再调工具(45.5%→55.2%)、物理错的地方交给 LLM 修(19.33%→86.00%)

2026-11-14 · AI / 每日 arXiv / 控制通道 · 想象的信息衰减 · 条件复用 · hindsight 验证 · 预算标定 · 状态对齐 · 物理修复

上一篇(11-13)结尾留了个问题:「当你自己造出来的那个量,本身也变成了训练或优化的目标,它还算尺子吗?」—— 那期六篇的答案是「尺子没坏,是尺子被用在了别的地方」。今天这六篇把这个问题往前推了一层:你调的那个旋钮,到底接在哪根线上?

答案有点反直觉:大多数时候,线是接上了的。世界模型的「控制量」在线上,却被转移模型一帧一帧地蒸发掉,而且没有任何观测点能看见这件事在发生;视频生成的「控制量」是条件,挪一下位置还能兼任打分器;冻结 VLA 的「控制量」是选哪个动作块,信号可以完全从策略自己的部署历史里白拿;安全 RL 的「控制量」是拉格朗日乘子,写成预算完全正确,却在到达梯度之前被 GRPO 的组内标准化掐断了;工具 agent 的「控制量」是任务状态;视频生成的「控制量」是 LLM 里的物理知识,可以搭一条「规格→模拟→验证→精修」的通道灌进去。

下面这张图把六篇放到两轴上:横轴是「控制量能不能被观测到」,纵轴是「把它变成默认设置的工程代价」。

图上值得看的是左上角那一格几乎是空的 —— 今天没有一篇做到「控制量既便宜又看得见」。最便宜的那一篇(Posterior-Prior Gap)恰恰是控制量最隐式的:它在线上,但没人看得见;看得见的几篇(StateAlign、PhysLoop、Safety as a Budget)都得先付出不小的工程代价把那条线搭出来或接通。

线上但看不见 外挂一个观测点 可观测可编辑 外部显式可搭 控制量能不能被观测到 → 低 中低 中 高 改成默认设置的代价 → Posterior-Prior Gap 2611.14955 HDH 2611.14834 Condition Shifting 2611.14033 Safety as a Budget 2611.16628 StateAlign 2611.16304 PhysLoop 2611.16748

一、The Posterior-Prior Epistemic Gap: When World Model Imagination Fails to Carry Task-Relevant Signals:想出来的未来里,信息会自己蒸发(Jaerock Kwon、Elahe Delavari、Donghyun Kim、Haewoon Nam,arXiv:2611.14955,cs.RO / cs.AI,2026-11-11,密歇根大学德伯恩分校 / 汉阳大学)

问题 模型式规划器 rollout 想象出的未来时,默认了一个前提:转移模型会把任务相关信号忠实地往下传。这个前提几乎从没被直接量过——大家看的是输出质量(重建清不清楚、任务成不成功),不是「想象里的那条信息还在不在」。今天第一篇就是来量这件事的。

关键 idea / 方法骨架 设定是 Recurrent State Space Model 世界模型 + active inference 规划,跑在 CARLA 驾驶模拟器里。作者构造出一个「后验-先验间隙」:posterior(经过观测过滤的)状态还留着障碍信息,而想象 rollout 出来的 prior 状态会逐步把它丢掉。这里的实验设计是整篇最漂亮的地方:同一个监督式障碍探针分别打在两类状态上——因为探针完全相同、权重完全相同,那个衰减就隔离到了转移模型头上,而不是表征本身。这比「模型好像不懂」要硬得多:它说的是「表征里明明有,是转移的时候漏掉的」。副产品是一个更狠的发现:planner 自带的那个认知不确定度项根本不会报警——把 ensemble disagreement 当障碍分类器,AUC 只有 0.52,也就是随机水平。所以这是一个不被标记的想象失败,规划时点上连「我不确定」都听不见。

数据 / 数字 探针在 posterior 状态上 AUC 0.85;同一个探针移到 imagined prior 上,15 步内单调衰减到 0.71,logit separation 掉 57%。行为层面,在没有特权运行时坐标的情况下,障碍避免率掉到 0%;而 ensemble disagreement 作为障碍分类器只有 AUC 0.52——信息已经没了,但不确定性信号完全没动。作为第二贡献,在同一个世界模型上做任务条件化的 effective free energy 分量加权,可以做到车道保持 81.2 ± 1.8% 的 route completion 和障碍避免 28/28——但论文自己加了一行斜体:用的是特权坐标;运行时再调权重还能在规避之后把车重新拉回中线。

工程判断
- 什么时候抄:你在用世界模型做 MPC / 想象式规划。抄一件事就够了:拿一个已有的、很小的分类探针,分别打在「观测过滤后的状态」和「想象出来的状态」上,看 AUC 差多少。这不需要重训世界模型,只需要少量带标签数据(障碍、车道、接触点都行,别用像素当目标)。一旦你看到单调衰减,rollout 深度就会从一个「越长越好」的玄学,变成一个你能解释、能设上限的显式超参。顺带抄第二个动作:别再指望 ensemble disagreement 当不确定性指示器,这篇实测它是随机水平。

- 什么时候不抄:① 论文自己写明是 single-seed case study、只跑在 CARLA 模拟器上,所以 0.85→0.71 要当方向读,不能当效应量;② 探针目标必须任务特定——「障碍」好找,「这个任务真正需要保住的那条信息」往往才是难点,别以为能一探了之;③ 那条 28/28 的避障成绩用的是特权坐标,跟同篇「没有特权坐标时障碍避免率掉到 0%」是同一套实验的两个数,别把前者当可部署能力;④ 反过来也成立:AUC 衰减只证明这条链上信息没传下去,不证明模型不懂物理——它可能只是把「该传的」和「没传的」分在了不同通道上。

- 一句话启发:「想出来的未来里,信息会自己蒸发,而规划器自带的那个『我不确定』完全看不见这件事 —— AUC 0.52 就是它全部的报警能力。」

二、Few-Step Streaming Video Generation via Condition Shifting:条件不只是条件,它还能兼任打分器(Deyuan Liu、Jungang Li、Kaiwen Zheng 等 11 人,arXiv:2611.14033,cs.CV / cs.AI,2026-11-10,清华大学 / 生数科技 / 西湖大学,CC BY 4.0)

问题 少步采样能压住流式视频生成的算力。但主流的 DMD(Distribution Matching Distillation)范式有个硬要求:要额外挂一个 fake-score 网络来估计生成分布的速度场。这个网络吃训练显存、吃算力,而且还得追着不断变化的学生生成器跑——它是少步蒸馏路线上最贵的一块。

关键 idea / 方法骨架 这篇把 DMD 换成 condition shifting:用同一套参数、换一个条件,来估计生成分布的速度场。具体说,原始的文本条件负责「生成」,偏移后的条件负责「假分估计」,两个角色由同一个网络、同一份权重承担。于是那个独立的 fake 网络整个消失,而 S2-Avatar 的冻结参考教师、Self-Replay Forcing 和感知正则全都保留。方法论上真正有意思的地方是:控制信号(条件)本身就是一条可以被搬移的通道——你不是在造新模块,你是在重新接线。

数据 / 数字 评测在 180 秒视频上,每个 block 三次 backbone 评估加一个一步 spatial Refiner,配 70 例人评与 320 例 StreamAV-Bench。对比 S2-Avatar:Progressive track 的视频指令完成度 3.856 对 3.831,两条 track 的视觉美感 0.641898 对 0.632606。人工净偏好上,指令跟随 +30.0%,一致性与视频质量各 +4.3%;但运动质量反而更 favor 基线,音画同步基本打平,可用性不变。工程侧的账更直接:匹配训练设置下,每卡峰值分配显存低 4.4%、平均迭代时间短 9.2%(相对 DMD)。

工程判断
- 什么时候抄:你在做少步 / 流式视频生成,正被 fake-score 网络的显存和「追学生」的不稳定折磨。抄两件事:① 先问一句「这个额外网络估计的量,生成器自己能不能估」——如果能,就想办法把它压回生成器内部(条件搬移、条件复用、或者别的复用点),而不是继续养第二个模型;② 迁移时把显存和迭代时间当一等指标量:4.4% 显存、9.2% 时间在多卡训练里是实打实的账,而这两项在纯质量指标里完全看不见。

- 什么时候不抄:① 代价是明确的——运动质量更 favor 基线,而 +30.0% 的指令跟随净偏好是单点结论(70 例人评),别当成全面更优;② 「去掉独立 fake 网络」依赖你自己的生成器结构(APEX 特定的架构),不是通用改法;③ 4.4% / 9.2% 是「匹配训练设置下」的测量,跟你的 batch、精度、序列长度强相关,别照搬;④ 这条线属于训练侧工程,不是推理侧 —— 推理成本的故事在摘要里没有交代。

- 一句话启发:「控制信号不只能当条件用 —— 挪一下位置,它还能兼任打分器,省下的不是参数,是一整个要追着跑的副网络。」

三、Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models:冻结的策略自己教自己验(Wen-Han Hsieh、Ken Jiankun Zheng、Chia-Chien Chen、David M. Chan、Trevor Darrell,arXiv:2611.14834,cs.RO / cs.AI / cs.CV,2026-11-10,加州大学伯克利分校 / 国立阳明大学)

问题 VLA 采样出来的动作序列经常是无效的——看起来像那么回事,执行下去不完成任务。而用计算昂贵的 verifier 去评估候选动作,又会把每次策略查询的延迟顶上去,在真机上这个延迟就是掉帧、就是吃掉的安全裕度。这篇要解的是一个很具体的矛盾:既要验得更准,又不能把延迟加进回路。

关键 idea / 方法骨架 框架叫 HDH,三段式,而且全程利用冻结 VLA 自己的 hindsight。第一步,部署策略并收集它自己的自主 rollout——哪些动作块最后真的把任务做成了。第二步,用这些数据训一个紧凑的动作验证器,给它一个「预测任务成功率」的分数。第三步,冻结的 VLA 生成若干候选动作块,验证器挑分数最高的那个执行。所以「打分」这件事被搬到了策略之外,但打分器的训练标签是白拿的——你只要能判定一个 episode 成没成,不需要人标动作级标签。

数据 / 数字 LIBERO-10 的四个任务上平均成功率 82.3%;三个真机操作任务上相对基线策略平均成功率 +22.6%。这里要提醒一句:摘要只给了这两个数,没有给验证器本身的延迟数字——而这篇的卖点恰恰是「低延迟」。

工程判断
- 什么时候抄:你有一个不想重训的 VLA,但它的动作经常「看起来对、执行不成功」。抄两件事:① 用自己部署的 rollout 当监督信号——成功/失败标签是免费拿到的,只要你能判定 episode 成没成,不用标动作级好坏;② 把验证器做成「给动作块打分」而不是「从头再跑一遍任务」,这正是它能把延迟压进回路的原因。

- 什么时候不抄:① 摘要里没有延迟数字,落地前你得在自己的动作块长度、推理栈和传感器频率上自己量——这是这篇最关键的缺口;② 验证器是任务特定的,换任务要重新采 rollout、重新训;③ 它挑的是「这一块动作好不好」,不解决「这一块本身安不安全」——安全还得另有一层,别把选择器当安全层;④ 它依赖你能判定 episode 成没成,如果你的任务本来就没有清晰的成败判据,这套就落不了地。

- 一句话启发:「冻结的策略不是不能改 —— 它自己的部署历史,就是最便宜的成功信号。」

四、Safety as a Budget: Calibrating the Control Channel of Constrained GRPO for Vision-Language Models:安全写成预算,为什么反而失灵(Bo Han,arXiv:2611.16628,cs.AI / cs.CV,2026-11-12,兰州大学,10 页 5 图 5 表)

问题 用 RL 训 VLM 拒绝有害图文请求是常见做法,但「到底多安全」目前只能靠试 reward 权重间接定——试出来多少是多少,没人说得清。自然的修法是把安全写成预算:有害协助率一个预算、过度拒答率一个预算,在 GRPO 里用拉格朗日乘子强制满足。这篇的贡献恰恰是:这个自然的修法会失败,而且失败两次。

关键 idea / 方法骨架 两个失败各有各的原因,而且都很「工程」。第一个:乘子拿打分器的均值和预算比,可为排序而生的打分器把均值算错了——不动点分析显示,最后决定乘子是收敛、饱和还是直接关掉的是均值偏差,不是预算本身。第二个更隐蔽:标准 GRPO 会在组内对被惩罚过的奖励做标准化,这一步把乘子在到达梯度之前就抵消掉了。修法叫「双通道 constrained GRPO」:基础奖励保留原始分数给组内比较(让标准化不再吃掉乘子),惩罚项和约束估计走一个在 judge 标注响应上拟合的单调映射(修掉均值偏差),advantage 里保留乘子。

数据 / 数字 策略是 Qwen3-VL-2B,打分器用一个开源 4B 模型的免训练 readout。1037 条对抗 prompt 的 held-out 有害率从标准 GRPO 的 8.9% 降到 4.8%,每个种子都更低;而未标定预算只给到 7.6%——这就是那个均值偏差值多少的具体账单。400 条良性 query 的过度拒答最多 2%,MMBench 不变。收益结构很清楚:意图藏在图里时最大(10.1% → 5.1%),在没见过的 HADES benchmark 上更大(28.9% → 12.8%)。稳健性也做得比较到位:保序的分数扰动能在每个种子里复现预测的控制器状态;换成另一个 judge 的标签拟合的映射、换成读图的 judge、人工复核,结论都成立。

工程判断
- 什么时候抄:你在用 GRPO 类方法做安全对齐。抄三件事:① 任何乘子 / 惩罚项 / 惩罚权重,进入组内标准化之前,先确认它没被抵消——这是几分钟就能查完的事,而且很可能就是你的安全旋钮一直不生效的原因;② 打分器如果是「排序用」的,就别拿它的均值当绝对量用——要么换一个绝对校准过的打分器,要么在 judge 标注数据上拟合一个单调映射;③ 把安全写成两个预算(有害率 + 过度拒答率)而不是一个 reward 权重,你就同时拿到了「不敢拒答」这个量,而它恰恰是单权重写法里最容易悄悄涨起来的东西。

- 什么时候不抄:① 整篇的实验对象是 VLM 拒绝有害图文请求,不是机器人也不是具身策略,跨到 VLA 上必须重测;② 单作者、10 页 5 图 5 表,独立复核的价值很高,别当成定论;③ 打分器本身是「免训练 readout 一个开源 4B 模型」——它的偏置会进到乘子控制里,论文做到的是「换一个 judge 标签重拟合,结论仍成立」这一层,不是「打分器无偏」;④ 未标定预算那 7.6% 说明如果你的打分器均值是偏的,预算这个框架救不了你——框架是好的,前提是尺子准。

- 一句话启发:「安全写成预算当然对 —— 前提是你的优化器没在标准化那一步,先把预算的旋钮拧掉。」

五、StateAlign: Internalizing State-Aware Decision-Making for Reliable Multi-Turn Tool Agents via Reinforcement Learning:先看状态,再动手调工具(Zhexi Lu、Subhajit Chaudhury、Tejaswini Pedapati、Keerthiram Murugesan、Lei Yu,arXiv:2611.16304,cs.LG,2026-11-12,伦斯勒理工学院 / IBM Research)

问题 RL 确实提升了 LLM 的工具调用能力,但任务分数涨的同时,工具幻觉也在涨。可靠的工具使用要求决策跟当前任务状态对齐:现在有哪些信息、这个工具到底能干什么、任务进展到哪一步了。论文的分析给了一个很扎心的现象:agent 明明在推理里已经识别出信息缺失,却还是会执行,而不是去问一句、去把信息取回来、或者干脆拒掉一个不可行的请求。

关键 idea / 方法骨架 StateAlign = 任务状态构造 + 状态对比强化学习。数据侧覆盖五种任务条件,把「状态不同、要求的动作不同」的状态配成对——这是能训出「此时该问而不是该做」的结构前提。训练侧双通道:回报奖励管任务完成,token 级的对比比较同一段生成的推理与动作在配对状态下的差异,把输出压向「匹配当前状态」那一边。对比必须做在 token 级——段落级的对比根本分不出「该问」和「该做」。

数据 / 数字 跨三个家族五个基座模型,在 BFCL v4 multi-turn、ToolSandbox、When2Call 上都有提升。Qwen3-8B 上 BFCL v4 multi-turn 准确率 45.5% → 55.2%;SimpleToolHalluBench 上的「无工具幻觉」从纯结果训练的 62.2% 降到 56.1%。消融显示状态构造本身在不同 reward 设计下都能提升性能与可靠性;完整方法在三个 Qwen3 尺寸上都降低了工具幻觉。行为分析:决策更一致、多工具调用执行更完整、工具出错后恢复更强。

工程判断
- 什么时候抄:你在做多轮工具 agent,而且 agent 经常「该问的时候自己干了」。抄两件事:① 训练数据要按「状态」而不是按「任务」组织——把需要不同动作的状态配成对,才可能训出「此时该问而不是该做」这个区别,否则同一批样本里「问」和「做」互相抵消;② 状态对比一定要做到 token 级,别偷懒用段落级。

- 什么时候不抄:① 提升主要落在工具调用基准上,跨到具身 / 长时程场景要重测;② 幻觉率只从 62.2% 降到 56.1%——这是一半的数字,不是一半的幻觉消失了,读的时候千万别四舍五入成「解决了」;③ 状态构造的规则是人工写的,规则写错,token 级对比会忠实地学错,然后你还会得到一个漂亮的准确率;④ 这里的 base model 是 LLM,不是 VLA,「工具幻觉」和「动作幻觉」不是一回事。

- 一句话启发:「模型其实已经在推理里知道自己缺信息了,只是决策没跟着走 —— 那就用配对状态,在 token 级把它逼过去。」

六、PhysLoop: Harnessing LLMs' Physics Awareness for Self-Improving Video Generation Models:物理错的地方,交给 LLM 去修(Yuxuan Chen、Xiaojie Li、Hao Chen、Juncheng Ma 等 14 人,arXiv:2611.16748,cs.CV / cs.AI,2026-11-12,北京大学 / 字节跳动 Seed / 加州大学圣塔芭芭拉分校 / 麻省理工学院 / 汉堡大学 / 杭州师范大学,CC BY 4.0)

问题 视频生成模型画面很真,但物理动力学和因果一致性撑不住。要让这类模型自我改进,你需要细粒度的物理监督:可靠的质量判定、纠正配对、受控变化——这三样都很难拿到。而 LLM 本身是有物理知识的,问题是它没法可靠地引导视频生成模型去产出它自己需要的那些训练视频。这正好接上推荐池那条线:视频生成模型的物理一致性,缺的往往不是更聪明的模型,而是一条把「哪儿不对」变成可执行修改指令的通道。

关键 idea / 方法骨架 一个统一的 harness,把 LLM 在生成、筛选、纠正三个环节上都「引导并约束」住,把它的物理知识蒸馏成物理一致的视频。组件是五段:任务管理器(把用户请求翻译成任务规格)、资产管理与场景生成、模拟器执行、验证器、视频 refiner。这里有个容易被忽略但极关键的顺序:模拟验证在外观精修之前,最终成片还要再过一次验证——顺序反了的话,精修会把物理错误一起美化掉。两个用法:构造可控训练数据,以及推理时修视频。而且修的方式是「重建」而不是「重新生成」:把要保留的内容写成显式的重建任务,让模拟器检查事件、让成片再检查一遍。

数据 / 数字 释放 100K 覆盖室内外场景的视频,外加 PhysLoop-Gen 与 PhysLoop-Repair 两个评测集。PhysLoop-Gen 上任务成功率 85%,对比单跑 Seedance 2.5 的 73%;人工打分物理合理性 4.06 对 3.80、因果一致性 4.12 对 3.80,但视觉真实感 3.72 对 4.29——是负收益,差距主要出现在材质外观和背景。PhysLoop-Repair 上成功率 86.00%,而最强单跑基线 Seedance 2.5 只有 19.33%,三个独立生成器全部低于 20%。拆配置看更清楚:GPT-6 Astra 固定做 agent backbone 时,不带 refiner 的配置已经有 80.00% 生成成功率;加上 Seedance 2.5 精修后,生成成功率 85.00%,修复成功率 60.67% → 86.00%,人工视觉真实感 2.59 → 3.72。物理行为另外在外部 Physics-IQ Verified benchmark 上评估。

工程判断
- 什么时候抄:你在做视频生成的质量闭环,或者你想给自己的生成系统造物理一致的训练数据。抄三件事:① 把「验证」放在「外观精修」之前——顺序反了会让精修把物理错误一起美化掉,这是最容易被省掉又最致命的一步;② LLM 不做生成,只做规格、模拟与验证,这是它最可靠的角色,别让它去写最终画面;③ 用「重建任务」而不是「重新生成」来表达纠正要求——86.00% 对 19.33% 这个量级的差距,很大一部分来自这个表达方式:保留原内容 + 修好物理,比从头来过容易得多。

- 什么时候不抄:① 成本不低——场景构造、模拟、验证、精修是四段流水线,还要跑模拟器,不是加个 prompt 的事;② 视觉真实感是负收益(3.72 对 4.29),别把它当成「全面更好」;③ 物理正确性只在它自建的两个评测集和 Physics-IQ Verified 上测过,而且依赖 LLM 判定——LLM 的盲区就是你的盲区,论文没提供「不用 LLM 判」的交叉验证;④ 100K 视频是资产也是负债——用它训练之前先确认你的许可和存储预算。

- 一句话启发:「视频生成缺的不是更聪明的模型,是一条能把『哪儿不对』变成可执行修改指令的通道 —— 而这条通道的接线方式,是先验证、后精修。」

七、落地思考 / 我的判断

六篇的统一潜台词是同一句话:控制量接在哪根线上。第一篇的控制量(任务相关信号)确实在线上,被转移模型逐帧蒸发,而线上没有一个观测点能看见它;第二篇的条件这条线可以被复用成两条;第三篇的动作块选择这条线可以从策略自己的部署里拉出信号来;第四篇的乘子这条线被标准化在到梯度之前掐断了;第五篇的任务状态这条线可以被显式构造出来再压进权重;第六篇的 LLM 物理知识这条线可以被搭出来。所以今天六篇给的不是六个方法,是六个「接线位置」——外加一句提醒:接上了不代表通电。

最值得先抄的是第一篇的「测量法」,不是任何一篇的方法论文。理由是成本收益比压倒性地高:你的世界模型已经训好了,你只需要在两类状态上各挂一个很小的线性探针,再拿少量带标签数据把它训出来——不重训任何东西。而一旦你看到 AUC 0.85 → 0.71 的单调衰减,rollout 深度就从「越长越好」变成一个你能解释、能设上限的显式超参,这件事的回报远大于任何一期的算法改动。前提条件:你得能分别取到观测过滤后的状态和想象出来的状态(很多实现根本不给你留这个口子,得自己插桩),并且你得有一个「任务相关」的东西可以当探针目标(障碍、车道、接触点都行,别用像素当目标)。这篇自己的边界要一起记住:CARLA 上的 single-seed case study,数字当方向读不当效应量读;第二贡献那个 28/28 的避障用了特权坐标。

第二值得抄的是第四篇的「双通道」改法 —— 但值得抄的是它示范的那个排查动作,不是 8.9%→4.8% 这个数。任何乘子、惩罚项、惩罚权重,进入标准化之前先确认它没被抵消,这个排查几分钟能做完,而且可以立刻套到你自己的 GRPO / PPO 实现上。它还给了一条更普适的纪律:为排序而生的打分器,不要拿它的均值当绝对量用——这条在今天六篇里到处都成立。

今天最该警惕的两件事,正好是这两篇自己写下的边界。① 第一篇的 28/28 避障成绩是在「使用特权坐标」的条件下拿到的,和同篇「没有特权坐标时障碍避免率掉到 0%」是同一套实验的两个数——把前者当成可部署的能力,是把一个诊断当成了解决方案。② 第四篇整套控制通道都建立在打分器之上,而打分器是「免训练 readout 一个开源 4B 模型」,论文做到的是「换一个 judge 标签重拟合,结论仍然成立」,没有做到「打分器无偏」。这两个洞的共同点是:它们都不是方法的问题,是「你的控制量从哪来、它本身有多可信」的问题——和上一期「尺子的口径是谁定的」是同一个问题的下一层。

一句话启发:「今天六篇教你的是先问一句『我调的那个旋钮接在哪根线上、这根线通不通』,而不是先问『我该把它调到几』。」

论文 主题 方法骨架 关键数字
Posterior-Prior Epistemic Gap
2611.14955
世界模型 · 想象态的信息衰减同一个监督式障碍探针分别打在观测过滤后的 posterior 状态与想象 rollout 的 prior 状态上;探针与权重完全相同,因此衰减隔离到转移模型而非表征;planner 自身的 ensemble 分歧项不报警;任务条件化 effective free energy 分量加权作为第二贡献探针在 posterior 上 AUC 0.85,同一探针在 imagined prior 上 15 步内单调衰减到 0.71,logit separation 掉 57%;无特权运行时坐标时障碍避免率掉到 0%;ensemble disagreement 作障碍分类器仅 AUC 0.52(随机水平);车道保持 81.2±1.8% route completion、障碍避免 28/28(使用特权坐标)
Condition Shifting (APEX)
2611.14033
控制导向视频生成 · 条件复用用 condition shifting 在生成器内部估计生成分布的速度场:原始文本条件负责生成,偏移后的条件负责假分估计,同一套参数兼任两个角色;独立 fake-score 网络消失;保留 S2-Avatar 冻结参考教师、Self-Replay Forcing 与感知正则180 秒视频,每 block 三次 backbone 评估 + 一步 spatial Refiner,70 例人评 + 320 例 StreamAV-Bench;Progressive track 指令完成度 3.856 对 3.831,视觉美感 0.641898 对 0.632606;人工净偏好指令跟随 +30.0%、一致性与视频质量各 +4.3%,运动质量反而更 favor 基线;匹配训练设置下每卡峰值分配显存 -4.4%、平均迭代时间 -9.2%(相对 DMD)
HDH
2611.14834
安全 VLA · 冻结策略的动作验证三阶段且全程用冻结 VLA 自己的 hindsight:部署策略收集自主 rollout → 训紧凑动作验证器给每个动作块打预测成功率分 → 冻结 VLA 生成候选、由验证器选最高分者执行;不需要人标动作级标签LIBERO-10 的四个任务平均成功率 82.3%;三个真机操作任务相对基线策略平均成功率 +22.6%;摘要未给出验证器延迟数字
Safety as a Budget
2611.16628
安全 RL · 约束 GRPO 的通道标定两个失效:乘子拿打分器均值比预算,而排序型打分器均值有偏(不动点分析显示均值偏差而非预算决定乘子收敛/饱和/关闭);标准 GRPO 组内标准化把乘子在到梯度前抵消;双通道修法:基础奖励保留原始分数做组内比较,惩罚与约束估计走 judge 标注上拟合的单调映射,advantage 保留乘子Qwen3-VL-2B 策略 + 开源 4B 模型免训练 readout 作打分器;1037 条对抗 prompt 的 held-out 有害率 8.9%→4.8%(每个种子都更低),未标定预算仅 7.6%;400 条良性 query 过度拒答 ≤2%,MMBench 不变;意图在图中最明显 10.1%→5.1%,未见 HADES benchmark 上 28.9%→12.8%;保序分数扰动复现预测控制器状态,换 judge 标签/读图 judge/人工复核结论一致
StateAlign
2611.16304
智能体闭环控制 · 状态感知的工具调用任务状态构造 + 状态对比强化学习;数据覆盖五种任务条件,把「状态不同、要求动作不同」的状态配成对;回报奖励管完成,token 级对比比较同一段生成的推理与动作在配对状态下的差异,把输出压向匹配当前状态三个家族五个基座模型,BFCL v4 multi-turn / ToolSandbox / When2Call 均提升;Qwen3-8B 的 BFCL v4 multi-turn 45.5%→55.2%;SimpleToolHalluBench 无工具幻觉 62.2%→56.1%(纯结果训练→完整方法);消融显示状态构造本身在不同 reward 设计下都提升可靠性;三个 Qwen3 尺寸幻觉均下降
PhysLoop
2611.16748
视频生成 + 物理 · LLM 驱动的修复闭环统一 harness 在生成、筛选、纠正三环节引导并约束 LLM;组件为任务管理器、资产管理与场景生成、模拟器执行、验证器、视频 refiner;顺序关键:模拟验证在外观精修之前,最终成片再过一次验证;以「重建任务」表达纠正要求;两种用法为可控训练数据构造与推理时视频修复释放 100K 室内外视频 + PhysLoop-Gen 与 PhysLoop-Repair;PhysLoop-Gen 任务成功率 85% 对单跑 Seedance 2.5 的 73%,人工物理合理性 4.06 对 3.80、因果一致性 4.12 对 3.80,但视觉真实感 3.72 对 4.29;PhysLoop-Repair 86.00% 对最强单跑基线 19.33%(三个独立生成器全部 <20%);GPT-6 Astra 固定 backbone 时无 refiner 已达 80.00% 生成成功率,加精修后 85.00% 生成成功率、修复成功率 60.67%→86.00%、视觉真实感 2.59→3.72

References

下一篇预告:今天六篇把「控制量接在哪根线上」讲清楚了 —— 有一根线上的信号会自己蒸发、有一根线被标准化掐断、有一根线可以一条当两条用。但它们都没回答下一个问题:「那根线是谁接的?」第一篇的最诚实之处是,它的整套判断都建立在 CARLA 的真值上;第四篇的最诚实之处是,它的整套控制通道都建立在一个免训练 readout 的打分器上。当诊断和控制都依赖外部真值时,你测到的到底是你的系统,还是那个真值提供方的系统?下一层要问的是:当你手里没有真值、只有另一个模型的时候,你怎么知道你这条线是真的通了,而不是又画了一遍你以为的线?