thinkism.ai

今日 6 篇 arXiv 速读:说「对」之前先找一个能被检查的参照物(形式化规约做到 100% 一致、验证迁移失败 31%、探针 0.80 AUC 却解释不了、零力平衡预检把 0% 抬到 81%、收缩认证省下 7-20 倍采样、LASR 把隐空间判成 0.750 对 1.095)

2026-11-17 · AI / 每日 arXiv / 形式化规约 · 验证迁移 · 机制可解释性 · 闭环物理重建 · 收缩认证 · 动作落地度量

上一篇(11-16)结尾留了个问题:「当所有的尺子都架好了,我们怎么知道架得对不对?」今天这六篇往下一层走:架好之后,你还得回答另一个问题——凭什么说你这把尺子量出来的东西是对的?

六篇的做法几乎一样:给一个判断配一个独立于它自己的、能被检查的参照物。

关键在于「参照物」是它们共同的动作。Soteria 的参照物是一份形式化规约加一个验证器;Verification Transport 的参照物是同一次执行的另一个视图;MI 那篇的参照物是一次干预(而且它自己证明了这个参照物靠得太近);TelePhysica 的参照物是求解器给出的零力平衡;CS-MPC 的参照物是收缩率证明和一个能对输入说「不」的条件;LASR 的参照物是两条对照路线。「看起来对」是它们共同要摆脱的东西——因为看起来对的东西没法被检查。

但今天真正的重点在后面半句:验证通过,不等于你验证的是你想要的东西。这三篇各自给了证据,下面的「落地思考」里会逐条拆。

下面这张图把六篇放到两轴上:横轴「参照物离判断有多远」,纵轴「工程投入」。

图上值得看的是那条对角线:左下角那两篇(Verification Transport、LASR)最便宜,但参照物就在判据近旁——它们测的是「你现有的判据站不站得住」;右上角那三篇(Soteria、CS-MPC、TelePhysica)参照物完全外置,也因此全都贵。中间那篇 MI-Agent 是个例外:它的参照物(steering 干预)在模型内部,所以既便宜不到哪去,也远不到哪去——而它恰好是今天结论最刺眼的一篇,因为它证明了「参照物靠得太近」这件事会同时废掉「解释」和「泛化」两件事。

判据就是它自己 判据在模型内部 判据是另一条路线 判据是外部机制 参照物离判断有多远 → 低 中低 中 中高 高 工程投入 → V-Transport 2611.18471 MI-Agent 2611.18514 LASR 2611.17775 CS-MPC 2611.18390 Soteria 2611.17880 TelePhysica 2611.18078
六篇论文在「参照物离判断有多远」与「工程投入」两轴上的定位。左下角两篇只测你现有的判据稳不稳,右上角三篇真的换掉了判据——代价是三倍以上的工程量。

一、Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents:把「这条轨迹合不合规」从事后检查搬到事前验证(Mike He、Ankush Desai、Sharad Malik、Aarti Gupta,arXiv:2611.17880,cs.AI / cs.SE,2026-11-13,普林斯顿大学 / Snowflake,4 人,NeurIPS'26 Oral)

问题 LLM agent 跑多步工具调用,要同时满足两件事:把用户的任务办完(效用),以及遵守领域策略和工具契约(安全)。这两件事天然冲突——挡住一个不安全动作,确实避免了违规,但也可能让 agent 卡在半路上、没有一个有原则的恢复方式。现有做法基本上是在二选一:要么事后过滤(省了效用),要么事中拦截(agent 不会恢复)。

关键 idea / 方法骨架 Soteria 的核心动作是把顺序倒过来:不是「让执行器自己小心」,而是「先造出一个已经被验证过的计划,再让执行器去执行它」。三段:① 一次性 setup——用 LLM 从自然语言策略文档和工具定义里生成 policy specification、tool contract 和一组可复用的 sub-plan,然后人工对着策略核一遍(这一步论文写得很明确:规格是 LLM 辅助生成 + 人工验证);② 给定任务,Soteria Planner 从预验证的 sub-plan 库里组合出层次化计划,再把它对规格做形式化验证——在任何工具调用发生之前;③ 运行时 SpecMonitor 逐个检查提议的工具调用,不安全就拦,而被拦之后,已经验证过的计划继续给执行器指路——这就是它能恢复的原因。关键在于「验证过的计划」一物二用:它既是合规性的凭证,又是卡住时的导航图。

数据 / 数字 207 个任务、三个 benchmark(τ²-Airline 50 个、τ²-Retail 114 个、Toolathlon)、四个模型。Soteria 在四个模型上做到 100% 一致性,基线最高只有 93%。任务成功率比最好的基线高 4.7 到 43.9 个百分点(平均 1.7 倍):τ²-Airline 上高 10-40 个点,τ²-Retail 上高 7.0-43.9 个点;Claude Opus 4.6 在 τ²-Airline 拿到 88.0%、τ²-Retail 拿到 90.4%,对应最好基线是 56.0% 和 46.5%。代价也写得清楚:对话类 benchmark 上每任务成本高于所有基线,因为用户每一轮对话都要重新生成计划;τ²-Airline 的规格有 24 条。边界直接写在数字里:τ²-Retail 上所有基线一致性都超 90.0%,但原始效用和任务成功率分别不到 50.0% 和 40.0%——一致率高不等于任务完成;ABC + Gemini 在 τ²-Retail 上 93.0% 一致却仍有 8 次违规,基线违规数是 8 到 28。

工程判断
- 什么时候抄:你在做会调工具的 agent,而且「挡住之后怎么办」是个真问题。抄两件事:把合规判据从自然语言策略变成机器可检的规格(specification + tool contract),并在任何工具调用之前对计划做形式化验证;让被拦之后的恢复路径来自那份已验证的计划,而不是让模型临场想办法。前提条件很具体:你得能把策略写成规格,而且写规格这件事得有人工核——这一步没法省,省了就是拿 LLM 生成的规约去验证 LLM 生成的计划。

- 什么时候不抄:① 它贵——对话场景每轮都要重生成计划,成本高于所有基线,任务短、对话长、预算紧的场景先别上;② 规格需要人工验证,策略文档写错,你验证的就是错的规格,这跟 Soteria 的前提是同一件事;③ 只在 τ²-bench + Toolathlon 这类结构化工具域上验证过,工具契约写不清楚的域(开放网页、不可逆的外部副作用)规格没法形式化;④ 别把 100% 一致当成功汇报——论文自己的基线就是一致率 90%+ 而成功率不到 40% 的样本。

- 一句话启发:「『不违反规约』和『把事办成』是两个指标,任何一个达标都不代表另一个达标——所以别用其中一个去汇报另一个。」

二、Do Verifier Judgments Survive Abstraction? Measuring Verification Transport for LLM Agent Evaluation:把「这个判断准不准」换成一个「换个视图还对不对」的问题(Disha Sheshanarayana、Sai Linisha Reddy Goli,arXiv:2611.18471,cs.CL / cs.AI,2026-11-13,Manipal University Jaipur(曼普尔大学斋浦尔分校),2 人,NeurIPS 2026 Workshop「Who Verifies the Agents?」)

问题 现在大家都用 LLM verifier 给 agent 的执行打分。但可靠性通常只在一个视图下测过——原生轨迹。而部署里,同一次执行可能被工具组合、被委派边界、被历史压缩重新包装,verifier 直接看得见的证据变了。于是没人测过一件基础的事:一个在原生视图下判对的判断,换个视图还判不判对?

关键 idea / 方法骨架 Verification Transport 是一套可靠性测试,核心手法是配对构造:任务、真实轨迹、结果、真值、评测标准、verifier 全部固定不变,只改「执行证据对 verifier 可见到什么程度」。由此造出三种匹配视图——native(原生)、abstracted(抽象后)、restored(恢复溯源后),三条边界分别是 macro abstraction(多步压成一步摘要)、delegation(委派边界)、history compaction(历史压缩)。量有两个:VTFR(Verification Transport Failure Rate,分母加权,只在原生视图下判对的那些判断上算迁移失败率)和恢复率(restored 能不能把失败捞回来)。

数据 / 数字 4 个 agent 评测 benchmark、7 个 verifier backbone、4 种验证协议、3 条抽象边界。VTFR 最高 31.0%(macro abstraction)、30.9%(delegation)、20.3%(compaction)——原生视图里判对的判断,换个抽象方式看,三成会翻。协议之间的失败模式还不一样:macro abstraction 下 V-LLM 出 15.8% 错判 + 0.7% 不判,V-EVIDENCE 出 10.6% 错判 + 24.0% 不判,V-DELIBERATIVE 出 9.4% 错判 + 39.9% 不判——错得少的那几个是用「不判」换来的,不是真的更可靠。最扎眼的一条:低 VTFR 不等于高可靠性——V-LLM 的 VTFR 最低(16.4% / 17.3% / 14.1%),但它是错判最多的那一个。恢复侧是好消息:把执行溯源还回去能救回 85.5% 的迁移失败,同时只损伤 5.2% 原本判对的判断;macro abstraction 下恢复率 87.9%(损伤 5.3%),delegation 下 86.9%(损伤 5.4%)。溯源有损或缺失时恢复率明显更低——这一条直接决定了你这套系统能不能修。

工程判断
- 什么时候抄:你在用 LLM verifier 判 agent 执行,而且你的执行视图不是固定的——你压缩历史、合并工具、把子任务委派出去。抄一件事:做一次配对测试——同一批冻结执行造出原生/抽象/恢复三种视图,看同一个 verifier 在三种视图下判得同不同。这个测试不改任何生产代码,但它会让你第一次知道「我的 verifier 是不是只会用它熟悉的那个视图」。另外抄一条纪律:把「不判」单独算一类,别并进「判错」,也别从分母里抹掉。

- 什么时候不抄:① 视图单一、溯源完整的系统里做这个没有意义——论文的结论是「native-view accuracy alone is insufficient」,反过来也成立:native view 就是唯一视图时 VTFR 恒为 0;② 别拿 VTFR 排名选 verifier——论文明确指出低 VTFR 不必然更可靠,V-LLM 就是最低 VTFR 加最高错判的那个,要按「错判率 + 不判率」一起看;③ 85.5% 的恢复率建立在「溯源能还回去」的前提上,你的系统如果不保留执行溯源,这套测试告诉你的是「你有一块拼不回去」,不是「你有 15% 的损失」。

- 一句话启发:「同一个判断在不同的证据视图下会不会翻,跟它在同一个视图下准不准,是两件事——而部署里真正天天发生的是前者。」

三、Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination:一个 0.80 AUC 的探针能预测、能干预,却解释不了(Mohamed Aghzal、Mor Geva、Gregory J. Stein、Ziyu Yao,arXiv:2611.18514,cs.AI / cs.CL,2026-11-13,George Mason University(乔治梅森大学)/ 特拉维夫大学,4 人,CC BY 4.0)

问题 机制可解释性(MI)在大模型内部计算上进展很大,但在 agent 的决策过程上是另一回事。这篇挑了一个具体的 agent 失败:web agent 幻觉出网站上根本不存在的动作。MI 工具在这个失败上到底能做到哪一步?

关键 idea / 方法骨架 全部实验在 Qwen2.5-7B-Instruct 上、对着真实网站做,不是离线数据集。三步:① 特征定位——在残差流的三个位置(prompt_end 提示末尾、selector_start 选择器开头、selector_value_start 选择器值开头)训线性探针,预测「这次会不会幻觉」;② 因果检验——用探针权重做表示干预(steering),看能不能把幻觉掰回来;③ 局部化尝试——找电路、找 SAE 特征,看能不能定位到具体部件。第三步是失败的,而前两步成功了——这个落差就是全文的结论。

数据 / 数字 prompt_end 处的线性探针在第 18 层达到 0.80 的测试 AUC,而且是在模型一个 token 都还没生成的时候。干预端:用 L17 在 selector_start 的探针方向做 steering,最多把幻觉减少 85%,同时把 7% 的本来正确的动作推成幻觉。但探针方向对 prompt 格式敏感——把 JSON 动作列表换成编号 markdown 格式后,探针性能大幅退化,steering 效果显著下降,尽管训练时见过同样的数据;预训练 SAE 也给不出能指导幻觉决策的可解释特征(分离幻觉与正常样本的 top SAE 特征推的是与该行为无关的 token)。

工程判断
- 什么时候抄:你在做 web agent 或工具调用 agent,幻觉动作(调不存在的工具、点不存在的按钮)是个真问题。抄两件事:用「在动作写出来之前能不能预测」当指标(这比事后看对错更有用,因为你还有时间拦);用 steering 做一次因果验证——探针能预测不等于能修,能修才说明它在决策上游。顺带抄一条负面结论:别拿 SAE 当默认解法,这篇里它什么都没给出。

- 什么时候不抄:① 别把「探针准」当成「你解释了」——这篇自己划了这条线:0.80 AUC 加 85% 干预成功率之后,结论仍然是「这些工具能察觉 agent 行动前的决策并把它推离失败,但解释不了这个决策是怎么做出的」;② 别跨 prompt 格式复用探针——换一种动作表示方式就基本失效,你上线改个 prompt 模板探针就废了;③ steering 有 7% 的误伤,真实线上这个比例要按你的流量算,不能照抄论文;④ 7B 模型 + 真实网站的结论,迁到更大的模型或别的失败类型要重测。

- 一句话启发:「探针告诉你『它要错了』,不告诉你『它为什么会错』——前者能上线,后者还是篇论文。」

四、TelePhysica: Agentic Reconstruction of Physically Interactive Scenes:把「看起来对」换成「解算器验证过对」(Ruiqi Shu、Xufeng Zhan、Yuanzhi Liang、Haibin Huang、Chi Zhang、Xuelong Li,arXiv:2611.18078,cs.CV / cs.AI,2026-11-13,中国电信人工智能研究院(TeleAI),6 人,arXiv 非独占许可,Technical Report / Ongoing Work)

问题 两条路都走不通。图生视频把像素合成和隐式运动搅在一起——你拿不到一个能持续的 3D 力学平衡,没法中途插手,也没法做反事实的力控制;单趟程序化 3D 重建从一张没标定的照片出发,单目深度和支撑间隙是欠约束的,重建出来的场景会互相穿透,或者在重力下塌掉。

关键 idea / 方法骨架 TelePhysica 用闭环换掉单趟。① 一个视觉-语言编码 agent 合成可分离的视觉网格和声明式物理模型,写成程序;② 两阶段验证回路——Stage 1 做像素对齐的轮廓批评(渲染轮廓和输入照片的 mask 差异),Stage 2 做零力重力平衡预检:把候选世界编译进动力学求解器,外力置零,在重力下积分 1.0 秒,拒绝那些在 2D 投影里看着合法、实际会飘着或互相穿透的布局;③ 通过验证的世界编译进一个统一求解器,把刚体、铰接链、同维布料壳、三维四面体弹性动力学耦合起来;④ 模拟出来的 rollout 再去条件化预训练的视频扩散模型,走像素对齐的结构流。关键在于参照物换了:不是「看起来对」,是「解算器算过之后仍然对」。

数据 / 数字 100 张单图 benchmark。闭环执行把「平衡验证通过的世界重建率」从单趟合成的 0% 抬到 81%,中位数是 7 次场景提交;视觉对齐 2% 到 85%;完整 5.0 秒力 rollout 0% 到 49%。拒绝分解很清楚:Stage 1 初次拒绝 98/100,第一次 Stage 2 预检拒绝 84/95——大多数场景第一轮就被视觉阶段拦下,少数几个是过不了力学关的。本构 ablation:几何、质量、摩擦、外力全部固定的前提下,同维有限元布料比刚性板代理产生超过 10 倍的局部角点位移和 8 到 11 厘米的面外褶皱;耦合三维弹性动力学能捕捉亚毫米级泡沫回弹和软到硬的动量传递。视频侧:用模拟 3D rollout 条件化后,动态 motion-mask IoU 从无条件图生视频基线的 0.17-0.27 抬到 0.48-0.87,质心轨迹误差降 4 到 20 倍,并且在反事实力反转下保持 0.90 以上的方向余弦对齐——无条件模型在同一个条件下是负相关。

工程判断
- 什么时候抄:你在做「一张图 → 能交互的三维场景」,或者需要反事实物理的问题。抄两件事:给生成结果加一道解算器预检(零外力、跑 1 秒、看平衡),哪怕你只有刚体;把 rollout 当成视频生成的条件,而不是让模型自己编运动。第二条对做物理可控视频的人几乎是刚需——motion-mask IoU 0.17-0.27 到 0.48-0.87 那一档差距,就是「模型猜的」和「算出来的」的差距。

- 什么时候不抄:① 这篇是 Ongoing Work 的 Technical Report,许可还是 arXiv 非独占,而且它是端到端很重的一整套(编码 agent + 求解器 + 视频扩散),照抄整套不现实,抄预检这一层现实;② benchmark 只有 100 张单图,而且是他们自己的,81% 这个数换到你自己的场景得重测;③ 材料那部分(有限元布料、四面体弹性)门槛很高,只有软体形变需求才值得上,刚体场景用普通物理引擎就够;④ 零力平衡只能证明「静止时不塌」,反事实力下的表现是另一组实验,别混着引用。

- 一句话启发:「让模型生成、再让物理引擎否决——比让模型生成、再让人看画面,对十次。」

五、CS-MPC: Contraction-Certified Sampling-Based MPC for Nonlinear Systems Under Uncertainty:把「采够了没有」换成一条可以证明的界(Yashwanth Kumar Nakka,arXiv:2611.18390,eess.SY / cs.RO,2026-11-13,佐治亚理工学院航空航天工程学院,单作者,CC BY-NC-ND 4.0)

问题 采样式 MPC(以 MPPI 为代表)有三个老毛病:rollout 是开环传播的,动力学不稳的时候样本迅速发散,要堆很多样本才有一次有用的控制更新;安全约束只是 rollout 里的惩罚项,它塑造采样分布,但并不认证真正施加到系统上的那个输入;有限样本带来的闭环误差通常只在仿真里被评估,没人把它接到系统上。

关键 idea / 方法骨架 CS-MPC 三层。① 把收缩认证的跟踪反馈放进每一条 rollout 内部——反馈闭环的动力学满足收缩条件,于是 rollout 被约束在参考轨迹附近,展开的离散度有界,而且这个界对任意时域一致;MPPI 的权重仍然用来优化非光滑、非凸的任务代价(所以它没有牺牲 MPPI 的强项);② 执行层在施加之前验一遍输入,用的是被条件分位数区域收紧过的离散时间控制障碍函数(DCBF)条件,这个条件能处理非凸、非光滑、时变的安全集,并且带采样与备份两条回退;③ 离线验证 + 在线证明——收缩率在一个显式定义域上对名义非线性反馈闭环动力学做离线验证,论文还给出有限样本随机稳定性界和任务级的概率安全保证。

数据 / 数字 仿真验证,三个任务:rover(行星车)、quadrotor(四旋翼)、asteroid landing(小行星着陆)。对标准 MPPI:rover 上同样的跟踪误差,rollout 少 7 到 20 倍;四旋翼上跟踪误差低 2 到 4 倍;200 次蒙特卡洛任务里零安全违规。

工程判断
- 什么时候抄:你在做采样式的安全控制(无人机、行星车、小卫星),痛点是「算力不够所以采样不够」或者「约束只是罚项不是保证」。抄两件事:把一个已认证的稳定反馈塞进 rollout 内部(这是省采样的机制来源,不是工程 trick);把安全约束从 rollout 惩罚改成施加前的检查。前提条件很硬:你得能写出并验证收缩条件——这不是调参,是要证一个命题。

- 什么时候不抄:① 全篇是仿真验证,没有硬件实验——论文自己没碰真机,上生产之前你得自己补;② 需要收缩性——如果你的系统不是收缩的(很多带饱和、带延迟的硬件系统不是),这个方法的适用前提直接不成立;③ 收缩率验证是离线的、对名义动力学的,模型失配大的场景论文处理的是「任务期间不变的参数不确定」,不是完全未知的动力学;④ 200 次蒙特卡洛零违规是仿真里的零违规,不是统计意义上的安全证明落地,别当成「已认证安全」。

- 一句话启发:「『我采了一千条 rollout 所以安全了』不是保证——安全要有一个能对施加的输入直接说『不』的条件。」

六、Beyond Prediction Gain: LASR as a Metric for Action-Grounded Latents in World Models:把「这个隐空间到底编码了动作没有」变成一个小数(Yu Zhou、Changsong Lei、Yixiang Wei、Kairui Wen、Huankun Sheng、Ming Li、Yeying Fan、Yu-Hui Wen、Yong-Jin Liu,arXiv:2611.17775,cs.RO / cs.LG,2026-11-13,清华大学 / 北京交通大学,9 人,arXiv 非独占许可)

问题 世界模型要能规划、能控制,隐表示就得真的编码动作。但训练世界模型的大规模视频数据绝大多数没有动作标注,latent-action 模型只好从观测序列里反推「像动作的变量」。核心疑虑是:一个让未来预测变好的 latent,可能只是编码了当前状态、回合进度、任务身份这类预测捷径。而现有的评测方式——重建损失、rollout 保真度、动作恢复、下游性能——都分不清这件事。

关键 idea / 方法骨架 LASR 的手法是给隐空间找两条对照路线,然后看它能不能同时打赢。对每一个动作相关目标 Y_τ(实现里用两个:记录下来的物理动作 A_t,以及观测到的一步状态差 S_{t+1}-S_t),在同一份留出折上比较三条路线的预测风险:隐空间路线 E_Z、当前状态路线 E_state、一个在验证集上选出来的非动作控制路线 E_ctrl。LASR = E_Z / min{E_state, E_ctrl},是一个无量纲比值,1 是分界线——低于 1 表示隐空间同时打赢了两条参照路线。两个汇总量:GeoLASR(跨目标-折的几何平均,代表典型支持)和 WorstLASR(最大值,代表最差的那一个)。benchmark 用 ALOHA static-battery 数据、按回合留出、所有比较用同一种预测器,再配正负对照。

数据 / 数字 表 3 的 GeoLASR:DiLA 0.750、LaWAM 0.891、LAPA 0.922、UniVLA 1.009、MVP-LAM 1.095——前三个过了 1 这条线,后两个没过(1 是操作性边界)。关联性分成两半看:25 个模型-任务单元里,GeoLASR 与实际执行 TCP 效应 MSE 的 Spearman ρ = 0.956(区间 0.916-0.993),与分支误差 ρ = 0.810;但50 个任务-种子块里,GeoLASR 与任务成功率的 ρ = -0.1610(区间 -0.6048 到 0.3930)——几乎不相关。适配器消融:LASR 引导的残差适配器把 GeoLASR 从 0.750 降到 0.745、WorstLASR 从 0.796 降到 0.785,而随机残差是 0.762 / 0.815、置乱残差 0.761 / 0.834、MSE 残差 0.759 / 0.810;配对 bootstrap 里,对随机残差的差是 -0.01804(95% 区间 -0.02978 到 -0.00574),对置乱残差 -0.01617,对 MSE 残差 -0.01466,而对原始 latent 是 -0.00563(区间 -0.01852 到 0.00713)——不过零。还有个细节:记录动作这一格的 GeoLASR 是 1.19×10⁻⁷,论文按 0 显示。

工程判断
- 什么时候抄:你在训无动作标注的视频世界模型,或者在几个候选隐表示之间挑。抄两件事:用「同时打赢状态路线和一条非动作控制路线」当判据——你至少要有一条非动作的对照路线(比如任务 ID、回合进度),否则你测不出捷径;同时报 GeoLASR 和 WorstLASR——最差那一个才是你上线会撞上的。适配器那条也值得抄:用 LASR 的相对比较训练一个轻量残差适配器,再拿 LASR 审计它。

- 什么时候不抄:① 别把 LASR 当「成功」的代理——ρ = -0.1610 那一栏是全文最该被引用也最该被记住的数字,一个能把 TCP 误差压下去、相关度 0.956 的指标,和任务成功几乎不相关;② 它测的是「有没有动作信息」,不是「能不能规划」,别拿它去论证你的世界模型能用来做决策;③ 数据集是 ALOHA 桌面操作,你的域(行走、驾驶、野外)要重新构造目标;④ 配对比较是对着随机残差显著、对着原始 latent 不显著——适配器那点收益很小,别当大突破讲。

- 一句话启发:「给一个隐空间判动作落地,要问它『比状态好多少、比捷径好多少』,别问它『预测准不准』——后者它可以靠走捷径拿到。」

七、落地思考 / 我的判断

六篇的统一潜台词是同一句话:给一个判断配一个独立于它自己的、能被检查的参照物。Soteria 的参照物是形式化规约加验证器加运行时监视器;Verification Transport 的参照物是同一次执行的另一种视图;MI 那篇的参照物是一次干预;TelePhysica 的参照物是求解器的零力平衡;CS-MPC 的参照物是收缩率证明和一个能对输入说「不」的条件;LASR 的参照物是状态路线和一条非动作控制路线。上一期讲「尺子要架在能对齐的地方」,这一期讲的是「架好之后,尺子本身还得有人验」——而今天的六篇给了两条完全不同的路:显式地建一个外部参照物(贵),和测一测你现有的参照物在环境变化下还站不站得住(便宜)。有意思的是六篇里没有一篇在改「更大的模型」——改的全是判据被放在哪儿、由谁来执行。

但今天真正的重点是后半句:验证通过,不等于你验证的是你想要的东西。三篇各自给了证据,而且证据都很硬:① MI 那篇——探针 0.80 AUC、steering 修好 85% 的幻觉,「验证」全过,但它自己的结论是解释不了;而且换个动作表示格式就基本失效。参照物在模型内部,所以它验的是「能不能修」,不是「为什么错」,也不是「换个环境还灵不灵」。② LASR——GeoLASR 与 TCP 效应误差 ρ = 0.956,与任务成功率 ρ = -0.1610。它和「更准」高度相关,和「成功」几乎无关。③ Soteria 自己的基线——τ²-Retail 上一致性全部超过 90%,任务成功率不到 40%。合规达标和事办成,是两条独立的线。把这三件事摆在一起是一句很硬的话:一个被验证过的量,只能保证「它满足的那个判据」,不能保证「那个判据就是你要的东西」。

最值得先抄的是第一篇 Soteria 的形状——先验证计划,再执行。理由是它的收益类型最干净:不是拿安全换效用,是两边同时涨(1.7 倍成功率 + 100% 一致),而且它的形状可以脱离内容复用——任何你在执行之前就已经能写下来的判据,都可以变成一次执行前的形式化验证。前提条件必须说清楚:你得能把策略写成机器可检的规格,而且规格要有人工核;同时要接受对话场景下的额外成本(论文自己写了每任务成本高于所有基线,因为每轮对话都要重生成计划)。第二值得抄的是第二篇 Verification Transport 的配对测试,因为它的性价比高到不讲道理——纯评测层改造,不动模型、不动推理、不花钱,却能让你第一次知道你的 verifier 是不是只会用它熟悉的那个视图,而且顺手教你「把不判单独算一类」这条纪律。第三值得抄的是第四篇 TelePhysica 那道解算器预检——哪怕你只做刚体,「零外力跑 1 秒看平衡」也是一道能加在任何生成管线后面的闸门。LASR 的那条判据更适合当选型期的筛子,不适合当验收指标,因为它和成功不相关:它能回答「这个隐空间是走了捷径还是真编码了动作」,回答不了「用它能不能做成事」。

今天最该警惕的两件事,恰好是这三篇自己写下的边界。① Soteria 的成本账:对话类 benchmark 上每任务成本高于所有基线,因为每一轮对话都要重新生成计划。验证是有价的,而价目表不写在 abstract 里。② MI 那篇的格式脆弱性:把 JSON 动作列表换成编号 markdown,探针性能大幅退化、steering 效果显著下降——你昨天验证过的那个探针,今天改个 prompt 模板就废了。所以任何「我验过了所以能上线」的结论,都得先问一句:「我是在什么格式下验的,这个格式多久会变一次?」

一句话启发:「先问『我的参照物是谁、它独立吗、我上次验它是什么时候』,再问『我那个数是多少』——前一个问题今天就能改,后一个问题可能让你赔上一整个部署。」

论文 主题 方法骨架 关键数字
Soteria
2611.17880
安全 LLM agent · 事前形式化验证LLM 从策略文档生成规格与工具契约(人工核);任何工具调用前对层次化计划做形式化验证;运行时 SpecMonitor 逐调用强制,被拦时用已验证计划导航恢复207 个任务 / 3 个 benchmark / 4 个模型;100% 一致(基线最高 93%);成功率 1.7 倍(高 4.7-43.9 个点);Opus 4.6 得 88.0% / 90.4% 对 56.0% / 46.5%;基线一致率 90%+ 而成功率不到 40%
Verification Transport
2611.18471
智能体评测 · 判断的迁移性任务/轨迹/结果/真值/标准/verifier 全固定,只改证据可见性;造 native / abstracted / restored 三种匹配视图与三条抽象边界;量 VTFR 与恢复率4 benchmark / 7 backbone / 4 协议 / 3 边界;VTFR 31.0% / 30.9% / 20.3%;V-LLM 16.4% / 17.3% / 14.1% 但错判最多(15.8% vs 9.4%);恢复 85.5%,损伤 5.2%
MI-Agent
2611.18514
可解释性 · 探针与干预的边界Qwen2.5-7B-Instruct 跑真实网站;在残差流三个位置训线性探针预测幻觉;用探针权重做 steering 做因果检验;再尝试找电路与 SAE 特征prompt_end 第 18 层 0.80 AUC(生成前);steering 修好 85% 幻觉、误伤 7% 正常动作;换 JSON 为编号 markdown 后探针大幅退化;SAE 给不出可解释特征
TelePhysica
2611.18078
视频生成 · 物理可交互重建视觉-语言编码 agent 生成可分离网格与声明式物理模型;两阶段验证(轮廓批评 + 零力重力平衡预检);统一多物理态求解器;模拟 rollout 条件化视频扩散100 张单图:平衡重建 0% 到 81%(中位 7 次提交)、视觉对齐 2% 到 85%、5.0 秒 rollout 0% 到 49%;布料角点位移 >10 倍、褶皱 8-11 cm;motion-mask IoU 0.17-0.27 到 0.48-0.87,轨迹误差降 4-20 倍
CS-MPC
2611.18390
安全控制 · 收缩认证的采样式 MPC收缩认证跟踪反馈放进每条 rollout 内部;执行层用分位数收紧的 DCBF 条件验施加输入(带采样与备份回退);离线验证收缩率并给出随机稳定性与概率安全证明仿真三任务(rover / quadrotor / 小行星着陆);rover 同样误差少 7-20 倍 rollout;四旋翼误差低 2-4 倍;200 次蒙特卡洛零安全违规
LASR
2611.17775
世界模型 · 动作落地度量同折上比三条路线预测风险(隐空间 / 当前状态 / 非动作控制);LASR = E_Z / min(E_state, E_ctrl),1 为界;汇总为 GeoLASR 与 WorstLASR;ALOHA 回合留出 + 正负对照GeoLASR:DiLA 0.750、LaWAM 0.891、LAPA 0.922、UniVLA 1.009、MVP-LAM 1.095;与 TCP 误差 ρ=0.956,与成功率 ρ=-0.1610;适配器 0.745 / 0.785,对随机残差 -0.01804 显著、对原始 latent 不过零

References

  1. He, Mike, Desai, Ankush, Malik, Sharad, Gupta, Aarti (2026). Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents. arXiv:2611.17880. cs.AI / cs.SE; 2026-11-13; 普林斯顿大学 / Snowflake(4 人); CC BY 4.0; 录用于 NeurIPS'26 Oral。
  2. Sheshanarayana, Disha, Goli, Sai Linisha Reddy (2026). Do Verifier Judgments Survive Abstraction? Measuring Verification Transport for LLM Agent Evaluation. arXiv:2611.18471. cs.CL / cs.AI; 2026-11-13; Manipal University Jaipur(曼普尔大学斋浦尔分校)(2 人); CC BY 4.0; 录用于 NeurIPS 2026 Workshop「Who Verifies the Agents? Toward Reliable Agent Development」。
  3. Aghzal, Mohamed, Geva, Mor, Stein, Gregory J., Yao, Ziyu (2026). Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination. arXiv:2611.18514. cs.AI / cs.CL; 2026-11-13; George Mason University(乔治梅森大学)/ 特拉维夫大学(4 人); CC BY 4.0。
  4. Shu, Ruiqi, Zhan, Xufeng, Liang, Yuanzhi, Huang, Haibin, Zhang, Chi, Li, Xuelong (2026). TelePhysica: Agentic Reconstruction of Physically Interactive Scenes. arXiv:2611.18078. cs.CV / cs.AI; 2026-11-13; 中国电信人工智能研究院(TeleAI)(6 人); arXiv 非独占许可; Technical Report / Ongoing Work; 项目页:interactive4d.vercel.app
  5. Nakka, Yashwanth Kumar (2026). CS-MPC: Contraction-Certified Sampling-Based MPC for Nonlinear Systems Under Uncertainty. arXiv:2611.18390. eess.SY / cs.RO; 2026-11-13; 佐治亚理工学院航空航天工程学院(Daniel Guggenheim School of Aerospace Engineering)(单作者); CC BY-NC-ND 4.0。
  6. Zhou, Yu, Lei, Changsong, Wei, Yixiang, Wen, Kairui, Sheng, Huankun, Li, Ming, Fan, Yeying, Wen, Yu-Hui, Liu, Yong-Jin (2026). Beyond Prediction Gain: LASR as a Metric for Action-Grounded Latents in World Models. arXiv:2611.17775. cs.RO / cs.LG; 2026-11-13; 清华大学 / 北京交通大学(9 人); arXiv 非独占许可。

下一篇预告:今天六篇都在回答「我的参照物站不站得住」——Soteria 用形式化验证、Verification Transport 用配对视图、TelePhysica 用求解器预检、CS-MPC 用收缩证明、LASR 用两条对照路线。但它们都默认了一件事:你挑的那个参照物,是对的哪一个。下一层要问的是:「你怎么知道你选的参照物,比另一个你还没试过的参照物更可信?」参照物本身也要被评价——它可能有偏、可能过时、可能只在这批数据上准。以及一个更实际的问题:参照物给出了一个非零的失败率之后,这些失败应该按什么顺序修?