thinkism.ai

今日 6 篇 arXiv 速读:GlobeBench 让 20 个模型在「后果要传播到依赖对象」时集体掉到 5.1%、Latent WAM 把 GUI 世界模型从像素搬到潜空间、WorldCast 用深度点云撑住大角度运镜、VLA-Stem 给冻结的 VLA 套一层只管避障的反射弧、RECREG 把「安全」写成整条轨迹的正则性质、DynaFlow 让主 agent 自己写协作程序

2026-10-29 · AI / 每日 arXiv / 文本世界模型的判分 · 潜空间 GUI 世界模型 · 大角度相机控制 · 冻结 VLA 的安全外挂 · 正则安全性质 · 多智能体编排 · 阅读时间 ≈ 19 分钟

昨天(10-28)那篇的落点是「均匀对待」:每个领域的默认做法都建立在「所有东西都同等重要」之上,解法是找出那个不均匀的地方,然后给它加权。那篇结尾我自己留了个问题没回答:「不均匀」这件事该由谁说了算。

今天这 6 篇正面处理这个问题,而且处理方式高度一致 —— 全部都是「代理目标和真实目标错位」。你用来打分的东西不是你真正在乎的东西;而你按那个代理目标做的优化,会把系统朝着一个错误的地方推。今天的 6 篇,每篇都在处理这个错位的一个具体变体:

下面这张图把 6 篇放到两轴上。横轴是换判据要动到系统的哪一层(从左到右:只换评测口径 → 换训练目标 → 换执行逻辑本身);纵轴是真实目标由谁定义 —— 最上面是环境执行记录自己给出,中间是模型内部的信号,最下面是人或形式化规范写死。这张图想说的其实是一句话:越往下,越有硬保证,但越需要你先想清楚自己要什么。

真实目标由谁定义 环境执行 模型信号 形式规范 只换评测口径 换执行逻辑 ← 越往右,要动的代码越多 → GlobeBench 2610.22708 尺子本身要重造 WorldCast 2610.33135 几何当尺子 Latent WAM 2610.14228 预测目标搬到潜空间 DynaFlow 2610.34467 过程质量当尺子 VLA-Stem 2610.37378 空间意图当尺子 RECREG 2610.23445 DFA 规范当尺子
图 1 · 6 篇论文在「换判据要动到哪一层 × 真实目标由谁定义」上的二维定位。蓝色=GlobeBench(20 个模型在依赖对象传播上平均只剩 5.1%、631 个任务无人能解)、绿色=WorldCast(ATE 0.065 对 Uni3C 0.098,ArcFace 0.555 对 0.433)、橙色=Latent WAM(相对像素世界模型成功率 +31.9%/+40.6%,世界模型推理延迟 -98.9%)、紫色=DynaFlow(88.08%,+10.90pp;Dynamic 模式 47.1% 的题不用工作流)、红色=VLA-Stem(6 个受限仿真设定下无碰撞任务成功率 52.8% 对最强安全基线 23.7%)、青色=RECREG(Exact/ModelBased/ModelFree 三档,正则是 DFA)。左上方最便宜:只要重造一把尺子;右下方最贵也最硬:得先写清楚规范。

一、GlobeBench(Saban、Bannur、Vasileva、Deshpande,arXiv:2610.22708,Patronus AI,cs.AI / cs.CL,2026-10-15,CC BY 4.0):把尺子本身重造一遍,才发现「像」和「对」不是一回事

问题:文本世界模型(Text-based World Model)最近被看好,用来模拟 RL 环境的状态转移、支撑可扩展环境仿真。但没有一个标准化的基准来比较、研究、改进它们。

关键 idea:GlobeBench —— 1,632 个任务,横跨 5 个领域、19 种仿真技能。每个任务问的是同一件事:给定完整 agent 轨迹,模型能否预测环境对某个具体动作的响应。要答对,模型得理解三件事:更早的状态发生了什么变化、环境规则是什么、这个动作对相关对象和无关对象分别有什么影响。判分方式是混合架构:确定性闸门 + 语义 judge,比对的参照物是从真实执行记录导出的 reference —— 也就是说,「正确答案」来自实际跑一遍环境,不是人写的。

数据 / 数字:拿 20 个通用 LLM + 专门的文本世界模型一起测:GPT-6 Astra 最高,任务成功率 49.57%。论文里最有信息量的两个数字是:

为什么这个 5.1% 值得停一下:它不是「模型不够强」的那种失败。上面两段任务里,模型大概率都能写出看起来非常合理的下一步描述 —— 门开了、灯亮了、东西掉了。挂掉的是那些必须说清楚「因此,那个依赖它的东西也变了」的任务。也就是说,模型学到的不是后果,是表面连贯性。拿「下一步描述像不像」当尺子,测出来的是流畅度,不是世界模型能力。

工程判断:

二、Latent World Action Model for GUI Agents(Yu、Choi、Park、Shin、Shim,arXiv:2610.14228,KAIST,cs.CV / cs.AI / cs.HC,2026-10-09,CC BY 4.0):像素重建当尺子,模型学会了「什么都不变」

问题:GUI agent 的像素空间世界模型走的是「先预测未来屏幕,执行后再重新感知」这条路。两个硬伤:(L1) 像素重建的计算开销;(L2) 需要重建大量动作选择根本用不上的外观细节。更要命的是第三点 —— 论文叫它 identity shortcut(恒等捷径):屏幕生成目标会诱导模型「保持现状」,未来状态预测基本在复制当前画面,而不是捕捉动作诱发的变化。

关键 idea:把预测目标从全屏重建换成动作诱发的未来信息,而且换到潜空间里。用一个大型多模态模型当潜世界模型,共享表征上挂两个头:动作头直接出候选动作打分,转移头负责捕捉动作条件下的未来。为了压住恒等捷径,再加一个动作感知的对比目标,逼转移表征去捕捉「这个动作引起的、有判别力的变化」。推理期还多一道闸门:候选动作置信度高就直接执行,低才叫世界模型出来重排。

GPT-5.6 与 Qwen3-VL-8B 上 Base、Code2Image、Diffusion2Image 与 Latent(本文)四种设置的总体成功率堆叠柱与运行时间折线对比
图 2 ·(论文 Figure 1)两条腿一起走:堆叠柱是 Easy / Medium / Hard 分解后的总体成功率,紫色星标折线是单次运行时间(右轴,对数刻度)。Latent(本文)在 GPT-5.6 上总体成功率 54.46 → 61.61、Qwen3-VL-8B 上 27.68 → 40.18,而运行时间 2320.3 s 的 Diffusion2Image 在 GPT-5.6 上被压到 141.4 s。 来自 Latent World Action Model for GUI Agents,Seungjun Yu、Hojun Choi、Seojeong Park、Jaeyo Shin、Hyunjung Shim(KAIST),2026,CC BY 4.0。

数据 / 数字:相对像素空间世界模型,离线成功率最高 +31.9%、在线最高 +40.6%(相对提升);相对完全不用世界模型的 base agent,离线最高 +11.6%、在线最高 +47.0%;世界模型推理延迟最多降 98.9%。AndroidWorld 在线评测上五个 backbone 全部拿到最高 Overall SR。

还有一个比主结果更狠的数字:在 GUI-Odyssey 这个跨应用、长视野的 OOD 基准上,两个像素空间世界模型的 SR 双双掉到 base agent 以下 —— 也就是说,像素世界模型在分布外不只是没用,是有害的;而潜空间版本仍然保持在 base agent 之上。这个「OOD 下反而拖后腿」的观察,是「像素重建当尺子」这件事最直接的账单。

潜空间世界动作模型的训练与推理流程:训练阶段 Qwen3-VL 共享表征分出动作头与转移头,推理阶段用闸门决定是否调用世界模型重排候选动作
图 3 ·(论文 Figure 3)训练时 Qwen3-VL 共享表征分出动作头(候选打分,交叉熵)与转移头(预测下一状态,InfoNCE 对比目标),对比负样本包含当前状态的记忆库表征;推理时闸门按置信度决定要不要让世界模型介入重排。 来自 Latent World Action Model for GUI Agents,Seungjun Yu 等(KAIST),2026,CC BY 4.0。

消融是这篇最有说服力的部分:AndroidWorld 上四组递进 —— 纯 base agent → 加动作头 → 再加转移头(用逐点余弦回归训)→ 最后把逐点匹配换成动作感知对比目标。每一级都在涨,而最后一级的收益恰好来自「显式区分动作诱发的未来、当前状态、以及其它竞争未来」。这说明对比目标不是花架子,它在解决一个具体的捷径问题。

三句诚实话:其一,Type(动作类型)的提升比 Grounding(坐标)一致得多 —— 重排机制改的是「选哪个候选」,并不细化候选自己的坐标,所以动作选对了不代表点得准。其二,论文自己报告:最终 token 的表征在残差分析下并不区分动作类型,能分开的是转移头的输出 —— 这是一个对自己方法不利但被写出来的限定。其三,算力不便宜:8 张 RTX A6000,训练每卡约 31 GiB 显存。

工程判断:

三、WorldCast(Cao、Liu、Liao、Zhang、Wang、Zhang、Le、Zhou、Luan、Ma,arXiv:2610.33135,武汉大学 / 小米 MiLM Plus 等,cs.CV,2026-10-23):相机轨迹跟得再准,角色换脸了也算失败

问题:电影感的角色视频生成需要精确的相机控制,但现有方法在大角度轨迹(旋转、平移、半径变化叠加,且起始方位任意)上会失手。更棘手的是:视角一变,初始帧里根本没露出来的角色区域就暴露了 —— 于是几何畸变、外观退化、身份漂移一起冒出来。

关键 idea:两件事一起做。第一,建 CLACT 数据集与基准:角色中心、多视角、带精确相机几何的大角度轨迹;训练语料由 UE5 相机运动序列 + Blender 渲染两部分组成,带多视角角色锚点观测。第二,做 WorldCast:

支路 A · 几何引导 初始帧 + 估计深度 反投影 3D 彩色点云 尺度与轨迹对齐 沿轨迹渲染 几何引导 + 覆盖率掩码 掩码圈出 未观测区 支路 B · 角色记忆 多视角角色锚点 正面 / 背面 / 侧面 联合估计相对位姿 与初始帧一起 GAMA 公共坐标系下检索注入 生成器 轨迹跟随 + 几何一致 + 身份不漂移 评测:ATE / ArcFace / DINO 分开看
图 4 · WorldCast 的两条支路(手绘示意,非论文原图):支路 A 用深度反投影的点云沿轨迹渲染,产出几何引导和覆盖率掩码 —— 掩码之外是生成器必须自己编的部分;支路 B 用多视角锚点估计相对位姿,在公共坐标系里由 GAMA 检索并注入视角相关的角色特征。两条支路最后汇进生成器。注意评测也要分开看:ATE 测轨迹,ArcFace / DINO 测身份,两者不是同一件事。

数据 / 数字:在 CLACT 上,WorldCast ATE 0.065,次优是 Uni3C 的 0.098(GEN3C 0.130、MVGenMaster 0.125、CameraAnything 0.244、ViewCrafter 0.353、CamI2V 0.351)。身份侧 ArcFace 0.555,最强基线是 GEN3C 的 0.433(DepthDirector 0.423、Lyra 2.0 0.394)。

消融把「谁在起作用」说得很清楚:去掉 GAMA,ATE 从 0.065 退到 0.100、ArcFace 从 0.555 崩到 0.370 —— 记忆检索才是身份的支柱;去掉锚点几何对齐,ATE 几乎不变(0.071),但 RRE 从 0.896 涨到 1.374,而身份保持得还不错(0.547) —— 这正好对应「轨迹对但人不对」;去掉锚点掩码,三项全降。数据侧也有硬依赖:去掉 UE5 数据,ATE 从 0.100 退到 0.359;去掉 Plücker 相机条件,退到 0.275。

一句必须说的实话:图像质量(IQ)这一项 WorldCast 不是第一 —— 0.719,而 Lyra 2.0 是 0.725。它赢在轨迹与身份,不在画质。这跟论文自己的定位一致(这是一个「世界一致的角色视频生成」问题,不是画质竞赛),但引用时别把它说成全面领先。

工程判断:

四、VLA-Stem(Zou、Yu、Li、Lin、Ye、Geng、Yu、Zhang、Ji,arXiv:2610.37378,中国科学技术大学 / 澳门大学,cs.RO,2026-10-27):别再逐时刻对齐了,保空间意图就行

问题:现在的 VLA 大多针对无约束环境下的静态操作,忽略空间约束和动态障碍。用避障数据微调 VLA 是个直接办法,但采集贵(动态场景尤其贵),而且可能把原本的任务能力一起搞坏。

关键 idea:VLA-Stem —— 一个「脑干」式的轻量安全机制,关键是完全不动底座 VLA。它把 VLA 输出的 action chunk 转成一条运动参考(motion reference),然后用一个独立的 Stem 策略去执行这条参考。关键在轨迹级引导:保空间意图,放松时间对齐 —— 衡量偏离时,不按固定时间索引去对齐,而是按参考轨迹的局部片段(segment)去对齐,并约束匹配只能往前走。于是 Stem 有空间自由度去躲障碍,但不能把「意图方向」搞丢。

训练:teacher-student 蒸馏 + 课程学习。teacher 在训练时能用特权信息(目标物体的信息)加速学习,蒸馏出的 student 部署时不需要特权信息。课程三段:无障碍跟随参考 → 静态空间约束 → 动态障碍,各阶段预算约 38.0M / 23.7M / 20.6M 仿真转移每 seed。奖励是任务完成 + 避碰 + 与运动参考的一致性三者的组合,早期阶段还加一个归一化前进量的 progress bonus。

数据 / 数字:6 个受限仿真设定下,平均无碰撞任务成功率 52.8%,最强安全基线是 23.7% —— 差了一倍多。同时在无障碍场景里保住了 base policy 的表现(这是「不牺牲任务性能」的关键证据);真机上静态与动态障碍都有一致的碰撞下降,而且 Stem 策略是直接 sim-to-real 的,没有真机训练或微调。

论文自己挖的坑值得单独说:它分析碰撞-自由成功率失败的样本时指出 —— 在静态场景下,抓取这类细粒度阶段附近的局部修正会打断 VLA 动作的连续性,导致抓取失败;而大障碍挡住搬运路径时,几何避让会把执行推离 VLA 的标称动作分布,后续恢复变难。更诚实的一句是:动态场景里相对较低的碰撞率,有一部分其实来自「任务早早失败、轨迹提前终止」的样本。

这句话是我今天最想让你记住的一句:它意味着「碰撞率低」这个指标本身可以被「提前放弃」刷出来。所以这篇坚持报的是「无碰撞任务成功率」这个合取量,而不是分开报碰撞率和成功率。你自己的评测里有没有这种可以被取巧的指标?这是我今天给出的一条最便宜的探针。

工程判断:

五、RECREG(Goodall、Belardinelli,arXiv:2610.23445,cs.LG / cs.AI,2026-10-16,CC BY 4.0):「现在安全」是个假命题,安全是整条轨迹的性质

问题:要部署 RL agent,就得满足形式化的安全与约束要求。现有做法大致两派:(A) 把安全写进学习目标(CMDP 那一类),(B) 用外部机制直接改动作(shielding 那一类)。A 派的问题很明确:约束只在期望意义上被满足,不保证不安全事件永不发生;而且指数折扣的代价累计会限制「趋近危险」的行为。B 派里经典的 shielding 更狠:它需要环境的形式模型(安全抽象),从悲观先验构造,于是只能用在已知环境或简单规格上 —— 这跟 RL 的核心前提(环境未知)直接冲突。

关键 idea:RecReg —— 用基于恢复的屏蔽来强制正则(regular)安全性质,注意是非马尔可夫的:安全性是整条轨迹的性质,不是某一时刻的状态性质。几个关键设计:

MASA-Safe-RL 基准上十一个环境的归一化回报与安全概率柱状图,右下角为跨环境汇总
图 5 ·(论文 Figure 1)MASA-Safe-RL 基准,每组左柱是归一化回报、右柱是安全概率(红色虚线为理论阈值),共 10 个随机种子、训练最后 100 个 episode 取平均。右下角汇总图最直观:回报最高的 QL 安全概率只有约 0.18,而 RecReg 两档都守在 0.98 附近,代价是回报从约 0.92 降到约 0.78。 来自 RECREG: Recovery-based Shielding for Regular Safety Properties in Reinforcement Learning,Alexander W. Goodall、Francesco Belardinelli,2026,CC BY 4.0。

数据 / 数字:表格设定里用 MASA-Safe-RL 套件(网格世界、Pacman、MediaStreaming、BridgeCrossing、ColourBombGridWorld 等),10 个随机种子。论文的结论有两层:两种 RecReg 模式都稳定达到目标安全概率,几乎全部匹配理论约束(偏差主要出现在状态空间较大、估计或探索吃力的环境);而基线的安全表现波动很大,而且即便满足了约束,也常常是以回报下降为代价。深度 RL 侧用 DreamerV3 的 RSSM 加一个 cost head,在 Atari Seaquest 上验两个性质(一个 5 状态 DFA、要求「带着潜水员才能浮出水面、氧气不能耗尽、不能被打中」;一个 31 状态 DFA、要求「一旦捡起潜水员,必须在 30 步内回到水面」),5 个随机种子,对 DreamerV3 + 增广拉格朗日 和 AMBS 两个基线:两个性质上 RecReg 回报最高,同时违规率保持低位。

三句必须说清楚的限定:其一,理论主体在表格设定,深度 RL 是「用 SOTA 模型型 RL 的扩展」,结论要按「扩展」来读,不是「已在高维大规模验证」。其二,Exact 模式需要已知转移核 —— 那等于放弃了 RL 的前提,真正能用的是 ModelFree,而它的保证是收敛性,不是逐时刻硬安全。其三,和 Recovery RL(最接近的基线)的关键差别在于:安全 critic 是相对「安全策略」而不是「任务策略」来学的,所以动作替换不会过度保守 —— 这也是它回报更高的原因。

工程判断:

六、DynaFlow(Liu、Li、Wang、Wang,arXiv:2610.34467,新加坡国立大学,cs.MA,2026-10-25,CC BY 4.0):答案对不等于协作可靠

问题:多智能体系统大量依赖预先定义好的协作结构(固定角色、固定通信模式、固定工作流),这限制了它对不同任务需求的适应能力。论文把这类刚性带来的代价说得很直白:不必要的通信、延迟和算力。

关键 idea:提出一个叫 Free Orchestration 的能力 —— 把「自由形式的可执行工作流合成」放进主 agent 的动作空间里。主 agent 同时做三件事:(i) 决定什么时候需要协作;(ii) 现场构造任务专属的程序(通过一个极简执行接口定义子 agent 职责、串行/并行依赖、以及中间结果如何在代码里传递、聚合、验证);(iii) 用返回的输出和执行轨迹决定下一步。一个预算受限的运行时负责执行并回传轨迹,于是主 agent 可以看着执行结果再改下一版工作流。

训练方式很克制,也是这篇的第二个亮点:只训主 agent,所有子 agent 全部冻结 —— 这就把「编排能力」和「执行能力」彻底分开了。分两阶段:Stage 1 用 GLM-5.3 Max 作教师蒸馏 2,031 条首轮样本(QLoRA 微调);Stage 2 只用 712 条经过筛选的样本继续训,筛选标准是三类缺陷:无依据的前提(unsupported premises)、被引导向预期结论的验证(biased verification)、信息传递不完整(information-flow defects)。

数据 / 数字:6 个基准(数学推理、科学问答、多跳检索)上,Forced 模式总体准确率 88.08%,用同一个 Qwen3.5-27B 主干比最强基线高 10.90 个百分点。Dynamic 模式 87.94% —— 几乎不掉,但47.1% 的题根本没用工作流,平均每题 2.44 个子 agent,而 Forced 模式约 4.16 个(省了约 41%)。在 688 道题的子集上,Base 从 75.9% 提到 88.1%。

比准确率更有信息量的是工作流结构的变化:混合(并行 + 串行)工作流占比 3.4% → 83.2% → 85.6%;「把上游输出传下去并明确要求下游使用它」的程序占比 12.6% → 93.3% → 97.7%;重大信息流缺陷 1.9% → 0.9%;会明确写出「对中间结果做修正/精炼」的工作流 28.1% → 35.9%。还有一个数字很能说明问题:Dynamic 与 Forced 的准确率差从 Base 的 10.75pp 缩到 Stage 1 的 1.02pp、再缩到 DynaFlow 的 0.14pp —— 意思是「该不该协作」这个决策本身被学会了,不再需要外力强迫。

两句诚实话:其一,GPQA-Diamond 上 Self-Refine 和 AFlow 仍然领先 —— 论文的失败分析很实在:子 agent 给出的错误中间结论会把后续验证带偏,而主 agent 在综合最终答案时也可能没能优先采信正确证据。其二,Stage 2 之后平均子 agent 数反而略降(4.35 → 4.16),论文把它解读为「协调更聚焦」,但也可以读成「少干活」。论文自己给出的未来工作第一条就是:需要训练子 agent 以保证可靠的信息传递和独立验证 —— 也就是说,当前版本的信息流可靠性仍然压在主 agent 一侧。

工程判断:

七、落地思考 / 我的判断

把这 6 条抽成一句话:「这 6 篇里有 6 篇的失败表现,都是『你用来打分的那个量,和真正在乎的那个量,不是同一个东西』。」这和 10-26(改约定)、10-27(约定坏掉时不报错)、10-28(均匀对待)构成一条完整的线。今天补的是第四层 —— 上一轮你说「该加权」,这一轮问「加权的那个代理,本身选对了吗」。

我按这 6 篇各给一条探针,都是从零成本开始的:

我的取舍:

论文 主题 被误用的「尺子」 真实目标 关键数字
GlobeBench
2610.22708
文本世界模型评测下一步描述像不像后果能不能传播到依赖对象1,632 任务 / 5 领域 / 19 技能;GPT-6 Astra 最高 49.57%;依赖传播平均仅 5.1%;631 任务无人能解
Latent WAM
2610.14228
世界模型 · GUI 控制全屏像素重建动作诱发的未来变化对像素世界模型 +31.9%(离线)/ +40.6%(在线);对 base agent +11.6% / +47.0%;推理延迟 -98.9%;OOD 下像素模型反而低于 base
WorldCast
2610.33135
控制式生成 · 相机相机轨迹误差轨迹 + 几何 + 身份三者同时成立ATE 0.065(Uni3C 0.098);ArcFace 0.555(GEN3C 0.433);去 GAMA 后 ArcFace 崩到 0.370;IQ 0.719 非第一
VLA-Stem
2610.37378
safe VLA逐时刻动作对齐空间意图 + 不碰撞(合取)6 个受限仿真设定无碰撞任务成功率 52.8% vs 最强安全基线 23.7%;底座零改动;sim-to-real 无真机训练
RECREG
2610.23445
safe RL当前状态安不安全整条轨迹满足正则安全性质Exact / ModelBased / ModelFree 三档;安全概率 = 乘积 MDP 可达概率;DreamerV3 + Seaquest 两个 DFA 性质上回报最高且违规率低
DynaFlow
2610.34467
agentic control最终答案对不对协作过程可靠、信息流完整Forced 88.08%(+10.90pp);Dynamic 87.94% 且 47.1% 直接答、agent 省 41%;混合工作流 3.4%→85.6%;显式传递上游输出 12.6%→97.7%

References

下一篇预告:今天把「代理目标和真实目标错位」这层补上了。但今天这 6 篇都还有同一个没回答的问题 —— 「真实目标」本身是谁定的?GlobeBench 说真实目标来自环境执行记录,RECREG 说来自形式化 DFA,DynaFlow 说来自人工标注的缺陷类别,WorldCast 说来自几何与身份度量。这些「真实」本身都是人造的。下一层要处理的,是当你的尺子、你的规范、你的标注全都是一个团队自己定的时候,谁给你一个外部的参照系。这已经不是方法问题了,是组织问题 —— 也是这条线迟早要撞上的那堵墙。