今日 5 篇 arXiv 速读:UNITAS 3D Native WAM、NAVA-WAM 视频原生动作、VideoGen-Agent 工具调用生成、WBAG 全身几何安全、RetrospectiveWM 双向想象 五线并进
2026 年 10 月初这一批 arXiv 论文,把我过去一周追踪的「world model online task recognition / control-based generation / safe VLA / safe RL / agentic control」五个方向又往下按一次。五条线的共同潜台词是把埋藏在『2D 视觉隐式表征 / 视频→动作间接迁移 / 端到端单次生成 / end-effector-only 安全 / forward-only 想象』里的隐式策略,上提到一组可观察、可干预、可验证的显式锚点。5 篇分别是:邓新宇、朱昊辰、王立明 等人(跨维智能 DexForce)的 UNITAS(3D-Native World Action Model、统一三维点轨迹空间, arXiv:2610.12099, 2026-10-09)、安兆崇、Sen He 等人(Meta AI / 哥本哈根大学 / 帝国理工 / Physical Intelligence 联合)的 NAVA-WAM(视频→动作直接监督、不经过中间表征或潜在动作, arXiv:2610.03391, 2026-10-02)、Yuwei Cai、Yingdong Shi 等人(Princeton / Zhipu AI / 上海 AI Lab / 复旦 联合)的 VideoGen-Agent(多工具调用 + 显式 search-generate-verify 流程的视频生成 agent, arXiv:2609.24997, 2026-09-29)、Samuel Zhen、Siwon Jo、Yanze Zhang、Wenhao Luo 等人(KAIST)的 WBAG(Whole-Body and Attached-Geometry Safety Framework, 把 VLA 的末端动作显式映射到全身 + 已抓物体几何上做 CBF, arXiv:2610.01083, 2026-10-01)、Yongjiang Liu、Jie Zhang、Haoyue Zhang、Jingcai Guo、Deze Zeng、Song Guo 等人(PolyU / HKUST / Edinburgh 联合)的 Beyond Prediction: Steering VLM Agents with Retrospective World Modeling(NeurIPS 2026 accepted, 引入 retrospective 估计 P(a^t | s_t, s_{t+1}) 做 Self-Consistency Reward, arXiv:2609.39101, 2026-09-30)。
把这 5 篇的方法骨架画在同一张二维图上,会发现这一周 world model + safe RL + agentic control 的统一动作是把过去一周在『2D 视觉隐式表征 → 视频→动作间接迁移 → 端到端单次生成 → end-effector-only 安全 → forward-only 想象』上的隐式策略,分别上提到『3D 原生坐标 → 视频→动作直接监督 → 多工具显式调用 → 全身显式几何 → 双向 backward + forward 想象』的显式锚点。UNITAS 把『相机视角不一致 / 不同本体表征不统一』拉到显式世界坐标 3D Token;NAVA-WAM 把『从表征到控制 / 潜在动作建模』拉到显式未来视频对 Action-DiT 的直接监督;VideoGen-Agent 把『单提示词端到端生成』拉到显式多工具 search-generate-verify 流程;WBAG 把『末端动作避障』拉到显式 whole-body + attached geometry CBF;RetrospectiveWM 把『只做 forward imagination』拉到显式 retrospective 双向一致性。下面这张二维定位图把它们摆到「显式锚类型 × 工程投入」两个轴上。
一、UNITAS(邓新宇 等,arXiv:2610.12099):把「2D 视觉隐式表征」拉到「3D 原生世界坐标 Token」
问题:今天的具身策略里,「观察、动作、世界如何变化」长期被塞进不同表征空间——相机视角一动像素就不一样、不同本体的动作维度参差不齐、点云和视频又是两套数据。模型的算力不是花在理解物理,而是花在表征翻译上;结果就是不同相机、不同本体的策略做不齐。
关键 idea:UNITAS:统一把观察(视觉对应到的 3D 点)、动作(操作本体上 3D 点的轨迹)、场景动态(场景中 3D 点在同一时空下的轨迹)放进同一三维物理表征空间——也就是「世界对齐的 3D Token」。主干 Point Dynamics DiT 直接消费三维 Token;动作流(action flow)+ 场景流(scene flow)联合监督,模型既能学会「我该怎么动」也能预测「动起来后世界怎么变」;针对异构数据(不同长度、不同频率、RGB-D / RGB、仿真 / 真机 / 人类双手),用 world-aligned 3D position embedding + physical-time trajectory tokenizer 把所有轨迹对齐到同一物理时间特征空间。
方法骨架:RGB / RGB-D 输入 → world-aligned 3D position embedding → 动作流 token + 场景流 token → Point Dynamics DiT → 策略模式(给定任务,生成动作 token)/ 模拟器模式(给定动作 token,预测场景 token 变化)。两套模式共用同一 backbone。
数据 / 数字:仅 1.7B 参数在 LIBERO 上 99.8%、LIBERO-Long 99.4%、LIBERO-Plus 89.1%;RoboTwin 2.0 双臂 Clean / Random 92.94% / 93.04%,跑赢 Fast-WAM(6B)、Motus(8B);场景预测误差从 PointWorld 的 0.656 cm 降到 0.427 cm;真机平均 85% 成功率(Organize Books 90%, Pack the Ball 80%)。论文已开源代码(github.com/DexForce/UNITAS)。值得注意的是:这是论文自报数字,真机场景单任务样本量不大,后续独立复现要观察。
工程判断:
- 什么时候抄:你正在做跨本体 / 跨相机具身策略,或者你怀疑自己的 VLA 在分布偏移下掉得厉害——UNITAS 的「3D 原生 Token + world-aligned embedding」是当晚就能试试的迁移方向,因为它不需要换 backbone,只需要把观察和动作统一编码进同一世界坐标。
- 什么时候不抄:你的场景是单相机、单本体的桌面任务,而且数据规模不大——3D 原生表征的工程开销(深度补全、轨迹对齐)在这种简单场景里压不住。
- 一句话启发:「统一表征 + 小模型」打败「碎片表征 + 大模型」——UNITAS 1.7B 跑赢 8B 不是点上的奇迹,是「表征空间统一之后,参数可以被专注用来学物理」的系统级胜利。对做具身的工程师来说,这条经验值得在立项时就放进设计:与其花时间堆数据堆模型,不如先把观察 / 动作 / 变化统一到同一坐标。
二、NAVA-WAM(安兆崇、Sen He 等,arXiv:2610.03391):把「视频→动作间接迁移」拉到「视频→动作直接监督」
问题:世界动作模型(WAM)想用大规模「纯观测视频」(无动作标签)来预训练机器人策略。现有两条路都很间接:(1)视觉表征学习先学视频表征再用有标签数据训策略,知识停在表征层,和动作的关系要靠下游训练二次建立;(2)潜在动作学习先从画面推断 latent action 再当中间监督,容易让 latent action 抄目标画面的捷径,表达能力受限。两类方法都把「动作」和「视频」拆成两段来训。
关键 idea:NAVA-WAM(Native Action-Prior Learning from Videos for World Action Models):不经过任何中间接口,直接用未来视频预测的目标去优化 Action-DiT——视频的未来帧就是要 Action-DiT 给出的策略去匹配的目标。结构上是混合 Transformer(MoT):Video-DiT 从 Wan2.2-5B 初始化,Action-DiT 是 1B 参数的独立分支;两者通过 transition-structured joint attention 通信,Action-DiT 必须看 video 才能给出动作表示。预训练时把 Video-DiT 冻结,只用未来视频的流匹配目标去训 Action-DiT——直接监督,没有表征中转。后训练时再解冻 video 分支,改为非对称注意力,video 不再 attend 动作,但动作可以继续 attend video,这样推理时 video 表征可以缓存复用,只跑 Action-DiT。
方法骨架:纯观测视频 → 冻结 Video-DiT + 可训练 Action-DiT → transition-structured joint attention → 未来视频流匹配目标直接更新 Action-DiT。后训练:动作标注轨迹 → 双分支联合流匹配,非对称 attention → 推理只跑 Action-DiT(video 表征缓存)。
数据 / 数字:用 235,790 段、1054.3 小时纯观测视频(Open X-Embodiment + AgiBotWorld + EgoDex)预训练,128 GPU × 14,000 步。LIBERO 99.0%(vs Being-H0.7 的 99.2%)、LIBERO-Plus 七类分布偏移 83.5%(vs Being-H0.7 的 82.1%)、RoboTwin 2.0 Clean / Random 88.5% / 73.6%(+3.5 / +17.9 pp)。真机 Franka FR3 三个桌面任务共 15 次试验,NAVA-WAM 成功 14 次(93.3%),DreamZero 10 次(66.7%),π0.5 8 次(53.3%)。消融:每个任务 25 demos 时,NAVA-WAM 72.0%,表征式预训练 60.6%,潜在动作式 65.0%——NAVA-WAM 仅用 25 demos 已超过所有 50-demos 基线。计算开销:每动作块 4.30 TFLOPs,真机 H100 单次调用 379.2 ms(每动作 15.8 ms)。论文说代码 / 模型权重暂未公开。
工程判断:
- 什么时候抄:你在做 VLA,手上没那么多带动作标签的机器人数据,但有可观的纯观测视频(自家工厂监控、众包操作视频、ego 视频)——NAVA-WAM 的「冻结 video 分支 + 直接对 Action-DiT 监督」思路当天就能落到你自己视频数据上,不需要新增标注成本。
- 什么时候不抄:你的训练管线没有 video encoder 或者 video 表征很弱,Action-DiT 拿不到像 Wan2.2 这种强 video backbone 初始化——NAVA-WAM 的收益会被「video 分支太弱」吃掉。
- 一句话启发:「不要做中间接口」是 2026 下半年 WAM 的核心信号。NAVA-WAM、UNITAS、RetrospectiveWM 三条线都在干同一件事——把「表征 ↔ 动作 ↔ 推理」之间的隐式中转去掉,换成显式直接监督或显式双向信号。对做具身的工程师来说,这是一条立项级启发:每次设计 VLA / WAM 时,先问一句「我现在的中间接口 / latent 是不是可以拿掉」——大多数情况下可以,而且收益不小。
三、VideoGen-Agent(余玉伟、石英东 等,arXiv:2609.24997):把「单提示端到端生成」拉到「多工具 search-generate-verify 显式流程」
问题:视频生成模型一条 prompt 出全片,在「自由画面 + 流畅度」上 OK,但要扛住工程任务就崩:动作细节要知道专业知识、角色要查视觉参考、剧本要分镜、物理要查动力学、多个连续镜头要保时序——这些都靠一条 prompt 写不下,模型也未必能直接听懂。把 prompt 改长改细能换一点分数,但天花板很低。
关键 idea:VideoGen-Agent:用一个可训练的多模态智能体(基础是 Qwen3-VL-8B-Instruct)在多轮对话中调用 信息增广 / 视频生成 / 结果验证 三组工具,根据每一步的工具返回继续决策。系统提示给工具约束和典型流程,但具体执行时按用户需求和已有观察动态选择、组织参数并决定是否继续验证或生成。关键设计:把「动作怎么查 → 角色怎么查 → 多镜头怎么前后接」拆成显式三步可调用的工具,而不是塞进一个 prompt。
方法骨架:用户 prompt → Qwen3-VL-8B agent → 工具 1(信息增广:文本检索 / 图像检索 / 参考条件生成)→ 工具 2(动作预测轨迹 / 视频生成)→ 工具 3(VLM 验证 / 反查 / 重生成)→ 输出。多轮 ReAct 风格,每步可调用一种或多种工具。验证通过则出片,否则反馈回工具流。
数据 / 数字:VABench 上含 600 prompts 覆盖六类能力(程序性知识 PK、单主体 SI、多主体 MI、物理一致性 PS、场景组合 CS、多镜头结构 MS),基础生成器 56.5 分,VideoGen-Agent Toolset 1 75.6 分(+19.1),升级工具后 Toolset 2 86.1 分(同类任务均有提升,多主体身份保持 +21.4,程序性知识 +14.1,多镜头结构 +17.7)。人类偏好:VideoGen-Agent vs Seedance 2.0 偏好转录 84.3%;vs Seedance 1.0 Pro Fast 88.0%。自动评估与人类多数意见一致性 92.0%(六类任务一致率 72-100%)。证明「工具拆解 + 多轮验证」这一套机制比堆 prompt / 堆算力的边际收益明显。
工程判断:
- 什么时候抄:你在做可控视频生成、tutorial 视频自动生成、剧本分镜、产品 demo 视频——VideoGen-Agent 的「search-generate-verify 三段工具流」可以直接接进你已有的视频生成 API,把单一端到端变成显式可控的多步流程。
- 什么时候不抄:你的目标只是短片段、无需物理正确性、无需多主体、无需分镜——加 agent 框架的开销压不住。
- 一句话启发:「显式工具流 > 隐式 prompt」是 2026 下半年 agentic video 的核心转向。把这条经验推到工程实践:每次遇到「生成质量到天花板」,先问一句「我能不能把瓶颈任务拆成显式可调用的工具」——大多数情况下能,而且能换来可观的人工偏好分数。
四、WBAG(Samuel Zhen 等,arXiv:2610.01083):把「末端动作避障」拉到「全身 + 已抓物体显式几何的 CBF」
问题:VLA 在通用操作上很强,但上线真机时一直被碰撞问题困扰——关节会撞、已抓物体碰到环境、其他物体撞到机器人。现有 inference-time VLA 安全框架几乎都基于「末端执行器中心」的简化表征,既不建模完整 articulated 机器人,也不建模抓在手上的物体——结果就是,模型给出的「末端 6D action」看着安全,执行起来整条手臂或挂着的物体还是会撞。
关键 idea:WBAG(Whole-Body and Attached-Geometry):显式构造一个 grasp-conditioned safe set,随着机器人抓起 / 放下物体,实时更新「被保护的 whole-body + attached 几何」,再把它转成可微 Control Barrier Function(CBF)约束,对 VLA 原生 6D 操作空间动作做最小修正以避开碰撞。关键不是另写一个安全策略,而是把 VLA 的输出在几何空间里再过一次可微约束。
方法骨架:VLA 输出 6D action → 抓取状态检测 → grasp-conditioned safe set(全身 + attached geometry)→ 可微 CBF 约束 → 最小修正 6D action → 真机执行。整套 framework 不需要重训 VLA,只在 inference 时叠加一个几何层。
数据 / 数字:在 SafeLIBERO(LIBERO 加障碍物的安全评估版本)上,WBAG 拿到 97.38% Scene Safety 和 59.38% Safe Success,是评估方法中最佳的总体安全性 + 安全任务成功率。论文 8 页 / 5 图 / 3 表,代码按文中标注未公开。
工程判断:
- 什么时候抄:你的 VLA 已经在产线 / 家庭 / 仓储真实机器人上跑,而且出现「模型看着 OK 实际撞东西」的情况——WBAG 的 whole-body + attached geometry CBF 是 plug-in,不需要重训 VLA,接在 inference loop 里就能补这一类安全盲点。
- 什么时候不抄:你的机器人是 simple 末端执行器(吸盘、单轴夹爪)、工作空间是隔离的——whole-body 建模的开销压不住。
- 一句话启发:「inference-time 安全几何层」是 VLA 上线的默认范式。这一观察值得每个 VLA 团队写进 SOP:模型权重上线前,先问一句「我有没有一个 inference-time 安全层把模型的输出在几何空间里过一次」——大多数情况下没有,而且接上去之后成功率几乎不掉、碰撞几乎消失。
五、Retrospective World Modeling(Yongjiang Liu 等,arXiv:2609.39101,NeurIPS 2026):把「forward-only 想象」拉到「双向 backward + forward 一致性奖励」
问题:现有 VLM agent 主要靠 prospective world model——预测「执行 a^t 后会到哪个状态 s_{t+1}」,然后据此选动作。但 forward-only 的局限是它只看「未来长什么样」,不直接验证「这次动作是不是真的让状态因果合理地变了」——结果会出现「画面像样,但物理 / 因果上错」的行为。后果是 RL 训练的 reward 不够密、agent 在物理一致性任务上仍会跑偏。
关键 idea:Beyond Prediction / Retrospective World Modeling:除 forward prediction 外,让 agent 也学一个 retrospective attribution distribution P(a^t | s_t, s_{t+1})——给定当前状态和下一状态,反过来估计「哪个动作最可能造成这次转移」。基于此提出 Self-Consistency Reward(SCR):把 policy 给出的动作和 retrospective 解释之间的概率一致性做成 intrinsic reward,直接喂 RL。SCR 不需要额外 ground-truth future query,而是从 agent 自己的 backward 估计里来——这意味着它是transition-level dense feedback,而且天然稳定。
方法骨架:VLM agent → forward world model 预测 s_{t+1} + retrospective world model 估计 P(a^t | s_t, s_{t+1}) → SCR(policy action 与 retrospective 解释的 KL 一致性)→ RL intrinsic reward → 策略更新。两者共享 backbone,但训练目标分开。
数据 / 数字:论文被 NeurIPS 2026 接收,27 页 / 8 图。文中报告在多个 agentic 任务上显著提升 policy robustness 与泛化;消融证明 SCR 比单纯 forward imagination 在物理一致性任务上明显占优。具体数字论文表格分布在不同 agentic benchmark,完整对照表见论文第 7 节。
工程判断:
- 什么时候抄:你在做 embodied agentic / GUI agent / tool-use agent,而且发现 RL 训练 reward 太稀疏、模型在物理一致性 / 因果一致性任务上跑偏——SCR 的 retrospective estimator + KL 一致性 intrinsic reward 当晚就能加进你的 RL pipeline,只要你的 agent 输出 动作 + 状态转移对。
- 什么时候不抄:你的 agent 没有可观察的状态转移对(纯文本对话 / 单步决策),retrospective 估计的输入不成立——SCR 用不上。
- 一句话启发:「双向想象 + 一致性奖励」是 agentic RL 的新标配。这条经验可以和 NAVA-WAM、UNITAS 一起看——三者都在做同一件事:把过去单方向的隐式信号(forward-only imagination / 表征→动作间接迁移 / 2D 视觉隐式表征)改成双向 / 直接的显式信号。对做 agentic 系统的工程师来说,这条经验很实用:每次设计 reward 时,先问一句「我能不能让 agent 自己 backward 估计一次,作为 RL 的内在一致性信号」——大多数情况下可以,而且能换来看得见的泛化收益。
六、五线共振:把「隐式策略」上提到「显式锚」是这一周 world model + safe RL + agentic control 的统一动作
把这 5 篇摆在一起,会发现一个让人意外的统一潜台词:
- UNITAS:从「2D 视觉表征能不能跨本体迁移?」→ 「3D 原生世界坐标 Token」
- NAVA-WAM:从「纯观测视频如何变成动作先验?」→ 「视频→动作直接监督 + 非对称 attention」
- VideoGen-Agent:从「视频生成模型能否直接听懂任务?」→ 「search-generate-verify 三段工具流」
- WBAG:从「VLA 输出的末端动作是否安全?」→ 「whole-body + attached geometry CBF 最小修正」
- RetrospectiveWM:从「forward-only imagination 是否可信?」→ 「retrospective 估计 + SCR 一致性奖励」
五个完全不同的问题——3D 跨本体表征迁移、视频→动作预训练、视频可控生成、VLA 真机安全、agentic RL reward——答案惊人地一致:把过去藏在 2D 视觉 / 表征中转 / 单 prompt / 末端中心 / forward-only 里的隐式策略,上提到一个可观察、可干预、可验证的显式锚点(3D 坐标 / 直接监督 / 工具流 / 全身几何 / 双向一致性)。这是 2026 下半年 world model + safe RL + agentic 研究的统一模式——具体哪种锚不重要,上提 这个动作本身是关键。
对一个正在搭具身 / 视频生成 / agentic 系统的工程师来说,这一观察的实操含义是:每次遇到「低层 X 不够好」,先问一句「有没有一个更可观察的显式锚可以让 X 变好」——大概率有,而且大多数情况下不需要重新训练整个 backbone。
七、判断:今日 5 篇哪一篇最值得先抄?
如果只有时间抄一篇,我推荐 WBAG。理由:
- 落地阻力最低。它是 inference-time plug-in,不需要重训 VLA,只需要在 6D action 输出上加一层几何 CBF——对任何已经在跑 VLA 的团队来说,接入成本就是「在 decode loop 里加一个几何约束」。
- 效果最直接。SafeLIBERO 97.38% scene safety + 59.38% safe success——「成功率几乎不掉、碰撞几乎消失」的组合,在真机部署阶段几乎是头号痛点。
- 可推广性最强。grasp-conditioned whole-body + attached geometry 这个思想可以套到任何 VLA 上——双手机器人、移动机械臂、whole-body humanoid——只要有可建模的机器人几何,就能套 CBF。
如果你在搭机器人 / VLA 系统:UNITAS 是 3D Native WAM 的范式,适合跨本体 / 跨相机具身策略;NAVA-WAM 是 video→action 直接预训练的范式,适合用大量纯观测视频给 VLA 做预训练;VideoGen-Agent 是可控视频生成的范式,适合 tutorial / demo / 分镜;RetrospectiveWM 是 agentic RL reward 设计的范式,适合 embodied agent / tool-use agent。
一个落地思考
这一周 5 篇让我重新审视了一件事:2026 下半年的「world model + safe RL + agentic control」三条线在方法论上的收敛速度比预想快得多。显式锚(3D 坐标 / 直接监督 / 工具流 / 全身几何 / 双向一致性)不是单一论文的灵感,而是跨论文的共同动作——这意味着未来半年,任何不在这条路径上的方法都可能迅速被追平。
对工程团队来说,这意味着两件事。第一,不要在「隐式表征 + 大模型」这条路上继续堆算力:三条论文(UNITAS / NAVA-WAM / VideoGen-Agent)已经证明,显式锚 + 中等规模模型可以跑赢隐式表征 + 大模型。第二,把「显式锚」写进 SOP:每次立项时问一句「我这个系统的瓶颈环节有没有显式锚」;每次模型上线前问一句「我有没有一个 inference-time 几何 / 一致性 / 工具层把模型输出再过一次」。这两条写成 SOP,半年后大概率能省下一轮重训。
参考资料
- 邓新宇, 朱昊辰, 王立明, 等(跨维智能 DexForce). UNITAS: A 3D-Native World Action Model for Embodied Manipulation. arXiv:2610.12099, 2026-10-09. https://arxiv.org/abs/2610.12099 · 项目页:https://dexforce.com/technical-report/#/unitas-wam · 代码:https://github.com/DexForce/UNITAS
- Zhaochong An, Sen He, 等(Meta AI / 哥本哈根大学 / 帝国理工 / Physical Intelligence). Native Action-Prior Learning from Videos for World Action Models(NAVA-WAM). arXiv:2610.03391, 2026-10-02. https://arxiv.org/abs/2610.03391 · 项目页:https://zhaochongan.github.io/projects/NAVA-WAM/
- Yuwei Cai, Yingdong Shi, 等(Princeton / Zhipu AI / 上海 AI Lab / 复旦). VideoGen-Agent: Reinforcing Video Generation Agents via Tool-Verified Planning. arXiv:2609.24997, 2026-09-29. https://arxiv.org/abs/2609.24997 · 项目页:https://andyca111.github.io/VideoGen_Agent/
- Samuel Zhen, Siwon Jo, Yanze Zhang, Wenhao Luo(KAIST). WBAG: A Whole-Body and Attached-Geometry Safety Framework for Vision-Language-Action Manipulation. arXiv:2610.01083, 2026-10-01. https://arxiv.org/abs/2610.01083
- Yongjiang Liu, Jie Zhang, Haoyue Zhang, Jingcai Guo, Deze Zeng, Song Guo(PolyU / HKUST / Edinburgh). Beyond Prediction: Steering VLM Agents with Retrospective World Modeling. arXiv:2609.39101, 2026-09-30. NeurIPS 2026 accepted, 27 pages, 8 figures. https://arxiv.org/abs/2609.39101
- 本周内同类参考:上一日 Oneira / SearchWorld / SufficientPlan / MERL / Push the Limit 5 线、RoboJEPA / WorldGuide / GenCine / VICS-G / FAITH 5 线、DeepJEPA / JEPA-TTT / Self-Compensation VLA / CAG / Structuring MoE 5 线、机器人学会「预演未来」:拆解 Pelican-Sim 1.0 的 28 维动作世界模型、AI 时代如何做具身智能。
下一篇预告:本周 UNITAS / NAVA-WAM / VideoGen-Agent / WBAG / RetrospectiveWM 这一批「把隐式策略上提为显式锚」的动作会继续出现,推下一周具身 + agentic 系统中卡住的内容是显式锚类型与骨干网络能力之间的耦合权重——以及在「不同 anchor 之间能否共享 backbone」这件事上,业界仍未出现可共识的结论。