thinkism.ai

今日 5 篇 arXiv 速读:UNITAS 3D Native WAM、NAVA-WAM 视频原生动作、VideoGen-Agent 工具调用生成、WBAG 全身几何安全、RetrospectiveWM 双向想象 五线并进

2026-10-15 · AI / 每日 arXiv / 3D Native WAM · 视频原生动作 · 工具调用生成 · 全身几何安全 · 双向想象 · 阅读时间 ≈ 12 分钟

2026 年 10 月初这一批 arXiv 论文,把我过去一周追踪的「world model online task recognition / control-based generation / safe VLA / safe RL / agentic control」五个方向又往下按一次。五条线的共同潜台词是把埋藏在『2D 视觉隐式表征 / 视频→动作间接迁移 / 端到端单次生成 / end-effector-only 安全 / forward-only 想象』里的隐式策略,上提到一组可观察、可干预、可验证的显式锚点。5 篇分别是:邓新宇、朱昊辰、王立明 等人(跨维智能 DexForce)的 UNITAS(3D-Native World Action Model、统一三维点轨迹空间, arXiv:2610.12099, 2026-10-09)、安兆崇、Sen He 等人(Meta AI / 哥本哈根大学 / 帝国理工 / Physical Intelligence 联合)的 NAVA-WAM(视频→动作直接监督、不经过中间表征或潜在动作, arXiv:2610.03391, 2026-10-02)、Yuwei Cai、Yingdong Shi 等人(Princeton / Zhipu AI / 上海 AI Lab / 复旦 联合)的 VideoGen-Agent(多工具调用 + 显式 search-generate-verify 流程的视频生成 agent, arXiv:2609.24997, 2026-09-29)、Samuel Zhen、Siwon Jo、Yanze Zhang、Wenhao Luo 等人(KAIST)的 WBAG(Whole-Body and Attached-Geometry Safety Framework, 把 VLA 的末端动作显式映射到全身 + 已抓物体几何上做 CBF, arXiv:2610.01083, 2026-10-01)、Yongjiang Liu、Jie Zhang、Haoyue Zhang、Jingcai Guo、Deze Zeng、Song Guo 等人(PolyU / HKUST / Edinburgh 联合)的 Beyond Prediction: Steering VLM Agents with Retrospective World Modeling(NeurIPS 2026 accepted, 引入 retrospective 估计 P(a^t | s_t, s_{t+1}) 做 Self-Consistency Reward, arXiv:2609.39101, 2026-09-30)。

把这 5 篇的方法骨架画在同一张二维图上,会发现这一周 world model + safe RL + agentic control 的统一动作是把过去一周在『2D 视觉隐式表征 → 视频→动作间接迁移 → 端到端单次生成 → end-effector-only 安全 → forward-only 想象』上的隐式策略,分别上提到『3D 原生坐标 → 视频→动作直接监督 → 多工具显式调用 → 全身显式几何 → 双向 backward + forward 想象』的显式锚点。UNITAS 把『相机视角不一致 / 不同本体表征不统一』拉到显式世界坐标 3D Token;NAVA-WAM 把『从表征到控制 / 潜在动作建模』拉到显式未来视频对 Action-DiT 的直接监督;VideoGen-Agent 把『单提示词端到端生成』拉到显式多工具 search-generate-verify 流程;WBAG 把『末端动作避障』拉到显式 whole-body + attached geometry CBF;RetrospectiveWM 把『只做 forward imagination』拉到显式 retrospective 双向一致性。下面这张二维定位图把它们摆到「显式锚类型 × 工程投入」两个轴上。

显式锚类型 (可验证 ↑) 3D native · video-direct · tool-call · geometry · bidirectional → 工程可干预度 工程投入 (实战级 ↑) 隐式 2D 表征 / 端到端单生成 3D 坐标 / 真机 + 大规模数据 UNITAS 3D 原生世界坐标 Token 动作流 + 场景流联合 1.7B 跑赢 8B · LIBERO 99.8% NAVA-WAM 视频→动作直接监督 非对称 Attention 缓存 LIBERO 99.0% · 真机 14/15 VideoGen-Agent search-generate-verify 工具流 Qwen3-VL-8B + 多轮调用 VABench 86.1 · 人类偏好 84.3% WBAG grasp-conditioned 全身几何 可微 CBF 最小修正 6D action SafeLIBERO 97.38% scene safety RetrospectiveWM P(a^t | s_t, s_{t+1}) 逆向 Self-Consistency Reward NeurIPS 2026 accepted 可验证 + 实战 = 这一周共同方向
图 1 · 5 篇论文在「显式锚类型 × 工程投入」上的二维定位。绿色=UNITAS(3D Native WAM)、蓝色=NAVA-WAM(视频→动作直接监督)、橙色=VideoGen-Agent(search-generate-verify 工具流)、紫色=WBAG(全身 + 已抓物体几何)、红色=RetrospectiveWM(双向想象 + 自一致奖励)。虚线斜对角再次指向「把隐式策略上提为显式锚」这一周内共同动作。

一、UNITAS(邓新宇 等,arXiv:2610.12099):把「2D 视觉隐式表征」拉到「3D 原生世界坐标 Token」

问题:今天的具身策略里,「观察、动作、世界如何变化」长期被塞进不同表征空间——相机视角一动像素就不一样、不同本体的动作维度参差不齐、点云和视频又是两套数据。模型的算力不是花在理解物理,而是花在表征翻译上;结果就是不同相机、不同本体的策略做不齐。

关键 idea:UNITAS:统一把观察(视觉对应到的 3D 点)、动作(操作本体上 3D 点的轨迹)、场景动态(场景中 3D 点在同一时空下的轨迹)放进同一三维物理表征空间——也就是「世界对齐的 3D Token」。主干 Point Dynamics DiT 直接消费三维 Token;动作流(action flow)+ 场景流(scene flow)联合监督,模型既能学会「我该怎么动」也能预测「动起来后世界怎么变」;针对异构数据(不同长度、不同频率、RGB-D / RGB、仿真 / 真机 / 人类双手),用 world-aligned 3D position embedding + physical-time trajectory tokenizer 把所有轨迹对齐到同一物理时间特征空间。

方法骨架:RGB / RGB-D 输入 → world-aligned 3D position embedding → 动作流 token + 场景流 token → Point Dynamics DiT → 策略模式(给定任务,生成动作 token)/ 模拟器模式(给定动作 token,预测场景 token 变化)。两套模式共用同一 backbone。

数据 / 数字:仅 1.7B 参数在 LIBERO 上 99.8%、LIBERO-Long 99.4%、LIBERO-Plus 89.1%;RoboTwin 2.0 双臂 Clean / Random 92.94% / 93.04%,跑赢 Fast-WAM(6B)、Motus(8B);场景预测误差从 PointWorld 的 0.656 cm 降到 0.427 cm;真机平均 85% 成功率(Organize Books 90%, Pack the Ball 80%)。论文已开源代码(github.com/DexForce/UNITAS)。值得注意的是:这是论文自报数字,真机场景单任务样本量不大,后续独立复现要观察。

工程判断:

二、NAVA-WAM(安兆崇、Sen He 等,arXiv:2610.03391):把「视频→动作间接迁移」拉到「视频→动作直接监督」

问题:世界动作模型(WAM)想用大规模「纯观测视频」(无动作标签)来预训练机器人策略。现有两条路都很间接:(1)视觉表征学习先学视频表征再用有标签数据训策略,知识停在表征层,和动作的关系要靠下游训练二次建立;(2)潜在动作学习先从画面推断 latent action 再当中间监督,容易让 latent action 抄目标画面的捷径,表达能力受限。两类方法都把「动作」和「视频」拆成两段来训。

关键 idea:NAVA-WAM(Native Action-Prior Learning from Videos for World Action Models):不经过任何中间接口,直接用未来视频预测的目标去优化 Action-DiT——视频的未来帧就是要 Action-DiT 给出的策略去匹配的目标。结构上是混合 Transformer(MoT):Video-DiT 从 Wan2.2-5B 初始化,Action-DiT 是 1B 参数的独立分支;两者通过 transition-structured joint attention 通信,Action-DiT 必须看 video 才能给出动作表示。预训练时把 Video-DiT 冻结,只用未来视频的流匹配目标去训 Action-DiT——直接监督,没有表征中转。后训练时再解冻 video 分支,改为非对称注意力,video 不再 attend 动作,但动作可以继续 attend video,这样推理时 video 表征可以缓存复用,只跑 Action-DiT。

方法骨架:纯观测视频 → 冻结 Video-DiT + 可训练 Action-DiT → transition-structured joint attention → 未来视频流匹配目标直接更新 Action-DiT。后训练:动作标注轨迹 → 双分支联合流匹配,非对称 attention → 推理只跑 Action-DiT(video 表征缓存)。

数据 / 数字:用 235,790 段、1054.3 小时纯观测视频(Open X-Embodiment + AgiBotWorld + EgoDex)预训练,128 GPU × 14,000 步。LIBERO 99.0%(vs Being-H0.7 的 99.2%)、LIBERO-Plus 七类分布偏移 83.5%(vs Being-H0.7 的 82.1%)、RoboTwin 2.0 Clean / Random 88.5% / 73.6%(+3.5 / +17.9 pp)。真机 Franka FR3 三个桌面任务共 15 次试验,NAVA-WAM 成功 14 次(93.3%),DreamZero 10 次(66.7%),π0.5 8 次(53.3%)。消融:每个任务 25 demos 时,NAVA-WAM 72.0%,表征式预训练 60.6%,潜在动作式 65.0%——NAVA-WAM 仅用 25 demos 已超过所有 50-demos 基线。计算开销:每动作块 4.30 TFLOPs,真机 H100 单次调用 379.2 ms(每动作 15.8 ms)。论文说代码 / 模型权重暂未公开。

工程判断:

三、VideoGen-Agent(余玉伟、石英东 等,arXiv:2609.24997):把「单提示端到端生成」拉到「多工具 search-generate-verify 显式流程」

问题:视频生成模型一条 prompt 出全片,在「自由画面 + 流畅度」上 OK,但要扛住工程任务就崩:动作细节要知道专业知识、角色要查视觉参考、剧本要分镜、物理要查动力学、多个连续镜头要保时序——这些都靠一条 prompt 写不下,模型也未必能直接听懂。把 prompt 改长改细能换一点分数,但天花板很低。

关键 idea:VideoGen-Agent:用一个可训练的多模态智能体(基础是 Qwen3-VL-8B-Instruct)在多轮对话中调用 信息增广 / 视频生成 / 结果验证 三组工具,根据每一步的工具返回继续决策。系统提示给工具约束和典型流程,但具体执行时按用户需求和已有观察动态选择、组织参数并决定是否继续验证或生成。关键设计:把「动作怎么查 → 角色怎么查 → 多镜头怎么前后接」拆成显式三步可调用的工具,而不是塞进一个 prompt。

方法骨架:用户 prompt → Qwen3-VL-8B agent → 工具 1(信息增广:文本检索 / 图像检索 / 参考条件生成)→ 工具 2(动作预测轨迹 / 视频生成)→ 工具 3(VLM 验证 / 反查 / 重生成)→ 输出。多轮 ReAct 风格,每步可调用一种或多种工具。验证通过则出片,否则反馈回工具流。

数据 / 数字:VABench 上含 600 prompts 覆盖六类能力(程序性知识 PK、单主体 SI、多主体 MI、物理一致性 PS、场景组合 CS、多镜头结构 MS),基础生成器 56.5 分,VideoGen-Agent Toolset 1 75.6 分(+19.1),升级工具后 Toolset 2 86.1 分(同类任务均有提升,多主体身份保持 +21.4,程序性知识 +14.1,多镜头结构 +17.7)。人类偏好:VideoGen-Agent vs Seedance 2.0 偏好转录 84.3%;vs Seedance 1.0 Pro Fast 88.0%。自动评估与人类多数意见一致性 92.0%(六类任务一致率 72-100%)。证明「工具拆解 + 多轮验证」这一套机制比堆 prompt / 堆算力的边际收益明显。

工程判断:

四、WBAG(Samuel Zhen 等,arXiv:2610.01083):把「末端动作避障」拉到「全身 + 已抓物体显式几何的 CBF」

问题:VLA 在通用操作上很强,但上线真机时一直被碰撞问题困扰——关节会撞、已抓物体碰到环境、其他物体撞到机器人。现有 inference-time VLA 安全框架几乎都基于「末端执行器中心」的简化表征,既不建模完整 articulated 机器人,也不建模抓在手上的物体——结果就是,模型给出的「末端 6D action」看着安全,执行起来整条手臂或挂着的物体还是会撞。

关键 idea:WBAG(Whole-Body and Attached-Geometry):显式构造一个 grasp-conditioned safe set,随着机器人抓起 / 放下物体,实时更新「被保护的 whole-body + attached 几何」,再把它转成可微 Control Barrier Function(CBF)约束,对 VLA 原生 6D 操作空间动作做最小修正以避开碰撞。关键不是另写一个安全策略,而是把 VLA 的输出在几何空间里再过一次可微约束。

方法骨架:VLA 输出 6D action → 抓取状态检测 → grasp-conditioned safe set(全身 + attached geometry)→ 可微 CBF 约束 → 最小修正 6D action → 真机执行。整套 framework 不需要重训 VLA,只在 inference 时叠加一个几何层。

数据 / 数字:在 SafeLIBERO(LIBERO 加障碍物的安全评估版本)上,WBAG 拿到 97.38% Scene Safety 和 59.38% Safe Success,是评估方法中最佳的总体安全性 + 安全任务成功率。论文 8 页 / 5 图 / 3 表,代码按文中标注未公开。

工程判断:

五、Retrospective World Modeling(Yongjiang Liu 等,arXiv:2609.39101,NeurIPS 2026):把「forward-only 想象」拉到「双向 backward + forward 一致性奖励」

问题:现有 VLM agent 主要靠 prospective world model——预测「执行 a^t 后会到哪个状态 s_{t+1}」,然后据此选动作。但 forward-only 的局限是它只看「未来长什么样」,不直接验证「这次动作是不是真的让状态因果合理地变了」——结果会出现「画面像样,但物理 / 因果上错」的行为。后果是 RL 训练的 reward 不够密、agent 在物理一致性任务上仍会跑偏。

关键 idea:Beyond Prediction / Retrospective World Modeling:除 forward prediction 外,让 agent 也学一个 retrospective attribution distribution P(a^t | s_t, s_{t+1})——给定当前状态和下一状态,反过来估计「哪个动作最可能造成这次转移」。基于此提出 Self-Consistency Reward(SCR):把 policy 给出的动作和 retrospective 解释之间的概率一致性做成 intrinsic reward,直接喂 RL。SCR 不需要额外 ground-truth future query,而是从 agent 自己的 backward 估计里来——这意味着它是transition-level dense feedback,而且天然稳定。

方法骨架:VLM agent → forward world model 预测 s_{t+1} + retrospective world model 估计 P(a^t | s_t, s_{t+1}) → SCR(policy action 与 retrospective 解释的 KL 一致性)→ RL intrinsic reward → 策略更新。两者共享 backbone,但训练目标分开。

数据 / 数字:论文被 NeurIPS 2026 接收,27 页 / 8 图。文中报告在多个 agentic 任务上显著提升 policy robustness 与泛化;消融证明 SCR 比单纯 forward imagination 在物理一致性任务上明显占优。具体数字论文表格分布在不同 agentic benchmark,完整对照表见论文第 7 节。

工程判断:

六、五线共振:把「隐式策略」上提到「显式锚」是这一周 world model + safe RL + agentic control 的统一动作

把这 5 篇摆在一起,会发现一个让人意外的统一潜台词:

五个完全不同的问题——3D 跨本体表征迁移、视频→动作预训练、视频可控生成、VLA 真机安全、agentic RL reward——答案惊人地一致:把过去藏在 2D 视觉 / 表征中转 / 单 prompt / 末端中心 / forward-only 里的隐式策略,上提到一个可观察、可干预、可验证的显式锚点(3D 坐标 / 直接监督 / 工具流 / 全身几何 / 双向一致性)。这是 2026 下半年 world model + safe RL + agentic 研究的统一模式——具体哪种锚不重要,上提 这个动作本身是关键。

对一个正在搭具身 / 视频生成 / agentic 系统的工程师来说,这一观察的实操含义是:每次遇到「低层 X 不够好」,先问一句「有没有一个更可观察的显式锚可以让 X 变好」——大概率有,而且大多数情况下不需要重新训练整个 backbone。

七、判断:今日 5 篇哪一篇最值得先抄?

如果只有时间抄一篇,我推荐 WBAG。理由:

  1. 落地阻力最低。它是 inference-time plug-in,不需要重训 VLA,只需要在 6D action 输出上加一层几何 CBF——对任何已经在跑 VLA 的团队来说,接入成本就是「在 decode loop 里加一个几何约束」。
  2. 效果最直接。SafeLIBERO 97.38% scene safety + 59.38% safe success——「成功率几乎不掉、碰撞几乎消失」的组合,在真机部署阶段几乎是头号痛点。
  3. 可推广性最强。grasp-conditioned whole-body + attached geometry 这个思想可以套到任何 VLA 上——双手机器人、移动机械臂、whole-body humanoid——只要有可建模的机器人几何,就能套 CBF。

如果你在搭机器人 / VLA 系统:UNITAS 是 3D Native WAM 的范式,适合跨本体 / 跨相机具身策略;NAVA-WAM 是 video→action 直接预训练的范式,适合用大量纯观测视频给 VLA 做预训练;VideoGen-Agent 是可控视频生成的范式,适合 tutorial / demo / 分镜;RetrospectiveWM 是 agentic RL reward 设计的范式,适合 embodied agent / tool-use agent。

一个落地思考

这一周 5 篇让我重新审视了一件事:2026 下半年的「world model + safe RL + agentic control」三条线在方法论上的收敛速度比预想快得多。显式锚(3D 坐标 / 直接监督 / 工具流 / 全身几何 / 双向一致性)不是单一论文的灵感,而是跨论文的共同动作——这意味着未来半年,任何不在这条路径上的方法都可能迅速被追平。

对工程团队来说,这意味着两件事。第一,不要在「隐式表征 + 大模型」这条路上继续堆算力:三条论文(UNITAS / NAVA-WAM / VideoGen-Agent)已经证明,显式锚 + 中等规模模型可以跑赢隐式表征 + 大模型。第二,把「显式锚」写进 SOP:每次立项时问一句「我这个系统的瓶颈环节有没有显式锚」;每次模型上线前问一句「我有没有一个 inference-time 几何 / 一致性 / 工具层把模型输出再过一次」。这两条写成 SOP,半年后大概率能省下一轮重训。


参考资料

  1. 邓新宇, 朱昊辰, 王立明, 等(跨维智能 DexForce). UNITAS: A 3D-Native World Action Model for Embodied Manipulation. arXiv:2610.12099, 2026-10-09. https://arxiv.org/abs/2610.12099 · 项目页:https://dexforce.com/technical-report/#/unitas-wam · 代码:https://github.com/DexForce/UNITAS
  2. Zhaochong An, Sen He, 等(Meta AI / 哥本哈根大学 / 帝国理工 / Physical Intelligence). Native Action-Prior Learning from Videos for World Action Models(NAVA-WAM). arXiv:2610.03391, 2026-10-02. https://arxiv.org/abs/2610.03391 · 项目页:https://zhaochongan.github.io/projects/NAVA-WAM/
  3. Yuwei Cai, Yingdong Shi, 等(Princeton / Zhipu AI / 上海 AI Lab / 复旦). VideoGen-Agent: Reinforcing Video Generation Agents via Tool-Verified Planning. arXiv:2609.24997, 2026-09-29. https://arxiv.org/abs/2609.24997 · 项目页:https://andyca111.github.io/VideoGen_Agent/
  4. Samuel Zhen, Siwon Jo, Yanze Zhang, Wenhao Luo(KAIST). WBAG: A Whole-Body and Attached-Geometry Safety Framework for Vision-Language-Action Manipulation. arXiv:2610.01083, 2026-10-01. https://arxiv.org/abs/2610.01083
  5. Yongjiang Liu, Jie Zhang, Haoyue Zhang, Jingcai Guo, Deze Zeng, Song Guo(PolyU / HKUST / Edinburgh). Beyond Prediction: Steering VLM Agents with Retrospective World Modeling. arXiv:2609.39101, 2026-09-30. NeurIPS 2026 accepted, 27 pages, 8 figures. https://arxiv.org/abs/2609.39101
  6. 本周内同类参考:上一日 Oneira / SearchWorld / SufficientPlan / MERL / Push the Limit 5 线、RoboJEPA / WorldGuide / GenCine / VICS-G / FAITH 5 线、DeepJEPA / JEPA-TTT / Self-Compensation VLA / CAG / Structuring MoE 5 线、机器人学会「预演未来」:拆解 Pelican-Sim 1.0 的 28 维动作世界模型、AI 时代如何做具身智能。

下一篇预告:本周 UNITAS / NAVA-WAM / VideoGen-Agent / WBAG / RetrospectiveWM 这一批「把隐式策略上提为显式锚」的动作会继续出现,推下一周具身 + agentic 系统中卡住的内容是显式锚类型与骨干网络能力之间的耦合权重——以及在「不同 anchor 之间能否共享 backbone」这件事上,业界仍未出现可共识的结论。