thinkism.ai

今日 5 篇 arXiv 速读:JEPA 内部扩张、World-Model 持续在线适配、VLA 错误自补偿、CAG 世界模型引导、Agentic MoE 路由控制 五线并进

2026-10-08 · AI / 每日 arXiv / JEPA · WAM · VLA · Safe RL · Agentic · 阅读时间 ≈ 14 分钟

2026 年 9 月 30 日到 10 月 6 日这一周,arXiv 在「world model online task recognition / control-based generation / safe VLA / safe RL / agentic control」五个我持续追踪的方向上产出一批具有「显式化」共性的代表论文。这篇综述挑 5 篇逐一拆,保留原作者署名,中文逻辑重构,只补「它们各自值不值得抄」的工程判断。5 篇分别是:Zijian Jin 等人的 DeepJEPA(JEPA 内部扩张,arXiv:2610.00368,2026-09-30)、Zheyuan Zhang 等人的 JEPA-TTT(World-Model 在线持续适配,arXiv:2610.00722,2026-10-01)、Sohyun Lee 等人的 Self-Compensation VLA(VLA 执行错误自补偿,arXiv:2609.37334,2026-09-30)、Seungyeon Kim 等人的 CAG(Completion Aware Guidance for WAMs)(WAM 训练无关引导,arXiv:2610.01559,2026-10-01)、Bolian Li 等人的 Structuring MoE for Agentic RL(Agentic MoE 路由结构控制,arXiv:2610.07332,2026-10-05)。

把这 5 篇的方法骨架画在同一张二维图上,会发现一个延续前两天的潜台词:「把过去一年埋在『均匀深度的 forward rollout / 离线训练的 frozen 模型 / 末端开环执行 / 局部似然采样 / 隐式 token 路由』上的策略,上提到可观察、可干预、可验证的显式锚」。DeepJEPA 把每个 transition 的「多想几次」做成可学习阈值;JEPA-TTT 把训练后的世界模型做成「可继续自我刷」的 agent;Self-Compensation 把 VLA 从「命令即执行」改造成「命令与执行之差即学习信号」;CAG 用 attention affinity 在采样时把 WAM 推离「合理却跑不到任务」的局部最优;Structuring MoE 用 agentic 操作结构去约束 turn-level 路由。下面这张二维定位图把它们放到了「适配时刻 × 锚点类型」两个轴上。

锚点显式化 (结构 ↑) 隐式阈值 · 残差 · 残差 · attention · 操作语义 → 抽象层级 适配时刻 (介入 ↑) 离线训练 持续在线 DeepJEPA transition 深度自适应 1.00–1.26 avg updates +22% LeWM 长视野 JEPA-TTT 预测器持续自刷 dense replay buffer -83% 预测误差 / +153% Self-Comp. VLA 命令-执行残差即监督 无需奖励 / 标签 +30pp 真机成功率 CAG for WAMs attention 亲和引导 training-free α=0.15 64→70% / 79→40% Structuring MoE Agentic-turn 对齐 token-level 正则 +10pp 全部基准 结构化 + 在线介入 = 共同方向
图 1 · 5 篇论文在「锚点显式化 × 适配时刻」上的二维定位。绿色=DeepJEPA(transition 阈值)、蓝色=JEPA-TTT(测试时持续训练)、橙色=Self-Compensation VLA(执行残差)、紫色=CAG(attention 引导)、红色=Structuring MoE(turn-level 路由)。虚线斜对角再次指向「把隐式策略上提为显式锚」这一周内共同动作。

一、DeepJEPA(Zijian Jin 等,arXiv:2610.00368):把世界模型规划从「向外扩」改造成「向内扩」

问题:world-model planner 一直被设计成「扩 horizon、扩候选、扩迭代次数」三种向外的扩展轴。但给每个 imagined transition 分配同样的循环深度其实是浪费,因为有用的细化集中在接触起跳、持续抓握这一小撮决策关键事件。

关键 idea:DeepJEPA = 权重绑定的循环预测器。每个 transition 不是一个固定深度的前向,而是一个自适应 stopping:模型学着判断「这一步再走 N 次循环更新,值不值」。

方法骨架:weight-tied 循环 + per-step stop gate;在 5 个视觉控制基准上验证;学习到的额外计算集中在接触瞬间,而不是均匀深。

数据 / 数字:每 transition 平均 1.00–1.26 次更新;5 个视觉控制集与固定深度最强规划器持平或更好;决策关键事件上集中细化,不是平均细化;latent 表征探针显示「更好的规划并不要求每个对象更可解」。

工程判断:

二、JEPA-TTT(Zheyuan Zhang 等,arXiv:2610.00722):让世界模型「在部署后继续被训练」

问题:训练好的世界模型一上线就「凝固」。一旦 test-time dynamics 漂出训练分布,agent 的 latent 预测就开始指错路;又不能重新微调上线模型。

关键 idea:JEPA-TTT:在整个 test time 持续更新 latent dynamics predictor;视觉编码器、reward head 保持 frozen,保留预训练表征。self-supervised 更新跨 episode 累积。

方法骨架:dense replay——在每个时间偏移上形成 prediction window,保留到 growing buffer,从中采样 mini-batch 更新。规划不需要 goal image,也不需要 online reward。

数据 / 数字:8 个动态漂移 / 4 个连续控制环境:500 个 test-time episode 后,自回归 latent 预测误差平均降 83%;规划性能相对 frozen JEPA 提升 153%。

工程判断:

三、Self-Compensation VLA(Sohyun Lee 等,arXiv:2609.37334):把 VLA 从「开环执行者」升级成「执行残差的学习者」

问题:VLA 模型在真机上经常出现「发出的关节命令 ≠ 实际达到的位置」——驱动器磨损、皮带打滑、碰撞反弹。传统鲁棒化方法是训练时加扰动,但这只覆盖了「训练前见过的扰动」。

关键 idea:Self-Compensation = 用 commanded action 与 executed motion 的残差作为在线更新信号。不需要环境 reward,也不需要人类标签。

方法骨架:在线拉取 command-vs-execution 残差 → 喂给一个轻量补偿 head(可选)→主 VLA 权重保持冻结或低学习率;通过 stress test 自动发现触发条件。

数据 / 数字:RoboStress + 两台物理机械臂(磨损历史不同):真机成功率比 base VLA 高 +30pp / 每台;在训练时鲁棒化基线也胜出。

工程判断:

四、CAG for WAMs(Seungyeon Kim 等,arXiv:2610.01559):把 WAM 的「局部似然陷阱」翻译成 sampling-level 引导

问题:WAM 在 autoregressive 短块采样时,每块优化的是局部 log-likelihood;视觉合理、动作一致,却从不踩到任务完成的那一帧——论文称之为 task-incomplete imagination。这种失败和 backbone 没关系,而是 chunked 适配模式的产物。

关键 idea:CAG = training-free completion-aware guidance。在 cross-attention 通路上,用 attention affinity 当 completion sensitivity 的可观察代理,只对当前 chunk 内高 attention 的 instruction token 加大引导强度;主导权重 α=0.15 跨任务跨骨干通用。

方法骨架:不改 backbone,不动权重;推理时在 sampler 里加一个引导项,把生成推离「合理却跑不到目标」的局部最优。

数据 / 数字:RoboTwin 2.0 九任务子集 64.4% → 70.0%;零样本仿真 69% → 75%;task-incomplete imagination 占比 79% → 40%。

工程判断:

五、Structuring MoE for Agentic RL(Bolian Li 等,arXiv:2610.07332):把 MoE 路由从「隐式决策」上提到「agentic 语义」

问题:长视野 LLM agent 多用稀疏 MoE,但 RL 后训练时路由分布是隐式自由漂的——RL 算法不约束它,导致 MoE 容量没被有效利用,任务表现和推理效率同步下降。

关键 idea:观察到一个被忽视的结构现象——expert routing 在 agentic 操作语义相同(READ vs UPDATE)的 turn 之间高度重叠,不同操作之间则不重叠。据此提出 hierarchical routing control:turn 级对齐 agentic 操作,token 级正则局部一致性,加 entropy gate 防训练失稳。

方法骨架:两阶段约束(turn-level match + token-level local consistency) + entropy-gated control。

数据 / 数字:全部基准 +10pp 成功率(论文声称 all evaluated benchmarks 一致提升,具体涵盖 3 个 long-horizon agentic 任务集)。

工程判断:

六、五线共振:把「隐式策略」上提到「显式锚」是这一周具身 + agentic 的统一动作

把这 5 篇摆在一起,会发现一个让人意外的统一潜台词:

五个完全不同的问题——世界模型的算力分配、跨分布适配、真机执行、采样控制、训练时路由——答案惊人地一致:把过去藏在底层采样器 / 训练循环 / 优化目标里的隐式策略,上提到一个可观察、可干预、可验证的显式锚点。这是 2026 下半年 world model + agentic 研究的统一模式——具体哪种锚(stop gate / test-time update / 残差信号 / attention / turn 路由)不重要,上提 这个动作本身是关键。

对一个正在搭具身系统或 LLM agent 的工程师来说,这一观察的实操含义是:每次遇到「低层 X 不够好」,先问一句「有没有一个更可观察的显式锚可以让 X 变好」——大概率有,而且大多数情况下不需要重新训练整个模型。

七、判断:今日 5 篇哪一篇最值得先抄?

如果只有时间抄一篇,我推荐 Self-Compensation VLA。理由:

  1. 落地阻力最低。它只需在 VLA 推理链路之外加一个轻量补偿 head,不重训主 VLA,不要求额外的 reward / 标签——这一点非常符合「已经在跑真机的团队」的状态。
  2. 效果最直接。+30pp 真机成功率是部署团队最在乎的指标;且每台机器人各自适配,把「个性化」这个工程老大难变成免费的产物。
  3. 可推广性最强。任何有 command-vs-execution 残差可采的系统(电机、液压、四足车、自动驾驶线控),都可以套同样的「残差即监督」思路。

如果你在做 WAM backbone 的部署层,CAG 是零训练成本的上提,简单到能在一天内 A/B;JEPA-TTT 适合「环境一直在动」的工业部署;Structuring MoE Agentic RL 适合 LLM agent 团队;DeepJEPA 是 latent planner 优化算力配比的优雅工程补丁,投入产出比不如前三者直观,但学术价值最高。


参考资料

  1. Jin Z., Zhang Y., Liu Y., Liu M., Chen B., Ye W., Liu S., Pavone M. DeepJEPA: Scaling World Models from Within. arXiv:2610.00368, 2026-09-30. arXiv
  2. Zhang Z., Ye S., Agarwal N., Mahjoub H. N., Pari E. M., Khashabi D., Shu T., Tadiparthi V. JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts. arXiv:2610.00722, 2026-10-01. arXiv
  3. Lee S., Baek Y., Won J., Kim J., Hyunwoo K., Baek S.-H., Laptev I., Kwak S. Taming VLAs under Robot Execution Errors: Self-Compensation and Stress Testing. arXiv:2609.37334, 2026-09-30. arXiv
  4. Kim S., Lee J., Kim B., Kim M., Kwak N. Completion Aware Guidance for World Action Models. arXiv:2610.01559, 2026-10-01. arXiv
  5. Li B., Hu T.-Y., Hsieh C.-Y., Chowdhury S., Tuzel O., Vemulapalli R. Structuring MoE Expert Selection for Agentic Reinforcement Learning. arXiv:2610.07332, 2026-10-05. arXiv

上一篇: 今日 5 篇 arXiv 速读:WAM 任务锚点、3D 操控、安全 VLA、滤波器感知微调、Agentic 信用分配 五线同发 · 系列: 每日 arXiv 速读 · 系列索引见 文章索引。