thinkism.ai

今日 6 篇 arXiv 速读:OpTTA 让世界模型在部署时改得「乐观」、TAPESTRY 把动作塞进视频 patch 就不再生成视频、MoGAP 把视觉监督压在会动的区域、OSMA-Bench 揭穿 VLA 认识危险却不减速、Active Reachability 让监控器把「没把握」当成不可恢复、MOTIO 让 agent 自己写出能上真机的技能程序

2026-10-28 · AI / 每日 arXiv / 世界模型在线适应 · 控制式生成的载体 · 视觉监督分配 · 语义到运动的接地断裂 · 人形可恢复性监控 · agentic 技能工程 · 阅读时间 ≈ 17 分钟

前两天我写了两层:10-26 说「两个模块之间交换信息的那条通道该长什么样」,10-27 说「这些约定坏掉的时候,大多数不会报错」。今天要补的是第三层,而且是一层更不舒服的:均匀对待。

今天的 6 篇来自 10-23 到 10-27 的提交,横跨世界模型的在线适应、控制式生成、safe VLA、safe RL 和 agentic control 五个领域。表面看毫不相干。但把它们各自推翻的那个默认值并排放,会发现它们推翻的是同一类东西 —— 每个领域的默认做法都建立在「所有东西都同等重要」之上:世界模型用同一个预测损失衡量所有 rollout;视觉预测把监督均匀撒在整张图上;标准化后的状态特征用同一套权重;安全语义只要「认出来」就算数;不确定的区域被当成「未知」而不是「危险」;技能生成一次就交付。

这 6 篇的共同动作是:找到那个不均匀的地方,然后给它加权。没有一篇在「换一个更大的模型」这一层。

下面这张图把 6 篇放到「改动的位置 × 落地工程成本」两轴上。横轴从左到右是改动落在系统里的哪一段:从训练期的目标函数一路走到部署期的运行时判断与交付流程;纵轴从上到下是落地所需的工程成本 —— 越往下,你要付出的算力、采集、真机时间和人工审批越多。左上角那两个是这周最便宜的改动,右下角那个是最贵的。

工程成本 成本低 成本高 训练期:目标函数与损失 部署期:运行时与交付流程 ← 越往右越靠近真实系统;越往下落地成本越高 → MoGAP 2610.36624 监督压在会动的区域 OSMA-Bench 2610.34674 认出危险≠会减速 OpTTA 2610.35636 适应要朝目标变乐观 TAPESTRY 2610.36823 动作长成视频 patch ActiveReach 2610.33317 没把握就算不可恢复 MOTIO 2610.33446 程序要能在物理里跑
图 1 · 6 篇论文在「改动位置 × 落地工程成本」上的二维定位。橙色=MoGAP(视觉监督非对称分配,GR-1 上 38.8%→47.5%、52.3%→62.3%)、紫色=OSMA-Bench(语义安全差异落不到连续运动上)、蓝色=OpTTA(部署期适应改用目标导向目标,13.5pp vs 6.9pp)、绿色=TAPESTRY(动作作为视频 patch,84 ms 一个 chunk)、红色=Active Reachability(高不确定性一律当不可恢复)、青色=MOTIO(agent 写程序、物理里验、人来批)。左上角那两个是这周最便宜的改动 —— 不动架构、不动数据,只改「什么东西该被当成更重要」。

一、OpTTA(Mete、Kalathil、Kumar,arXiv:2610.35636,CoRL 2026 Workshop on Pretrain to Adapt,2026-10-26):世界模型的适应目标,应该问「到不到得了」而不是「预测得准不准」

问题:潜空间世界模型通常离线预训练、部署时冻结,分布一漂移,规划质量就掉。测试时适应(TTA)可以在部署期间更新模型来救。但 TTA 用在规划上是闭环的:planner 用模型 rollout 选动作,选出来的动作又产生下一步的更新数据。于是问题来了 —— 用哪个目标来指导这个更新?

纯预测目标的问题,论文说得很准:模型只会拟合「自己动作产生的结果」,所以它可能对「哪些动作能到目标」一直保持错误的认知。于是低预测误差不蕴含更好的规划 —— 你把世界模型调得更准了,规划器却还是选错路。

关键 idea:OpTTA —— 目标函数两项,都对模型参数最小化:(1) 观测转移上的预测损失;(2) planner 在候选 rollout 上的「到达目标的代价」。第二项把适应过程偏向那些对到达目标感到乐观的模型,而且不需要任何额外的环境交互 —— planner 自己的候选 rollout 就够算这一项。灵感来自自适应控制里的 reward-biased maximum likelihood。

数据 / 数字:在视觉漂移与环境漂移下的操作、到达、导航任务上,只适应 predictor 时,OpTTA 把最终规划成功率相对冻结模型平均提高 13.5 个百分点,而纯预测目标(AdaJEPA)只有 6.9;把 encoder 一起适应时是 13.5 对 7.5。覆盖三个不同 encoder、不同训练目标的 JEPA 世界模型,temporal straightening 设定下 CEM 和梯度型 planner 都验证过。

为什么这个数字值得停一下:同一套数据、同一个适应框架,只是把目标函数里加了一项,收益就翻了将近一倍(13.5 vs 6.9)。这说明「适应」这件事本身可能一直是朝着错的方向在调 —— 你以为你在修模型的预测能力,你其实在修一个跟任务无关的量。

工程判断:

二、TAPESTRY(Collins、Lee、Wachakorn、Srinivasan、Garg、Guizilini、Shah,arXiv:2610.36823,CoRL 2026,2026-10-27):把动作长成视频模型本来就认识的 patch,就不用在测试时生成视频了

问题:预训练视频生成模型编码了丰富的物理交互先验,但拿来做机器人控制通常只有两条路:(a) 测试时真的生成视频 —— 资源消耗巨大;(b) 从头训一个 action head —— 又把预训练主干浪费掉了。

关键 idea:Tokenizing Actions as Video Patches —— 把机器人动作当成视频模型潜空间里的「单 patch token」。一个轻量线性投影把每个动作时间步映射到预训练 VAE 的 patch 维度,得到的 token 走和视频完全相同的 patchify 层与 transformer 主干。共享主干用三个扩散目标训练,每个 minibatch 元素随机采一个:(1) video diffusion —— 用机器人和人的视频 VAE latent 建立动力学先验;(2) joint video + action diffusion —— 在机器人示范上训练,用耦合的 diffusion timestep 和非对称注意力掩码;(3) action-only diffusion —— 以干净图像 latent 为条件去噪动作。测试时:单步 DDIM,从纯噪声生成一整段动作 token,全程不生成视频。

数据 / 数字:84 毫秒一个 action chunk,消费级硬件;并且避免了完整视频生成的开销。跨仿真基准和真机实验,性能强于对比的 joint video-action 策略,推理成本显著更低。

两句必须说清楚的诚实话:其一,摘要只给了 84 ms 这一个硬数字,成功率分项在论文正文表格里,摘要没给 —— 工程上要判断值不值得抄,得去查那张表。其二,项目页目前仍是匿名预印本状态(页面写着「Preprint · under review」、bibtex 里作者是 Anonymous),而 arXiv 注释写的是「Accepted to CoRL 2026」。这两边对不上 —— 要么项目页没更新,要么注释提前填了。引用时按「匿名预印本」标注更稳妥,别按已录用论文去引用。

工程判断:

三、MoGAP(Kim、Sung、Kwon、Kim、Shin,arXiv:2610.36624,cs.CV,2026-10-27):不是所有像素同等重要 —— 会动的那些才值得多花算力

问题:World Action Model(WAM)联合预测未来观测和动作,其中视觉预测目标在把预训练视频表征适配到目标机器人域上起关键作用。但标准视觉预测是从视频预训练继承来的,它对所有视觉区域一视同仁 —— 而这些区域对机器人控制的相关性差别极大。

关键 idea:论文先给了一个观察:把监督集中在动态区域,能显著提升策略性能。然后是 MoGAP(Motion-Guided Asymmetric Prediction) —— 跨区域非对称地分配噪声:训练模型用噪声更小的静态区域作为上下文,去重建噪声更大的动态区域。它与标准 video-action 预测并行训练,通过共享视频扩散主干里一条仅训练时存在的辅助预测路径实现。运动线索直接从训练视频本身导出,不需要外部 teacher,也不需要额外模态。

数据 / 数字:GR-1 桌面基准上,Fast-WAM(Wan2.2-5B)从 38.8% 提到 47.5%,Cosmos3-Nano 从 52.3% 提到 62.3%。跨多个操作基准与多种 WAM 架构一致提升。

为什么这篇和 TAPESTRY 值得一起看:它们是互补的两件事 —— TAPESTRY 决定控制走哪条通道,MoGAP 决定监督往哪压。前者省的是推理期算力,后者提的是策略精度,两者不冲突,可以同时上。

工程判断:

四、OSMA-Bench(Bae、Han、Choi、Kim、Moon,arXiv:2610.34674,2026-10-26):模型认出了危险,不等于它会因此减速

问题:安全的家用导航要求机器人根据「障碍物是什么」和「有多近」来调整间隙与速度,同时又不至于过度保守。但现有评测有一个盲区:它们不测语义上的安全差异有没有真的落到连续运动上。

关键 idea:OSMA-Bench(Obstacle-Conditioned Safe Motion Adaptation Benchmark)—— 用空间匹配的场景集,只改障碍物类型;再配一个 Semantic Sensitivity Index(SSI):衡量「间隙、随距离变化的速度、运动平滑度」是否遵循障碍物应有的谨慎排序。

数据 / 数字:在 VLM 系与 VLA 系策略上,两者都不能一致地让运动适配障碍物安全性 —— 即便加了显式的安全提示。分析给出的结论比结果更扎人:策略能正确区分障碍物的安全相关性,但没能把这个区别反映到它们产生的运动参数或动作上。对 VLM 系策略(先识别障碍物、再生成导航程序)来说,在两个阶段之间加一个显式的参数推断步骤能改善适配。论文给这个断层起了个准确的名字:semantic-to-motion grounding gap。

工程判断:

五、Active Reachability Learning(Feng、Singh、Kaingade、Bansal、Trinh,arXiv:2610.33317,Stanford University 与 Amazon,CC BY 4.0,2026-10-23):不知道会不会摔,就别装作知道

问题:部署人形任务策略需要一个可靠的运行时监控器,要在不可恢复的摔倒发生之前触发 fallback。论文把这件事形式化为:学习给定 fallback 平衡策略的随机、有限时域可恢复性包络(liveness envelope)。

难点在数据,而且是物理层面的:现有方法假设训练数据天然覆盖了这个包络,但对接触丰富的系统来说,采这些数据本身就是瓶颈。结果是只恢复了真实包络的一小部分,于是对分布外输入给出乐观的幻觉。论文里还有一句很硬的约束:不能均匀采样状态空间,也不能「瞬移」机器人去扩覆盖 —— 轻微的运动学偏移就会导致刚体穿透,在仿真里触发严重数值假象,把训练数据直接污染掉。所以数据只能靠服从动力学的 episode rollout 来采。

关键 idea:双层框架,内层学价值、外层主动探索,交替迭代。探索被重新表述为 reach-avoid 问题:一个不确定性引导的探索器系统性地 uncover 没见过的新状态,同时避开那些已经被确信不可恢复的区域。内层用 TD + MC 组合目标,兼顾分布内价值精度和不确定性估计的可靠性。最后一步最关键:把剩下那些高不确定性区域显式当作「不可恢复」,从而抑制乐观的 OOD 幻觉。

数据 / 数字:摘要给的是定性说法 —— 在随机基准和 29 自由度 Unitree G1 人形上显著改善监控器的覆盖率与精度,并零样本迁移到真机硬件。诚实说一句:覆盖率/精度的具体百分比在正文表格里,摘要没给数字,想要量级得去查表。好消息是这篇是 CC BY 4.0,要用它的图可以(带署名)。

工程判断:

六、MOTIO(SpatialtemporalAI,arXiv:2610.33446,2026-10-24,10-27 批次公告,项目页 iiiqqiiii.github.io/motio):别让 agent 直接输出动作,让它输出能在物理里跑的程序

问题:人形 loco-manipulation 技能通常靠人遥操作示范来教 —— 成本高、不可扩展、而且示范数据只覆盖采集者会的那几种做法。

关键 idea:MOTIO 把普通的人手动作视频、reality-grounded 3D 资产、动作参考和可复用的机器人技能,变成可执行的人形 loco-manipulation 程序。agent 做上下文相关的任务与接触推理,构造出分阶段的、机器人原生的交互,然后用物理执行 + 多帧反馈 + 人工验证去改进它们 —— 全程不需要任务特定的遥操作,也不需要采集机器人示范。Agentic 3D 提供带尺度的产品与环境资产,现有的全身控制、逆运动学和灵巧手接口负责把程序落地。

数据 / 数字:在 33 次带时间戳的首次批准上,agent 单轮耗时中位数 97.0 分钟,从请求到批准的端到端时长 2.80 小时。仿真侧的布局与物体变化准备了一个长时程扔瓶子技能,最终在扫描的真实办公室里完成连续 101.75 秒的 G1 真机执行;物理侧的精修把拧螺丝的螺纹残留降低了 76.0%。另外,agent 生成的技能还能监督 BC / DAgger 蒸馏进一个共享的参考策略,在同一个 checkpoint 下完成 18 个仿真任务,推理期不需要专家介入。

工程判断:

七、落地思考 / 我的判断

把这 6 条抽成一句话:「这 6 篇里有 5 篇的失败表现,都是『某个该被加权的东西被均匀对待了』。」这和 10-26 讲的「改约定」、10-27 讲的「约定坏掉时不报错」构成一条完整的线:10-26 说接口该长什么样,10-27 说为什么你一直没发现它不对,今天说的是第三个问题 —— 就算它没坏,你用的那个「一刀切」的评价标准本身就有问题。

按这周三天的连续线索,我给一个具体的推论:你手上有多少个「均匀对待」的地方,直接决定了你现在的架构还有多少没被榨出来的性能。我按这 6 篇各给一条探针,都是从零成本开始:

我的取舍:

论文 主题 被打破的「均匀对待」 关键数字 最小可行动作
OpTTA
2610.35636
世界模型 · 在线适应适应目标:预测误差 ≠ 到达目标规划成功率 +13.5pp(仅适应 predictor),纯预测目标 AdaJEPA 只有 +6.9pp;encoder 同适应为 13.5 vs 7.5测试时适应的目标里加一项 planner 到达代价
TAPESTRY
2610.36823
控制式生成控制载体:动作 → 视频 latent 的单 patch token84 ms / action chunk,单步 DDIM,消费级硬件;CoRL 2026(项目页仍为匿名预印本)把动作投影到预训练 VAE 的 patch 维度,复用主干
MoGAP
2610.36624
控制式生成视觉监督分配:整张图一视同仁 → 动态区域优先GR-1 桌面:Fast-WAM 38.8%→47.5%;Cosmos3-Nano 52.3%→62.3%跨区域非对称分配噪声,静态小噪当上下文
OSMA-Bench
2610.34674
safe VLA语义 → 运动:认出来 ≠ 落到连续参数上VLM/VLA 策略均不能一致适配障碍物安全性,即便加显式安全提示;提出 SSI 指标造只改障碍物类型的配对场景,检查间隙-速度排序
Active Reachability
2610.33317
safe RL运行时判断:不确定 → 直接算作不可恢复29 自由度 Unitree G1;覆盖率与精度大幅提升,零样本迁移真机(CC BY 4.0)高不确定性区域按不可恢复处理,不做乐观外推
MOTIO
2610.33446
agentic control交付流程:生成一次就交付 → 物理里跑、人来批33 次首次批准,agent 单轮中位 97.0 分钟、请求到批准 2.80 小时;101.75 秒连续 G1 真机执行;螺纹残留 -76.0%;单 checkpoint 18 个任务让 agent 产出可执行程序而非动作序列

References

另有一篇同批次值得跟读:SWIM: Learning What Matters from Behaviors for JEPA World Models(Hu、Bo、Zheng 等,arXiv:2610.36662,2026-10-27)—— 指出 JEPAs 的视觉预测目标没有显式纳入「任务相关状态」,所以决定任务进度的物理状态可能根本没被潜空间抓住;解法是用逆动力学模型从离线轨迹里学出每个状态特征的权重(从当前状态和观测到的未来位移预测记录到的动作),避免均匀加权让冗余坐标重复计票、无关坐标掩盖任务差异。它和今天的 OpTTA 其实是同一个问题的两半:OpTTA 修的是「适应时的目标函数」,SWIM 修的是「监督时用哪些状态」。不过要提醒一句:SWIM 的摘要只给了定性结论(在五个仿真操作任务上一致优于均匀加权),没有给具体百分比,分项数字得去查全文表格。

下一篇预告:今天把「均匀对待」这层补上了。接下来想正面处理那个更难的问题 —— 「不均匀」这件事该由谁说了算。MoGAP 用运动线索自动找、SWIM 用逆动力学学出来、OSMA-Bench 干脆用手工标注的谨慎排序去定义。但这些权重都是代理目标:运动不等于重要性,逆动力学不等于任务,人工排序不等于真实风险。一旦代理目标和真实目标错位,今天这套「加权」就会变成另一种形式的均匀对待 —— 而且更隐蔽,因为它看起来不像默认值。