今日 6 篇 arXiv 速读:DreamX 把视频帧压成 4 个 token 当通用动作接口(回归 MSE 0.17 对 DiLA 0.38)、WISE 给想象出来的未来先打分再执行(RoboLab 6.0% 抬到 24.0%)、理由一字不差而动作已经变了(52.6% 场景静默碰撞)、RAFT 先训推理再冻住它(真机 OOD 75.0% 对 27.9%)、BH-CBF 沿备份视野看到所有车停下(115 km 零碰撞、行程时间比人类短 14%)、ReflexArc 让反射在 10 ms 内到达电机(冲量减到 0.1225 N·s)
上一篇(11-04)留了个问题:「你系统里那些所有人都觉得理所当然要建的结构,有多少是这一种 —— 加了一整套世界模型训练,只换来 0.03 AUROC」。那天六篇的答案是用结构换数据,把本该从数据里学出来的那部分,交给一个显式的、可单独检查的结构。
今天这六篇往前走了半步 —— 盯上的不是「结构要不要建」,而是结构之间那些没人管的缝隙。六个缝隙,六个曾经被直接连起来的环节:
- DreamX:视频帧和动作之间那一步被跳过了(直接把帧当动作用),于是把中间补成一个 4 个 token 的潜动作接口(每帧压缩 300×,回归 MSE 0.17 对 DiLA 0.38);
- WISE:模型生成的未来和真正执行的动作之间那一步被跳过了(直接相信想象),于是先打分再执行(RoboLab 6.0% → 24.0%);
- Say the Same, Act Differently:理由文本和物理动作之间那一步被跳过了(把理由当安全证据),结果是 154 个场景里 52.6% 静默碰撞而理由一字不差;
- RAFT:预训练推理能力和动作监督之间那一步被跳过了(直接微调),于是先训推理、再冻住它、最后才学动作(真机 OOD 75.0% 对 27.9%);
- BH-CBF:当前安全和未来安全之间那一步被跳过了(一步 CBF 就当保证了),于是沿备份视野一直看到所有车停下(115 km 零碰撞、行程时间比人类短 14%);
- ReflexArc:触觉事件和电机动作之间那一步被跳过了(让策略去处理),于是让反射在 10 ms 内直接到达电机(接触冲量 0.2632 → 0.1225 N·s)。
下面这张图把六篇放到两轴上。横轴是这一步发生在哪(从左到右:训练期 → 预训练接口 → 训练+运行 → 执行前 → 运行时);纵轴是工程投入(从下到上:几乎零成本 → 要建一整套硬件通路)。
图上最值得看的是右上角和右下角的那条对角线:TNAS 在最右下角 —— 它不改任何部署代码,只加了一条监控规则,却测出了六篇里最硬的一个数字(52.6%)。而 ReflexArc 在最右上角 —— 它最贵,因为它要在物理世界里抢时间,10 ms 这个数字不是算出来的,是硬件通路上逼出来的。所以这张图真正说的是:「显式化」的收益和成本之间没有稳定关系,成本高低的分界线是它要跟什么抢 —— 跟推理算力抢(WISE,3.4× 时间预算)很便宜,跟物理时间抢(ReflexArc)非常贵,跟模型内部抢(RAFT、DreamX)介于两者之间。
一、DreamX:把视频帧和动作之间那一步补上,压成 4 个 token(Kim 等,arXiv:2611.05377,cs.CV / cs.AI / cs.RO,2026-11-03,KAIST / NVIDIA)
问题 潜动作模型(LAM)想从视频里抽出一个「与外观无关的动作」表示,用来跨本体迁移。但现有做法的问题很具体:抽出来的表示把动作和视觉变化缠在一起 —— 光照变了、背景变了、机器人的外壳也变了,同一个动作在潜空间里就落到不同位置,跨本体自然失效。而为了拿到足够细的运动信息,它们只能吃两帧或整段 clip,token 数多、算得慢。
关键 idea / 方法骨架 DreamX 的做法是不另起炉灶,而是征用一个已经预训练好的视频扩散模型。具体三步。第一步,在视频模型的时空注意力里插一组可学习 query token,让 query 从 1,200 个 frame token 里把「帧间到底发生了什么变化」收拢成 4 个 token 的潜动作。第二步,这 4 个 token 顶替 text conditioning 去做未来帧重建 —— 也就是说,重建目标本身就是「把这段运动搬到目标场景去」,外观由初始帧提供、细节由预训练骨干提供,动作语义只能从 query 里出。第三步,编码器解码器用 attention mask 控制信息流:video 和 action token 都读 query,但彼此之间不互相看,防止动作 token 把画面细节又漏回去。有动作标签时额外挂一路辅助监督。
这里的巧思在于:「外观归外观、运动归运动」不是靠一个显式的解耦损失做出来的,而是靠「重建任务只给运动留位置」逼出来的 —— 你不需要写损失函数告诉它「别学颜色」,只需要让颜色有别的来源。
数据 / 数字 压缩比先摆出来:每个潜视频帧 1,200 → 4 token,压缩 300×。LARYBench 上动作回归的平均归一化 MSE 0.17,对照 DiLA 0.38、MoTo 0.44、VideoWorld2 0.70、AdaWorld 0.69;动作分类平均 69.67%,对照 DiLA 62.25%、MoTo 51.01%。零样本人 → 机器人视频迁移(HumanAndRobot,1,008 段 clip / 21 个任务,不使用任何成对人机数据):FVD 57.44,AdaWorld 170.19、VideoWorld2 241.92;LPIPS 0.179、PSNR 26.52、SSIM 0.917。真机抽屉关闭任务成功率 96.7%,Mimic-Video 50.0%;推理延迟 1,474 ms 对 28,226 ms,快 19.1×。两处消融值得记:加辅助动作监督只把回归 MSE 从 0.24 改到 0.23,分类准确率反而从 65.3% 掉到 64.8% —— 说明它主要靠视频自己就够,动作标签是锦上添花;CALVIN 上把潜动作从 action head 的注意力里屏蔽掉,平均完成长度从 2.643 掉到 2.378。
工程判断
- 什么时候抄:你在做跨本体动作迁移,手上有人类第一视角视频但没有机器人示范 —— 这篇直接给你一条不需要成对标注的路。而且它的中间产物很小(4 个 token),意味着你可以把它接在任何已有的策略前面,不用重训下游。有意思的是它顺带省了 19.1× 的推理延迟:如果你之前是靠「先生成未来视频再反推动作」,那这条替换本身就是性能升级。
- 什么时候不抄:你的下游任务需要精细接触状态(拧盖子、插针、装配),4 个 token 的压缩率可能把关键接触信息抹掉了 —— 这篇的评测是动作回归与分类,不是接触任务。另外它吃的是一个预训练好的视频扩散骨干,算力和显存都不便宜,不是「小模型团队随手能抄」的量级。最后注意它自己的边界:零样本迁移的对照是在视频空间上评的(给目标场景首帧、生成目标机器人动作),真机只验证了一个抽屉任务。
- 一句话启发:要分开外观和运动,最省事的办法不是加损失,是把重建任务里的「外观来源」显式指定掉 —— 剩下的空位会自动逼出动作。
二、WISE:模型想象出来的未来,先打分再执行(Ahmed、Mostajabdaveh、Yazdani、Zhou,arXiv:2611.03585,cs.RO,2026-11-02,Huawei Technologies Canada / 不列颠哥伦比亚大学)
问题 世界动作模型(WAM)一个动作同时吐两样东西:要执行的动作和它想象的未来。这里有个一直没被认真对待的裂缝:看着合理的未来,未必能被它自己吐出的那个动作实现。而现在的部署默认两者一定一致 —— 生成出来就执行。结果 RoboLab 上单次采样的 Cosmos 3 Edge 闭环成功率只有 6.0%。
关键 idea / 方法骨架 WISE(World Action Inference Scaling through Evaluation)把「测试时扩展」重写成一个在线选 rollout 的问题,并且模型全程冻结。打分用三个分数,它们查的是三件不同的事:
- 动作有效性与时间规律性(Exec):这个动作本身合不合法、序列看起来规不规整;
- 世界-动作一致性(Cons):用逆动力学模型从想象出的运动里反推动作,看能不能还原出原来那个动作。连续动作可以直接用 IDM,离散动作要单独处理一套;
- 指令条件下的任务进度(Prog):一个冻结的 task evaluator 打分,model-agnostic,所以换模型不用改结构。
三个分数融合后执行最高分的那条。论文有一张表把「决策时该比什么」列得很清楚:比未来之间的一致性、比同一未来的多视角几何、比候选动作的条件分布、比输入动作和 rollout 里恢复出的动作、还是比「共生成的动作」和「共生成的未来里的运动」 —— WISE 选最后一个,因为只有它同时握着一个动作和它的后果。
数据 / 数字 每步采 4 个候选。RoboLab(Cosmos 3 Edge):6.0% → 24.0%;同预算下 Future Consensus 18.0%、GeoBoN 20.0%、Robometer 20.0% —— 领先最强基线 4.0 个点(50 集里多成功 2 次)。LIBERO(DreamZero)平均 75.1% → 78.3%,Spatial 92.6→95.8、Object 88.2→93.0、Goal 51.6→53.6、Long 67.8→70.8,四个 suite 全部上升。代价摆出来:平均 episode 时长 RoboLab 3.4×(892.5 s → 3,062.5 s)、LIBERO 3.5×(7.1 s → 25.2 s)。最关键的一张消融表:单组件 selector 在 RoboLab 上 Exec-only 10.0%、Cons-only 16.0%、Prog-only 20.0%,三者合一 24.0%;而且论文明确说这三个分数对候选的排序彼此不同,Prog 权重最大 —— 也就是说它们查的是真的不同的东西,不是同一件事的三种噪声估计。
工程判断
- 什么时候抄:你已经在用 WAM,或者任何「一次生成、一次执行」的策略,并且你觉得失败时说不清是模型不行还是运气不好。WISE 给你的是一个不重训的选择器:冻结底座、每步多采几条、加一个逆动力学一致性和一个任务进度分。这套东西工程上极便宜(不改训练、不改底座),是六篇里最容易当天上线的。而且它顺带给出了一个可证伪的假设:如果你的 WAM 分数从 6% 抬不到 24%,那问题多半不在底座。
- 什么时候不抄:你的单次成功率已经很高(LIBERO 上 75.1% → 78.3% 只有 3.2 点,四个 suite 里 Goal 只有 2.0 点)—— 这时候 3.4× 的时间预算换几个点未必划算,尤其是有硬实时要求的场合。也别把它当成「世界模型变强了」:底座一点没动,它只是选得更准。还要记住它只在两个基准上验证过(RoboLab、LIBERO),且要求模型能同时产出动作和未来 —— 纯反应式策略用不上。
- 一句话启发:「模型自己生成的未来」是提案不是证据 —— 把它当提案,然后拿一个独立的、逆向的问一遍:「这个未来真能由这个动作产生吗」。
三、Say the Same, Act Differently:理由一字不差,动作已经变了(Feng、Zhang、Xia、Yu、Mao、Govindan,arXiv:2611.04166,cs.LG / cs.CR / cs.CV / cs.RO,2026-11-03,南加州大学 / 亚利桑那大学 / 通用汽车)
问题 带推理的 VLA 会生成一段自然语言理由,给人来读,好让人读文字就能监控具身安全。这条工作流看起来很自然:人能读的东西,人就能查。过去的攻击也都打在这段文字上 —— 把理由改坏,于是文字里留了痕,监控还能发现异常。这篇问的是反过来的方向:能不能让动作变了,而理由一个字都不改?
关键 idea / 方法骨架 答案是能,而且机制很干净。论文在 reasoning VLA 的文本与动作共享接口处做诊断,找「当前最动作敏感的那个局部方向」,发现它与正在起作用的文本 loss 梯度几乎正交 —— 两个模型上的范数重叠只有 1.87% 和 5.28%。这条几乎与文本梯度的正交残差,就是文本中性的动作子空间(TNAS):沿它走,动作会大幅改变,而文本几乎不动。反方向也成立 —— 沿文本梯度走,文本漂移极大而动作几乎不动。这篇把它做成两面:诊断工具(测出你的模型有没有这个缝)和攻击工具(从图像侧引导扰动,把动作推离而不动文本)。
数据 / 数字 Alpamayo 驾驶模型上 154 个带障碍标注的场景:TNAS 引导的攻击能在理由逐字完全相同的前提下制造出新的碰撞,整图扰动 52.6%、局部前视相机 patch 35.1%,而无引导的动作攻击只有 4.55%。作为对照,text-preserving PGD 逐字保留率 83.0% 但静默碰撞 48.7% —— 它保住了文字,却保不住安全。TNAS 相对它把逐字保留率抬到 89.5%、teacher-forced 文本漂移砍 68.4%,而碰撞率相当。InstructVLA 操控模型上:文本漂移砍 40.5%,85.0% 的样本逐字不变,同时动作 chunk 位移 1.73 单位(action-only PGD 位移 2.04 但逐字只有 72.5%,TNAS full image 位移 1.85 而逐字 81.0%)。两个方向的大小差也给了:沿 TNAS 干预,动作位移是沿文本梯度方向的 4.64×–47.8×;反过来沿文本梯度干预,文本漂移是 21.2×–277×。层区间扫描显示 32–35 层的重叠最低(1.99%)—— 缝最宽的那一层是可以定位的。
工程判断
- 什么时候抄:只要你的系统里有「人读文字来盯安全」这条工作流,就必须抄 —— 而且这篇证明了这条工作流现在是失效的。成本是六篇里最低的:不需要重训、不需要部署改动,只需加一条监控规则,直接检查预测出的动作通道,而不是检查理由。154 个场景、52.6% 这个数字会改掉一批监控设计。
- 什么时候不抄:如果你的安全判断根本不经过文字(纯几何过滤器、纯 CBF、直接查关节力矩),那这个缝你本来就没有 —— 这篇对你只是提醒。把 52.6% 当成「你的系统有 52.6% 的漏洞」是误读:它是攻击者在最优引导下的可达上界,不是自然发生率;真正的结论是「静默碰撞在原理上可达」。另外它只在两个模型(Alpamayo、InstructVLA)上验证,迁移到别的 VLA 前建议先自己跑一遍重叠度诊断。
- 一句话启发:一段没变过的理由,只能证明「文字没变」,证明不了「动作没变」 —— 要监控就直接看动作通道,别读文字。
四、RAFT:先训推理,再冻住它,最后才学动作(Grover、Kolobov、Shah,arXiv:2611.04368,cs.RO / cs.CV,2026-11-03,普林斯顿大学 / 微软研究院)
问题 用少量示范把通用 VLA 微调到目标任务上,名义成功率上去了,鲁棒性掉下来了 —— 换个光照、换个物体、换个说法,成功率就掉。这种「对齐了任务却丢了泛化」的现象通常被归因为数据量不够,但这篇给出另一个解释:动作监督直接压进 VLM,把预训练时被好好保护的能力挤掉了。
关键 idea / 方法骨架 RAFT(reasoning-aligned fine-tuning)用两阶段顺序加一道冻结来对付这件事。阶段 I 只训 LoRA,目标不是动作而是任务相关的推理标注,三种目标形态:VQA(用语言描述该抓哪个物体、放哪里)、空间描述(相对位置和运动轨迹)、bounding box(坐标)。LoRA 挂在 18 个语言层的 126 个模块和 27 个视觉层的 81 个模块上,rank 64。阶段 II 冻结阶段 I 的 LoRA 和 SigLIP 视觉塔,只微调语言模型本体、action expert 和投影层。
两个设计缺一不可:「先推理后动作」是顺序,让动作监督去拟合一个已被推理锚定过的内部状态;「阶段 II 冻结推理分支」是闸门,防止后半段梯度把刚建好的推理锚点冲掉。第二点尤其反直觉 —— 通常直觉是「推理分支也该一起适配」,而这篇说不能。
数据 / 数字 真机 DROID 上 OOD 成功率 75.0%,普通微调 27.9%。多阶段双臂 YAM 任务上 70.0%,最强基线 36.0%。模拟 pick-and-place(每格 106 个 episode)五个 OOD split 的平均成功率:RAFT 83.21%,Plain FT 79.62%,Plain FT(冻结视觉)79.62%,Co-train 63.21%。最关键的一张消融表是「同一份阶段 I LoRA 怎么用」:直接挂到基座上不接阶段 II 只有 48.30%;在阶段 II 里继续训它 73.96%;在阶段 II 里冻住它 83.21% —— 冻结比继续训高 9.25 个点,而两者只差「训不训」这一个比特。另外注意 Co-train 63.21% 这个数:一边训推理一边训动作,反而比完全不碰推理的 Plain FT 低了 16.4 点,说明问题不是「推理监督有害」,而是顺序错了。还有个组合实验:把 RETAIN 加在 RAFT 上比加在 Plain FT 上好,pooled 成功率 30.50% → 36.16%。
工程判断
- 什么时候抄:你在做 VLA 的任务后训练,手上示范不多,但标注推理并不难(VQA、空间描述、bbox 都可以标,甚至可以半自动生成)。这篇直接改善你最难看的那个指标 —— OOD 成功率,而不是 ID 成功率。成本也不高:阶段 I 只训 LoRA,阶段 II 冻结它,比普通后训练只多一点点开销。
- 什么时候不抄:你连推理标注都没有,而且标不起 —— 这篇的第一阶段就没法跑;它测的是「有推理监督时怎么用」,不是「怎么产生推理监督」。另外它需要推理标注与动作对齐到同一个任务语义,跨任务搬运这套 LoRA 未必有效(论文里也没测)。还要留意那些 OOD 数字是在模拟 pick-and-place / 抽屉和两个真机任务上拿的,46.1 分的差距(DROID)不是在所有后训练场景都会出现。
- 一句话启发:先把「为什么这么做」训成锚,再冻住它去学「怎么做」 —— 顺序对了,鲁棒性才回得来。
五、BH-CBF:沿备份视野一直看到所有车停下(Xu、Sayed、Alrifaee,arXiv:2611.04957,cs.RO,2026-11-03,亚琛工业大学 / 联邦国防慕尼黑大学)
问题 多智能体强化学习(MARL)协调车流很有前途:跑得快,而且随车辆数扩展。但它不提供任何安全保证。控制屏障函数(CBF)本来能补上这个保证,可实践里有两个硬伤:一步 CBF 的优化在有控制界时会变得不可行;而且 CBF 常用的车体和道路几何是保守近似(胶囊体、圆盘对、凸包),于是要么撞、要么一路急刹 —— 后者虽然安全,但把通行效率也一起撞没了。
关键 idea / 方法骨架 BH-CBF(Backup-Horizon CBF)的思路是把安全评估的时间范围从「一步」拉到「一条备份轨迹」:沿这条轨迹一直往前看到所有车都停住为止,在轨迹的每个角点上都检查递归可行条件,并配一条 backup 策略保证确实能到得了已知安全集。两个关键工程点:几何用精确的车体轮廓和道路边界,不保守近似;由此导出的过滤器完全去中心化 —— 每辆车每步只需广播一次所有车的状态和路线,就能各自算出控制。论文还把 BH-CBF 用在 MARL 策略的整个生命周期上:预训练当奖励、部署当运行时过滤器、阶段三插进训练回路,让微调在没见过的地图上也保持无碰撞。
数据 / 数字 阶段 1(30 个预训练策略,不带过滤器):自己地图上 BH-CBF 策略碰撞 0.05±0.02 次/km,TTC 奖励 0.86±0.12、一步 CBF 奖励 0.71±0.06 —— 而且一步 CBF 奖励几乎没比 TTC 启发式强,说明增益来自备份视野而不是来自 CBF。未见地图上 BH-CBF 0.59,对照 1.27 / 1.61 —— 单靠学是学不出可迁移的安全的,这才需要运行时过滤器。阶段 2(60 次运行,10 个不安全源策略):无过滤器 1.39 碰撞/km;B-Frenet 1.22、A-Condition 0.61、B-Disk 0.47、B-SAT 0.38、B-Dual 0.25;B-Backup 0 碰撞但 14/60 次离开认证集、每百次 3.3 次 fallback;A-Split 0 但 4/60 离开、4.7 次 fallback;B-MPS 0 碰撞、0/60 离开,但fallback 高达每百次 65.7 次;BH-CBF 0 碰撞、0/60 离开认证集、fallback 每百次 3.3 次、每步 12.6 ms。集中式版本 A-Centralized 同样 0 碰撞,但要 80.6 ms —— 去中心化的 12.6 ms 是它 6.4 倍快。阶段 4 最抓人:115 km 记录交通、1,264 辆人驾车,中位行程时间 10.3 s 对人类 12.0 s(短 14%),停车比例 2.0% 对人类 13.8%,最小间距 RMS 1.22 m 对 1.40 m —— 全程零碰撞。但也要记一笔:RMS jerk 3.66 对人类 0.94,它比人 jerk 大三倍多,乘客会不舒服。
工程判断
- 什么时候抄:你在做多智能体 / 多车协同,策略本身已经很快了但没有保证。这篇给的是一条不用改策略的路:把过滤器挂在策略输出后面,每步广播一次状态即可,12.6 ms 在密集车流里站得住。更值钱的是它把过滤器用在了预训练奖励和微调回路里 —— 安全进了训练,而不是只在出口拦一下。
- 什么时候不抄:它不是通用 RL 安全层 —— 递归可行的推导依赖车辆动力学、转向和「能停住」这个前提,把它照搬到腿足机器人或机械臂上不成立。另外它需要精确几何(车辆轮廓、道路边界),你如果没有精确的碰撞几何,就退回保守近似,而这篇的核心贡献恰恰是「不近似」 —— 这一点抄不到,它就退化成普通一步 CBF。还有那个 jerk 3.66 的数字:如果你的验收标准里有乘坐舒适性,这篇不能直接抄。
- 一句话启发:「这一步安全」不等于「这条路安全」 —— 要保证,就一直往前看到所有车都停住为止。
六、ReflexArc:让反射在 10 ms 内到达电机,别等策略周期(Wang、Li、Chen、Wang、Yi,arXiv:2611.04424,cs.RO,2026-11-03,清华大学 / 银河通用 / 北京大学)
问题 人形机器人在杂乱环境里被撞一下,冲击力的峰值在几十毫秒内就到了。而现在流行的全身策略跑在 50 Hz —— 一个周期就是 20 ms,等策略算完,峰值已经过去了。更糟的是:策略会把「撤回」当成跟踪误差 —— 任务目标还让它站在原地,于是刚要躲的动作被压回去。人形硬件最怕这个。
关键 idea / 方法骨架 ARC(Ascending Reflex Control)把反射从策略里搬出来,做成一条自下而上的通路。反射通路:全身触觉检测危险接触 → 在线解一个整体撤回姿态 → 10 ms 内直接下发到电机,完全绕开策略周期。然后是整合部分,三个动作:reflex-in-the-loop 策略学习(让策略在训练时见过反射造成的那种状态分布,不然它一遇到就懵)、reflex-transparent 策略对齐(让策略知道有人在动它,别去对抗这个动作)、reflex-informed 策略适配(用反射带来的信息去调整策略)。
这个结构的好处是责任分得清:反射只负责「立刻缩回去」,而且必须是一个能执行的姿态,不是「应该躲开」的语义;策略负责「躲完之后怎么稳住、怎么把活干完」。
数据 / 数字 Unitree G1 真机,三类危险接触(撞静态障碍、被动态物体击、主动撞到运动中的人或机器人)。对照「完全相同但延迟 20 ms 的反射」:首个力峰值降低 34.1%,接触冲量从 0.2632 N·s 降到 0.1225 N·s(2.15×)。消融表最能说明问题:去掉 reflex-in-the-loop 训练后,策略根本没见过反射造成的状态分布 —— 存活率掉到 82.0%,接触冲量从 3.42 N·s 升到 4.34 N·s,而且 90.9% 的试验会再撞一次同一个障碍。也就是说:光有 10 ms 的反射通路不够,还得让上层策略学会「刚才是我自己躲了一下」这件事。另外还展示了受保护的运动跟踪、遥操作,以及完全不用视觉、只靠脚底触觉完成越障与爬台阶。
工程判断
- 什么时候抄:你有人形或有接触风险的全身策略,并且已经观察到「撞上去之后策略反而不躲」这个现象 —— 那基本就是这篇描述的病。抄的成本主要是硬件:需要全身触觉覆盖和一条绕开策略周期的直通通路(10 ms 不是训练能解决的,是布线能解决的)。收益也很直接:接触冲量减半意味着硬件寿命、关节减速器、夹爪都不会被这一次意外打废。
- 什么时候不抄:你的任务接触本来就是设计的一部分(装配、插拔、擦桌)—— 反射通路会跟任务动作打架,这篇是拿「意外接触」当前提的。没有全身触觉、只有关节力矩估计的话,检测延迟吃掉一大半 10 ms 预算,收益会打折。另外要清楚这篇的消融数字是任务级的:90.9% 再撞同一障碍是「被推的机器人」的设定,别推广成「所有意外接触」。
- 一句话启发:不是所有反应都该等策略 —— 需要在物理时间尺度上完成的动作,必须有一条不经过策略的通路。
七、落地思考 / 我的判断
六篇的统一潜台词:它们都在同一个位置补了一步 —— 两个环节之间那一步,之前没人管。
把这六篇排在一起,会发现它们改的不是不同模块,而是同一类位置:两个本来直接相连的东西之间,被默认「不用管」的那一段。
- DreamX 管的是帧 → 动作。以前大家以为「视频的时序信息就是动作」,其实是两回事;
- WISE 管的是想象 → 执行。以前大家以为「模型生成的未来就是会发生的事」,其实是提案;
- TNAS 管的是理由 → 动作。以前大家以为「理由没变就说明安全」,其实文本和动作在表征空间里几乎正交;
- RAFT 管的是预训练 → 动作监督。以前大家以为「动作监督越多越好」,其实是顺序错了;
- BH-CBF 管的是当前 → 未来。以前大家以为「一步满足就是保证」,其实是递归可行性才叫保证;
- ReflexArc 管的是触觉 → 电机。以前大家以为「策略能处理突发接触」,其实 50 Hz 就是来不及。
而这六篇最一致的一点,是它们都先量出了那个缝隙,再谈补。这一顺序本身比任何一篇的具体方法都更值得抄:52.6%、0.05 对 0.86 次/km、2.15×、75.0% 对 27.9%、0.17 对 0.38 —— 每一个数字都是「补之前那条缝到底有多宽」的测量结果。上一篇那个问题的答案到这里清楚了:「所有人都觉得理所当然要建的结构」之所以可疑,是因为它挡住的那道缝隙从来没人量过。量一量的成本极低 —— 52.6% 那篇一行部署代码都没改。
所以最值得先抄的是第三篇(TNAS)的那条结论,而不是任何一篇的方法。理由有三层。第一,成本最低:不需要重训、不需要新硬件,只要把监控对象从「理由文本」换成「动作通道」,这是一条规则。第二,结论最硬:154 个场景、52.6% 的静默碰撞,而且出在推理 VLA 这类正在被大量采用的架构上 —— 这条缝正在很多人身上开着。第三,它是可证伪的:按它的方法在自己的模型上跑一遍范数重叠度;若你的模型本来就紧耦合(没有可读理由、或理由直接由动作模板生成),这条缝根本不存在,你也不会白干。前提条件也很清楚:系统里得真的存在「人读理由做安全判断」这条工作流,否则这篇对你只是一条常识。
第二值得抄的是第五篇(BH-CBF)的思路,如果你做多智能体:把安全评估的时间范围从一步拉到一条备份轨迹的终点,这个改动听起来像技术细节,实际是「保证」这个词的定义变了。但它的前提更硬 —— 需要精确几何、需要车辆模型、jerk 会比人差三倍。
今天没解决的,比解决的更值得记一笔。这六个结构自己都有盲区,而且盲区都是被具体设计出来的:DreamX 评测的是动作回归与分类,接触密集任务它没测;WISE 在已经很高的基准上只多给 3.2 个点,而且底座一点没变;TNAS 的 52.6% 是攻击者最优引导下的可达上界,不是自然发生率;RAFT 只在两个真机任务上验证,而且要求你能标推理;BH-CBF 的 jerk 是人类的三倍多,「零碰撞」不等于「可乘坐」;ReflexArc 的 10 ms 建立在全身触觉的硬件成本上,没有触觉的机器抄不了。
于是上一期那个问题今天有了更具体的版本。上一篇问「有多少结构是那种只换来 0.03 AUROC 的」。今天六篇给的答案是:结构不一定是问题,缝隙才是。而且缝隙的识别成本低到惊人 —— 不需要新方法,只需要问一句「这两个本该一致的量,我核对过吗」。WISE 核对的正是「动作和它想象出的未来」,TNAS 核对的正是「理由和动作」,BH-CBF 核对的正是「这一步和这条路」。
所以下一层的问题摆在这里了:你的系统里,哪两个本该一致的量,其实从来没有被对齐检查过?这个问题不需要任何论文来回答,只需要在你现有的日志里挑两个量算一次差。而如果那个差值恰好不为零 —— 你可能刚找到今天这六篇里的一个。
| 论文 | 主题 | 补上了哪道缝隙 | 关键数字 |
|---|---|---|---|
| DreamX 2611.05377 | 可控视频生成 · 潜动作 | 帧与动作之间:可学习 query 把 1,200 个 frame token 收成 4 个潜动作 token,顶替 text conditioning 做重建 | 每帧压缩 300×(1,200→4 token);LARYBench 回归 MSE 0.17 对 DiLA 0.38 / MoTo 0.44,分类 69.67% 对 62.25%;零样本人→机器人迁移 FVD 57.44 对 AdaWorld 170.19 / VideoWorld2 241.92;真机抽屉 SR 96.7% 对 50.0%,延迟 1,474 ms 对 28,226 ms(19.1×) |
| WISE 2611.03585 | 世界模型 · 执行前选择 | 想象与执行之间:冻结底座,每步采 4 条,按动作有效性 / 逆动力学一致性 / 任务进度三分数选最高分 | RoboLab 6.0%→24.0%(同预算 Future Consensus 18.0、GeoBoN 20.0、Robometer 20.0,领先 4.0 点);LIBERO 75.1%→78.3%(Spatial 92.6→95.8、Object 88.2→93.0);episode 时长 3.4× / 3.5×;单组件消融 10.0 / 16.0 / 20.0 |
| Say the Same, Act Differently 2611.04166 | 安全 VLA · 监控失效 | 理由与动作之间:定位与文本梯度近乎正交的「文本中性动作子空间」,动作可变而文本不变 | 梯度范数重叠 1.87% / 5.28%(32–35 层最低 1.99%);154 场景静默碰撞 52.6%(整图) / 35.1%(局部 patch)对无引导 4.55%;逐字保留 83.0%→89.5%、文本漂移 −68.4%;InstructVLA 文本漂移 −40.5%、逐字 85.0%、动作位移 1.73 |
| RAFT 2611.04368 | 安全 VLA · 后训练顺序 | 推理与动作监督之间:阶段 I 只训 LoRA 学推理标注,阶段 II 冻住它再学动作 | 真机 DROID OOD 75.0% 对 plain FT 27.9%;双臂 YAM 70.0% 对最强基线 36.0%;模拟 pick-and-place 平均 83.21% 对 79.62%,Co-train 仅 63.21%;同一 LoRA 挂基座 48.30% / 阶段 II 继续训 73.96% / 冻结 83.21% |
| BH-CBF 2611.04957 | 安全 RL · 多智能体 | 当前安全与未来安全之间:沿备份视野评到所有车停下,精确几何 + 去中心化单次广播 | 自己地图碰撞 0.05±0.02 次/km 对 TTC 0.86±0.12、一步 CBF 0.71±0.06;未见地图 0.59 对 1.27 / 1.61;阶段 2 无过滤 1.39、B-Dual 0.25、B-MPS fallback 65.7、BH-CBF 0 碰撞且 0/60 离开认证集、12.6 ms;115 km / 1,264 辆人驾车,行程 10.3 s 对 12.0 s(−14%)、停车 2.0% 对 13.8%、jerk 3.66 对 0.94 |
| ReflexArc 2611.04424 | 安全人形 · 反应时延 | 触觉与电机之间:反射通路直连电机(10 ms),策略只负责稳住与恢复 | 对比延迟 20 ms 的同一反射:首个力峰值 −34.1%、接触冲量 0.2632 → 0.1225 N·s(2.15×);去掉 reflex-in-the-loop 后存活率 82.0%、冲量 3.42 → 4.34 N·s、90.9% 试验再撞同一障碍;50 Hz 策略周期 = 20 ms 延迟;脚底触觉无视觉越障 |
References
- Kim, Kim, Kim, Park, Kim, Hong, Son, Yang, Kim (2026). DreamX: Video Diffusion Model is a Universal Latent Action Learner. arXiv:2611.05377. cs.CV / cs.AI / cs.RO; submitted 2026-11-03; KAIST / NVIDIA; License: CC BY 4.0。项目页:cvlab-kaist.github.io/DreamX/
- Ahmed, Mostajabdaveh, Yazdani, Zhou (2026). Seeing Through the Illusion: Test-Time Scaling for World Action Models. arXiv:2611.03585. cs.RO; submitted 2026-11-02; Huawei Technologies Canada / 不列颠哥伦比亚大学; 已被 CoRL 2026 Workshop on From Generative Models to Robot Actions (G2A) 接收; License: CC BY 4.0。
- Feng, Zhang, Xia, Yu, Mao, Govindan (2026). Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs. arXiv:2611.04166. cs.LG / cs.CR / cs.CV / cs.RO; submitted 2026-11-03; 南加州大学 / 亚利桑那大学 / 通用汽车; 已被 NeurIPS 2026 接收(23 页,3 图 8 表); License: CC BY 4.0。
- Grover, Kolobov, Shah (2026). RAFT: Reasoning-Aligned Fine-Tuning Improves Robustness of VLA Post-Training. arXiv:2611.04368. cs.RO / cs.CV; submitted 2026-11-03; 普林斯顿大学 / 微软研究院; License: CC BY 4.0。项目页:princeton-prism.github.io/RAFT/; 代码:github.com/princeton-prism/RAFT
- Xu, Sayed, Alrifaee (2026). Safeguarding Multi-Agent Reinforcement Learning for Connected and Automated Vehicles with Recursively Feasible Control Barrier Functions. arXiv:2611.04957. cs.RO; submitted 2026-11-03; 亚琛工业大学 / 联邦国防慕尼黑大学; License: arXiv 默认分发许可(非 CC)。
- Wang, Li, Chen, Wang, Yi (2026). ReflexArc: Bottom-Up Integration of Instantaneous Tactile Reflexes into Whole-Body Humanoid Control. arXiv:2611.04424. cs.RO; submitted 2026-11-03; 清华大学 / 银河通用 / 北京大学; License: arXiv 默认分发许可(非 CC)。项目页:minusmodulo.github.io/reflexarc-website/
下一篇预告:今天六篇补的是「两个环节之间那一步」 —— 帧与动作、想象与执行、理由与动作、推理与动作、一步与未来、触觉与电机。共同点是先量出缝隙有多宽再谈补:52.6%、0.05 对 0.86 次/km、2.15×、75.0% 对 27.9%、0.17 对 0.38。下一层要处理的是「补上去的那一步本身归谁管」 —— 六篇里的中间层全都有自己的盲区(TNAS 只在两个模型上测、ReflexArc 依赖全身触觉硬件、BH-CBF 的 jerk 是人类三倍)。而如果那个「量缝隙」的动作本身也可能是错的呢?比如你量的是两个本不该一致的量,或者差值被噪声淹没 —— 这就是下一篇要处理的。