thinkism.ai

今日 6 篇 arXiv 速读:NimCritic 把进度变成可预测的稠密量、RepresentNav 在自建表征空间里做梦、UniAction 把异质动作压进视频模型的原生接口、联邦 VLA 里罕见的安全纠正会被均值吞掉、SEVI 让安全 critic 敢说「我不确定」、bf16 微调悄悄擦掉 79% 的更新

2026-10-27 · AI / 每日 arXiv / 稠密任务进度建模 · 自建表征空间的世界模型 · 统一动作条件 · 联邦 VLA 安全 · 证据式安全 RL · 数值格式静默失效 · 阅读时间 ≈ 19 分钟

昨天(10-26)那篇的落点是「改约定」——两个模块之间交换信息的那条通道该长什么样。今天要补的是更难受的一层:这些约定坏掉的时候,大多数不会报错。你不会看到 crash,不会看到 NaN,不会看到 loss 突然上翘。你只会看到「效果比预期差一点」,然后开始怀疑数据、怀疑方法、怀疑学习率。

今天的 6 篇横跨任务进度建模、导航世界模型、视频生成、联邦 VLA、安全 RL 和 VLA 训练工程六个领域,表面看毫不相干。但把它们动的位置摆出来会发现,它们改的都是同一类东西 —— 我们习以为常、因此从来不会去检查的那个约定:量的定义、观测的坐标系、控制的载体、聚合的目标、拒答的门槛、数值的格式。没有一篇在「换一个更大的模型」这一层。

下面这张图把 6 篇放到「改动落在哪一层 × 失效有多静默」两轴上。横轴从左到右是改动的落点:从「定义什么量」一路走到「改什么数值格式」;纵轴从上到下是故障的静默程度 —— 越往下,坏掉时你越不容易发现。

静默度 低 ↑ 高 ↓ 训练侧:定义量 · 表征 · 载体 部署侧:聚合 · 拦截 · 数值格式 ← 越往右,改动越靠近部署端;越往下,坏掉时越没有报错 → NimCritic 2610.32776 进度变成可预测量 RepresentNav 2610.31762 表征空间自己建 UniAction 2610.32977 动作压进原生位置编码 FederatedVLA 2610.32888 聚合别吞掉罕见干预 SEVI 2610.31829 证据不足也拦 bf16 master copy 2610.31859 一行配置换 45 个点
图 1 · 6 篇论文在「改动落点 × 失效静默程度」上的二维定位。蓝色=NimCritic(进度从稀疏标注变成可预测的稠密量)、紫色=RepresentNav(表征空间由策略自己构造)、绿色=UniAction(异质动作压进预训练视频模型的原生位置空间)、红色=联邦 VLA 安全(均值会吞掉罕见的安全纠正)、青色=SEVI(证据不足本身就是拦截理由)、橙色=bf16 master copy(79% 的更新被静默舍入)。右下方那一格是今天最该先看的位置 —— 越靠近数值细节,坏掉时越安静。

一、NimCritic(Xu、Zheng、Zhu、Ren、Fu、Wang、Zhong,arXiv:2610.32776,2026-10-23):把「任务进度」从稀疏标注变成一个可以被预测的连续量

问题:稠密、定量的任务进度反馈是长时程操作任务的三块地基 —— 数据清洗、策略评估、RL。但现在拿到进度的方式基本是稀疏关键帧 + 主观人工判断,这两个缺陷叠加起来就是:不可扩展、跨任务不一致,任务越长越糟。

关键 idea:action-aware quantification —— 一套统一的进度规格,两个部件。(1) 用 VLM 把长时程轨迹分解成 object-level 子任务,这一步解决「进度到底该怎么切」;(2) 给动作分配加权 credit(weighted action credits),用动作的贡献而不是时间戳来刻画细粒度的执行动态,这一步解决「同样的时间戳不等于同样的进度」。配套是 VLM 自动标注 + 人工校准的混合流程。

数据 / 数字:作者构建了 800+ 小时的训练视频数据集,以及 LOOM —— 一个长时程进度 benchmark,含 19,618 帧人工校准的评测帧。模型侧是 NimCritic,一个用 Joint Video-Progress Learning 训练的预测式进度 critic,外加两个补丁:Historical Progress Perturbation 用来压序列漂移,以及 contrastive Video-Progress Alignment —— 在两条不对称的 expert stream 之间互相接地「中间视觉动态」和「去噪后的进度轨迹」。结果是:在 VPB 和 LOOM 上匹配或超过 SOTA 的过程奖励模型(PRM);在 VPB 的 terminal success accuracy(TSA)上比 GVL(GPT-6-Sol)高约 65%;在 RoboArena 这个大规模策略评估 benchmark 上,以约 97% 的 overall recall 把人类选中的成功 rollout 检索出来。

为什么这条比「加个进度分类头」值钱:关键在「可预测」这三个字。进度一旦可预测,它就不再是一个标注产物,而是一个可以在线使用的信号:可以提前预测任务会不会失败、可以做 credit assignment、可以当 RL 的稠密奖励、可以直接当策略评估器用。LOOM 的 19,618 帧和 97% recall 说明它不是只能看个大概的仪表盘。

工程判断:

二、RepresentNav(Chen、Wang、Yang 等 15 位作者,arXiv:2610.31762,2026-10-22):表征不该由别人预训练时的目标决定,所以让策略自己造一个空间再在里面做梦

问题:一个导航策略应该「看」什么?现在的通行做法是把表征设计外包给视觉基础模型的预训练目标 —— 你拿一个 ViT / CLIP / DINO,它当初预训练时关心什么(比如图文对齐),你的策略就只好关心什么。这不是一个 bug,而是一个没人主动选择的默认设定。

关键 idea:Representation Residuals —— 一个紧凑的三层 transformer,去 attend 跨越多个互补视觉基础模型全深度的特征层,用策略自己的目标构造出一个表征空间(self-constructed representation space)。论文的观察很有意思:在这个空间里,模型学会不均匀地给不同 encoder 的不同层加权 —— 而不是像拼接那样把每一层都平等对待。第二个关键设计在同一个空间里做梦:每个动作之前,一条 latent chain-of-thought 预测「一秒后场景的表征」。这个梦用 JEPA 端到端训练(next-representation prediction loss + 一个 target regularizer),和策略共用一个坐标系。

数据 / 数字:在 VLNVerse、VLN-CE R2R、EVT-Bench 和两个 point-goal benchmark 上都是 SOTA,并且在真实机器人(杂乱环境 + 走动的人)上保留了增益。**VLNVerse fine-grained 成功率 83.80%,比之前 SOTA 高 20.05 个百分点**;EVT-Bench 的 distracted tracking 单相机 85.5%(+10.1)。同样 encoder 下,自建空间明显优于把它们的输出直接拼接;而「梦里」的世界模型把碰撞减少四分之一。最抓眼的一条:单个 dreamed latent 能解码出下一秒的深度、语义和 3D occupancy,而且比「用预训练 encoder 处理真实未来帧」还准 —— 而 occupancy 从来没有被监督过。加上 rollout 能跟踪机器人自己接下来一秒的运动,论文的结论是:「梦」涌现成了一个紧凑的潜空间世界模型。

工程判断:

三、UniAction(Xue、Li、Yu、Wu,arXiv:2610.32977,cs.CV,2026-10-23):不新开条件通道,把异质动作压进预训练视频模型本来就有的位置空间

问题:条件世界模型的动作是高度异质的 —— 相机轨迹、手部姿态、机器人关节、力。于是每类动作训一个模型,把本来就稀缺的动作标注数据进一步切碎。数据不够的根因常常不在数据量,而在格式不统一导致无法合并。

关键 idea:把任何动作表示成稀疏的一组 action elements,每个 element 带两样东西:(a) 离散的语义身份(这到底是什么动作:相机平移 / 手部捏合 / 关节角)、(b) 连续的时空 grounding 坐标(它作用在哪、什么时候作用)。真正关键的一步是:把这些坐标直接映射进预训练视频模型的原生位置空间 —— 也就是说,不新开一条条件通道,而是复用模型本来就有的时空位置编码。异质动作因此能在同一个时空结构里条件同一个世界模型。第二个机制是 cardinality-calibrated attention,专门处理「不同动作的表示粒度不同」带来的偏置:一个动作 3 个 element、另一个 60 个,直接做注意力,数量多的那个会天然主导。

数据 / 数字:在四种动作形式 —— force、camera control、hand pose、robot pose —— 上 action following 均优于其他条件化方式;最关键的一条是一个联合训练的模型超过所有 action-specific expert,也就是说异质动作数据确实从「联合训练」里获益了。诚实说一句:摘要没给具体百分比,分项数字得查全文表格 —— 这类「框架 + 多基准」的论文通常把数字放在附录,工程上建议先在自己的动作分布上跑一遍。

工程判断:

四、联邦 VLA 安全(Subbaraju、Zaland、Bhuyan,arXiv:2610.32888,SPAIS workshop @ CoRL 2026,CC BY 4.0):均值会吞掉那个罕见的安全纠正

问题:VLA 策略可以从本地的人类干预中适配;联邦学习可以在不汇聚原始数据的前提下合并分布式的机器人经验。两者的前瞻性交集是:把「由人类纠正产生的适配」跨任务、跨环境、跨人、跨机型共享。

核心风险(论文给的是反例,不是实验):纠正之间差异极大 —— 模态不同、安全语义不同(紧急程度、行为作用域)、隐私敏感度不同。于是出现了这句话:「一个提升了平均任务成功率的共享更新,可能压制掉一个罕见的安全干预,或者在另一台机器人上产生不安全响应。」机制很朴素:罕见事件在平均值里的权重趋近于零,于是被优化掉 —— 而且优化器干得非常「成功」,你的 loss 曲线会很漂亮。

论文提的三条要求:(1) 决定「什么要共享」时,必须保留多模态纠正的上下文与不确定性,不能只共享一个压缩后的梯度;(2) 候选更新要在每个接收方机器人自己的闭环里评估之后再部署,不能拿源端的指标当验收;(3) 评估泄漏的同时,必须评估「安全关键证据的留存」。另外一条容易漏掉的:人机交互过程中,即时、可读的防御行为仍然必要 —— 不能因为「这条纠正要拿去共享/聚合」就延迟现场响应。

必须说清楚这篇的性质:这是立场论文(19 KB),论文自己写明「提供的是反例和一个可证伪的评估议程,不是实验结果」。所以它给不了你「我们做到了 X%」这种数字,但它给了一份可以今天就拿去改设计文档的清单。

工程判断:

五、SEVI(Shithil、Liu,arXiv:2610.31829,RA-L 2026):安全 critic 最有用的输出可能不是「危险」,而是「我不确定」

问题:真机 RL 已经能在接触丰富的操作任务上直接学,但在线学习过程中的不安全交互仍然是落地的头号障碍。

关键 idea:Evidential Safety Critic —— 一次前向同时估计两样东西:(a) 未来的约束违反风险、(b) 认知不确定性(epistemic uncertainty)。第二个输出是这篇真正的差异点:拦截的触发条件不是「风险高」,而是「风险高 或 证据不足」。执行流程上,每个任务策略动作在真正执行前被评估一次;若判定不安全、或预测缺乏证据支撑,SEVI 就用离线训练的 recovery policy 覆盖这个动作,把机器人导向更低风险的区域。

数据 / 数字:两个仿真操作任务 + 一个真机 USB 插入任务,覆盖分布内与分布偏移两种条件。相对 task-learning 和 safety-critic 两类基线,SEVI 同时拿到最强的轨迹级安全预测、最高的任务成功、最少的不安全事件计数;具体地,相对 recovery-based safe RL 把不安全事件减少了 13.4% 到 57.1%,同时保持低延迟的执行期过滤(所以能挂在在线循环里,而不是事后审计)。

任务策略 π 给出动作 a_t Evidential Safety Critic 单次前向同时输出: · 未来约束违反风险 r · 认知不确定性 u 判定 r 超阈值? 或 证据不足? 放行 执行 π 的动作 覆盖 recovery policy 回退 导向低风险区域 关键差异:「证据不足」是与「风险高」并列的第二个拦截理由 普通 risk critic 只输出一个标量;SEVI 输出风险 + 「我有多确定」,后者才决定该不该在证据薄弱处也停下
图 2 · SEVI 的执行期结构。critic 一次前向给出风险与认知不确定性,任一条件成立就由离线训练的 recovery policy 覆盖动作,把机器人导向低风险区。图中为依据论文方法描述绘制的示意图,非论文原图。

工程判断:

六、bf16 master copy(Singh,arXiv:2610.31859,2026-10-22):不是方法问题,是数值格式问题 —— 而且一行配置就能修

问题:当 VLA 用 bf16 存可训练权重、并且没有 fp32 master copy 时,AdamW 会把更新直接写进 bf16,任何小于权重 1/512 的更新被静默舍入掉。没有报错,没有 NaN —— 更新就是没了。

数据 / 数字:12 个开源 VLA 代码库里有 9 个的默认或文档化 recipe 是这么训的,其中 4 个是全权重矩阵训练,包括 LeRobot 的 SmolVLA 默认配置以及它的 π0/π0.5 指南。LIBERO 实验里每 100 步探针一次权重差分,发现至少 79% 的更新被抹掉。HF Hub 上的抽样:99% 的全权重 SmolVLA 微调把 action expert 存成 bf16,84% 近期 π0.5 微调的训练配置设了 bf16 标志。效果差距在 LIBERO-Object 上(规则提前固定):SmolVLA 成功率 4.3% → 49.3%,π0.5 5.1% → 80.9%(学习率是默认的 1/10,两者本来都欠训);π0.5 在默认学习率下 89.0% → 97.7%。SmolVLA 默认学习率下,开环 50 动作 chunk 时 +10.2 点,而每 10 动作重规划时只 +4.2 点。在 5 组对比和 2 组「SmolVLA 全 bf16」的对比中,每一组带 fp32 copy 的都赢过不带的(p < 0.05),除 8.7 点和 4.2 点那两组外,其余差距都超过 10 点门槛。

修复:训练时把可训练权重保持在 fp32 —— 对 LeRobot 里的 SmolVLA 来说,是一行改动。

工程判断:

七、六线共振:今天这 6 篇真正的共同点是「失效时不报错」

先接上这条主线:10-15「显式锚点」→ 10-16「显式中转层」→ 10-17「显式可插拔接口」→ 10-18「显式可替换部件」→ 10-19「显式分层」→ 10-23「先测量失效边界」→ 10-26「改约定(接口该长什么样)」→ 今天(10-27)「约定坏掉时是静默的」。

前面那些天都在讲怎么把隐式的东西拆成显式的部件。今天补的这一格是:你怎么知道你拆对了 —— 不,更准确地说是,「拆错了你也看不见」。逐篇对一下就会发现这个模式非常整齐:

把这 6 条抽成一句话:「这 6 篇里有 5 篇的故障表现,都是你指标上的一个小幅下滑,而不是一个报错。」这跟 10-26 讲的「改约定」是同一件事的两面 —— 10-26 说约定该长什么样,今天说的是你为什么一直没发现它不对。工程上的推论很直接:在加新方法之前,先给自己每个环节配一个「静默失效探针」。

具体到探针该长什么样,我按这 6 篇各给一条:

八、落地思考 / 我的判断

论文 主题 改的是哪一层 关键数字 最小可行动作
NimCritic
2610.32776
在线任务进度识别量的定义:稀疏标注 → 带动作 credit 的可预测稠密量VPB 上 TSA 超 GVL(GPT-6-Sol)约 65%;RoboArena 约 97% overall recall;800+ 小时数据 / 19,618 帧校准进度从 0/1 完成度换成 object-level 子任务加权进度
RepresentNav
2610.31762
世界模型坐标系:表征由策略自己的目标构造,而非 encoder 的预训练目标VLNVerse fine-grained 83.80%(+20.05pp);EVT-Bench 85.5%(+10.1);梦让碰撞减少 1/4三层 attention over 多 encoder 全深度特征,自建表征空间
UniAction
2610.32977
控制式生成载体:异质动作 → 稀疏 action elements → 视频模型原生位置空间force / camera / hand / robot pose 四类均优于其他条件化;联合模型超过各领域专家统一 action element 格式 + cardinality-calibrated attention
Federated VLA 安全
2610.32888
safe VLA聚合目标:均值不能吞掉罕见的安全纠正立场论文,无实验;给出三条要求 + 可证伪评估议程汇报口径加「安全纠正留存率」和「泄漏率」两个指标
SEVI
2610.31829
safe RL拒答门槛:「证据不足」与「风险高」并列作为拦截理由不安全事件相对 recovery-based safe RL 减少 13.4%–57.1%;真机 USB 插入单次前向 critic 同时输出风险 + 不确定性,不确定就 fallback
bf16 master copy
2610.31859
VLA 训练工程数值格式:更新有没有真的落盘12 个代码库 9 个中招;≥79% 更新被抹掉;SmolVLA 4.3%→49.3%;π₀.₅ 5.1%→80.9%训练时把可训练权重保持在 fp32(LeRobot 一行)

References

另有一篇同批次值得跟读:UniWorld: A Unified World Model for Real-Time Visual World Simulation(Zhang、Chen、Wang 等,arXiv:2610.32381,2026-10-23)—— 把深度轨迹与参考外观放在同一条时间轴上,靠 noise-aligned overlapping continuation 只提交新生成的 latent、rolling depth latent state 保住几何控制,缓存与增量执行输出逐位相同,稳态 DiT 路径达到实时吞吐。它和 UniAction 放在一起看很有意思:两篇都在做「把异质的东西塞进一个已有模型的原生接口」,一篇塞动作、一篇塞几何。

下一篇预告:今天把「约定坏掉时是静默的」这层补上了。接下来想正面处理那个更难的问题 —— 静默失效的探针到底该怎么设计,以及什么时候该信它。一个探针本身也可能是坏的:比如用稠密进度去测标注质量,却没意识到「稠密」这个假设正是你要检验的东西。