thinkism.ai

让世界模型的内部状态说人话:Inside-JEPA 的关系接地实验

2026-10-25 · AI / 世界模型 / 潜空间表征 · 阅读时间 ≈ 9 分钟

JEPA 系世界模型有个众所周知的尴尬:它能规划,但没人知道它在想什么。探针能从一个训练好的潜在状态里读出"杯子在碗里",但状态的任何一部分都没有被分配去承载这个关系——所以你没法用关系去写目标,也没法用关系去陈述模型的信念。Inside-JEPA(Adelaide University AIML,2026)做了一件我很少见到的工作:它不是提出一个新架构,而是用受控实验去回答"潜状态里的关系通道到底能不能落地、靠什么落地"。

结论有点反直觉,也很有工程价值。

五个消融臂:PRED、INV-S、INV-Z、INV-R、INV-SHUF,只在逆动力学头的接入位置上不同
图 1 ·(论文 Figure 2)五个实验臂,一个变量。五个模型共享编码器、预测器、数据、预算和损失权重,只在"逆动力学头读什么、以及梯度从哪进入状态"上不同。PRED 没有逆动力学头。来自 Inside-JEPA: From Prediction to Relational Grounding in Latent World Models,Hossein Resani、Javen Qinfeng Shi(Australian Institute for Machine Learning, Adelaide University / Responsible AI Research Centre),2026,CC BY 4.0。

一、问题:状态是隐变量,不是符号

先把问题摆清楚。JEPA 这类模型预测的是目标编码器的嵌入而不是像素,它的取舍是"忽略不可预测的、保留对行动重要的"。这让规划极其高效,但也让状态变成一坨不透明的向量。

论文里有个说法我觉得很准:探针能读出关系,不代表模型"拥有"关系。区别在于语义接地——如果状态里没有任何一部分被承诺去表示"在……里面",那你既不能用这个关系写目标,也不能用这个关系陈述模型的信念。而关系(物体之间的几何谓词)恰恰是人和机器沟通的自然词汇。

直接补救办法是把关系写进状态:对每个有序实体对,放进一组软符号向量(论文叫 relational channels,关系通道),让预测器像处理潜状态其余部分一样消费和预测它们。关键设计是——这些通道只用世界模型自己的目标来训练,完全不用关系标注。这和"用监督头从表征里读谓词"的神经符号流水线有本质区别。

但这里立刻冒出一个符号接地问题:潜预测目标里没有任何东西规定这些通道应该表示什么。预测器用一个静态码、一个乱变的码,和用一个真的编码关系的码,对它来说没有区别。

二、方法:只加一项损失

Inside-JEPA 的改动极小:在 JEPA 目标上加一项逆动力学损失——一个头必须从关系通道(变化前和变化后)里恢复出动作。

这个设计的精妙之处在于梯度路径。如果逆动力学头只读实体潜变量,那动作可以被解码得很准,但通道照样不落地;只有当头必须读通道、并且梯度从通道回传时,动作标签才被迫去解释"关系通道怎么变"。这正是符号接地在真实视频世界模型里的一个干净实例。

INV-S 相对 PRED 的逐关系 AUROC 增益,覆盖标注框、跟踪物体、冻结 V-JEPA 2 编码器和 RH20T 机器人片段多种设置
图 2 ·(论文 Figure 8)INV-S 相对 PRED 的逐关系匹配 AUROC 增益。列覆盖:40/65/全部 174 个模板上的标注框、跟踪物体、冻结 V-JEPA 2 编码器,以及 RH20T 机器人片段;空白格表示该设置未评估此关系。来自论文,CC BY 4.0。

三、关键数字

论文用了非常严格的评测协议,值得先说一句:每个关系用匈牙利匹配只配一个通道,并且每个模型都要额外和"随机初始化的关系头"比分——后者看到完全相同的框几何信息。这一条是为了防止"后验匹配总能找出并不存在的意义"。

3.1 纯预测不落地,逆动力学才落地

在 Something-Something V2 上:

设置 INV-S 相对 PRED 的匹配关系 AUROC 增益
标注框,10 个设置+.065 ~ +.103
RH20T 机器人片段(留出任务)+.081
现成检测+跟踪物体,5 个关系+.050 ~ +.061
跟踪物体 + 13 个关系 / 冻结 V-JEPA 2 编码器+.016 ~ +.042(最小)
Figure 4 全部 18 个设置增益全部为正

最狠的一句在正文里:纯潜预测的表现"不比随机关系头更好"。也就是说,如果不加逆动力学,你从 JEPA 状态里探出来的关系语义,很可能大部分是探针自己拟合出来的,而不是模型内部真的编码了。这对整个"用探针解释世界模型"的做法是一个警告。

3.2 什么在起作用,什么不起作用

这是我认为全文最有价值的部分,因为作者花了大量篇幅做否证:

翻译成工程语言:接地需要"通道自己必须去解释的正确动作标签",而且需要成千上万个。不是"有一点监督总比没有好"——在这个机制里,错误的标签不是弱监督,是反向监督。

3.3 落地之后能干什么

两个用途都有数字支撑:

跟踪物体场景下,预测的动作效应达到标注框场景的 86%——意味着你不一定需要精确标注框才能拿到大部分好处。

3.4 接地的边界在哪

作者诚实地列了失败的地方,这部分反而最有信息量:

四、我的判断

这篇论文真正的价值不在方法,在方法论。

  1. 它给"探针解释世界模型"这条流行路线泼了一盆必要的冷水。如果你打算用线性探针从 JEPA 状态里读出关系来证明"模型内部编码了物理关系",请先做 Inside-JEPA 的对照:加一个随机关系头的基线。成本极低,但能挡掉大部分自欺欺人。
  2. "必须读通道"这个约束是通用的接地技巧。把辅助任务的输入强行限定为目标通道,是让辅助损失真正塑造表征而不是绕过它的标准做法。这个模式可以直接搬到你的项目里:想验证某个潜变量真的有语义,就让一个辅助头只能读它。
  3. 负结果比正结果更值得抄。标签要 100% 正确、要成千上万、5% 不行、25% 差一点不行——这些数字换算成工程语言是:你的动作标注质量决定了关系语义的落地质量,没有中间态。有脏标注的团队要清醒。

要留意的局限:

一句话总结:Inside-JEPA 证明了世界模型里的符号接地是可以在真实视频上被可靠测量的,并给出了一把相当锋利的尺子——加一个随机头做对照。带着这把尺子去测你自己的模型,大概会发现一些不太舒服但很有价值的事实。


参考资料