视频扩散模型的物理藏在哪:内部能读出 81.27% 却用不出来 —— The Invisible Hand of Physics 与两篇同期工作拆解
上一篇(11-07 的每日速读)六篇各自为战,讲的是「谁来校准那把尺子」。今天这篇不一样 —— 它是一个专题:主论文一篇,再加两篇同期工作,串成一条线一起看。
这条线的名字是「视频扩散模型内部到底有没有物理」。现在的视频生成模型(Sora、Veo、Wan 一类)画面逼真、时序连贯,于是被当成候选世界模型卖给机器人和规划这条线。但有一个问题一直没被正面回答:这些模型是真的内化了物理规律,还是只是把训练数据里的运动模式复述了一遍?更反直觉的是最近三篇给出的答案:物理量确实在里面,而且强得能打败专门的表征学习模型 —— 可生成过程根本没用它。
三篇正好覆盖这条谱系的三个连续问题:有没有(主论文)→ 在哪(第二篇)→ 为什么用不上(第三篇)。
下面这张图是我给这三篇定的位。横轴是物理信号能被用到什么程度,纵轴是要动多少东西才能用到它。
图上最值得看的是那条对角线:越往右,能用的程度越高,代价也越大。主论文停在最左下角 —— 它一个字节都不改模型,纯分析,却拿到了最硬的那个结论(81.27% 对 71.36%)。第三篇在最右上角,它真的改出了结果(VideoPhy 物理常识 29.45 抬到 39.94),但代价是改 RoPE 位置编码、再用 LoRA 重训。中间那篇最特别:它既把物理量定位到了具体的 token 和具体的去噪阶段,又顺手证明了这些探针方向可以直接当 steering 向量去改输出 —— 它站在两件事的中间。
一、The Invisible Hand of Physics:视频扩散模型内部有物理,而且强过专门的表征模型(Esmati、Nath 等,arXiv:2606.05328,cs.GR,2026-06-03,布里斯托大学 / 麦吉尔大学 · Mila / 微软研究院 / 卡尔加里大学)
问题 现在的视频扩散模型被当成候选世界模型,但没有人正面问过:它们内部到底有没有编码物理结构,还是只复述了训练数据里的运动模式。视觉逼真并不需要模型知道「重力下加速度恒定」「碰撞动量守恒」—— 只要生成的轨迹在统计上像训练时见过的就够了。而且它们跑在一个纯为重建训练的 VAE latent 里,既没有显式的预测目标,也没有已知的物理基底。这篇要问的就是:换成生成目标训练出来的模型,物理会不会自己长出来。
关键 idea / 方法骨架 三步。第一步是最关键的技术点:把确定性采样反着跑。flow matching 模型的生成是一个 ODE:模型学到的速度场 vθ 把噪声搬向数据。正常采样只能从噪声往前走,走完就消失了;而这篇从干净视频的 latent 出发,反向积分这个速度场,一路积分回噪声,把中间状态和注意力图全记下来。这样拿到的状态就落在模型真实的生成轨迹上。
这一点是全文的技术命门:同期还有一篇工作(Tang 等,2026)在 CogVideoX-2B 的中间特征里看到了类似的物理线索,但用的是直接往干净 latent 上加噪。可确定性采样器下每个干净视频只从一个噪声样本、沿一条轨迹到达,随机扰动(尤其高噪声时)会把探测状态甩出这条路径。这篇自己证明了这件事:反向积分的步数从 100 降到 20,重建视频看着还很像,但探测准确率从 0.82 崩到 0.57,接近随机。附录里还给了局部误差与全局误差的界,说明「恢复出来的内部表示到底有多真」。
第二步是网格探测:在每个 transformer block、每个噪声水平上取激活,训一个线性探针区分物理合理与不合理的视频。第三步是块级噪声干预:对每个 block 独立加噪,用 probe-surprise 的偏移量 Δb 衡量「破坏这个块,物理信号掉多少」,以此定位因果块。
数据 / 数字 三个骨干覆盖三个架构家族:WAN-1.3B、CogVideoX-2B、LTX-2B。两个基准是成对的合理/不合理视频、走 violation-of-expectation 范式:IntPhys 和 InfLevel;另外还报了 IntPhys 2 与 Kang 等(2025)的抛球数据集。对照组是四个专门的表征编码器:V-JEPA 2(ViT-L / ViT-g) 与 VideoMAE(Large / Giant)。
核心数字:在两个基准全类别平均上,WAN-1.3B 拿到 81.27%,V-JEPA 2 ViT-L 是 71.36%,三个扩散模型全部超过四个表征编码器(5 个种子的误差棒)。这里用的是逐视频单独分类,比成对比较难得多。进一步地,用线性回归从单个 block 的激活预测抛球的初始位置 x₀ 与初始速度 v₀:所有模型 x₀ 的 R² ≥ 0.99,扩散模型 v₀ 的 R² 在 0.88 到 0.99,与 V-JEPA 2 和 VideoMAE-Large 相当。所以模型里存的不只是「像不像物理」,而是物理参数本身。
另外三个反直觉的发现。其一,VAE latent 输入里根本没有这个信号,它是去噪 transformer 内部才长出来的。其二,最好解码的块 ≠ 因果上最关键的块:对 WAN 的 30 个 block 在 180 个合理场景上做块级干预,因果敏感度分布在深度上,早期层(block 0–8)最强、峰值在 block 3–5,而线性可读性峰值却在中间层。其三,探测准确率随 DiT 的隐层维度单调下降,而且跟参数量无关:WAN-1.3B 既是最小的也是最压缩的,却拿到最高准确率 —— 同一个属性既给了它最干净的二元物理信号,也限制了它能读多细的参数。
工程判断
- 什么时候抄:你要回答「这个视频生成模型是学了个运动模式还是真存了物理」,或者你打算把生成模型当世界模型用之前想先量一量。抄的动作分三步:①沿模型自己的速度场反向积分拿轨迹(flow matching 视频模型直接可用);②在 block × 噪声水平的网格上训线性探针,别只挑中间层;③用块级噪声干预区分「读得出来」和「因果上重要」——这两件事在本文里结论相反,只做前者会得出错误结论。附带一个副产品:这套轨迹访问方式让你能拿到任意真实视频的中间激活和注意力图,这本身就是个好工具。
- 什么时候不抄:三个前提。第一个是采样器:整套方法建立在确定性 ODE 采样上,DDPM 这类随机采样器没有唯一的反向轨迹,「反着跑」不再是良定义的。第二个是标签:探针需要成对的合理/不合理视频,IntPhys、InfLevel 这类基准不能自己造。第三个是结论边界:x₀ 能回归到 R²≥0.99 只说明参数被存下来了,不说明生成时会用 —— 主论文自己就把「有物理」和「会物理」分开了,别把前者当后者卖。
- 一句话启发:「生成模型不是没有物理,是有物理却不会用 —— 而且它不用不是因为藏得深,是因为你看的位置不对:得反着跑它自己的速度场,才能看到它在路上算出了什么。」
二、Does Physics Live in the Activations?:物理量具体住在哪个 token、哪一层、哪个去噪阶段(Kneifl、Skalski、Twardowski、Deja,arXiv:2610.03154,cs.CV,2026-10-02,IDEAS 研究院(华沙) / 巴塞罗那自治大学 / 华沙理工大学)
问题 这篇跟主论文问的是同一件事,但问得更细:别只告诉我「有物理」,告诉我物理住在哪。它把探针目标从「合理 / 不合理」这个二元判断,升级成一组模拟器给出的连续物理真值——运动学(速度、方向、动量、动能、质量、半径)、刚体动力学(接近角、总动量、总动能、总质量)、抛体(重力、发射角、初速、半径)再加上一批随时间变化的量。
关键 idea / 方法骨架 方法上最扎实的是对照组的构造。作者不满足于「探针读出了物理量」,而是每次都同时跑一个匹配基线:从模型自己的 noised latent(拼上条件 latent)里解同一个目标,用同样的 token 池化、同样的估计量。两者的差别只在「从哪儿算」——一个是 denoising transformer 的残差流,一个是模型的输入。这样才敢说「物理是过程中被造出来的,不是输入自带的」。
协议上也很严谨:探针是标准化特征上的岭回归,标准化统计量与惩罚项只在训练折上拟合;5 折交叉验证按视频划分,同一支视频的任何一帧都不进训练;噪声水平用 noised latent 的 σ(dB) 报告,因此跨不同噪声调度可比。还有一条置换零假设:把目标跨视频打乱后重拟合,R² 全程在随机水平(平均 -0.056)—— 这一步专门用来挡「探针只是记住了场景相关性」的质疑。
读出方式做了两个对照:global(全 token 池化)和 ROI(以物体在 latent 上的模拟器位置为中心、半径取物体投影尺寸 1.5 倍的圆盘)。两者维度与估计量完全一致,只差哪些 token 进入平均。模型是 Wan 2.1、CogVideoX-1.5、Open-Sora 2.0。
数据 / 数字 最有冲击力的一组:在最大噪声水平(-40 dB),模型输入已经完全无信息(匹配基线在所有物理量上都是随机水平),但残差流依然能精确解出基础运动学。这直接说明物理表示是在去噪过程中被主动构造出来的,而不是从脏输入里继承的。
然后物理量分成两类。第一类是滚动类(速度、方向、动量、质量、半径):干净 latent 本来就带着这些信息,所以模型相对基线的优势随去噪推进逐渐缩小。第二类是干净 latent 几乎不带信息的——重力、发射角、接近角:模型的优势一直保持,即使在测到的最干净输入下,gravity 和 launch angle 仍比基线高 +0.40 到 +0.69;接近角在 Wan 高 +0.47、CogVideoX 高 +0.30,但 Open-Sora 压根读不出来(-0.05)。
三条定位结论。深度上:物理量在最初几个 transformer block 就已可读,一直保留到输出层,峰值在早中层。去噪时间线上:Wan 和 CogVideoX 在输入还很脏的时候就把这些量建出来(峰值早),Open-Sora 要到扩散中段才升起来 —— 同为 DiT,差别全在训练配方上。空间上:以物体为中心的圆盘只占 1–2% 的 token,却稳定优于 global 读出,比单个中心 token 还高 0.04 到 0.09 的 R²;半径扫描显示 1.5 倍物体尺寸处收益饱和。两个「诱饵」对照(一个钉在物体首帧镜像位置、一个跟着物体轨迹走)说明信号绑在物体所在位置,不是 token 数量或轨迹相关性的副产品。
时间上的定位则是「有梯度」而不是「严格」。弹性碰撞让每个物体恰好有两个速度(接触前、接触后),作者把每个 token-frame 按相位打标再交叉读:用碰撞前的帧读碰撞后的速度、用碰撞后的帧读碰撞前的速度。结果是自己相位的读数最强,但信息会向前泄漏——碰撞前的帧仍保留大量碰撞后速度的信息,反向则弱得多:前向保留比例在 Wan / CogVideoX / Open-Sora 上分别是 80%、57%、51%,反向是 67%、51%、10%。而两个相位本身几乎独立(r = 0.22),排除了「泄漏只是相关性」这种解释。
再往上一层,速度与重力加速度是位置的一阶、二阶导数,单帧里本来就不该有。作者于是探测四种单帧表示:原始像素帧、noised latent、干净 latent、以及对应的激活。像素帧在随机水平;干净 latent 因为时间压缩(一个 latent 帧压约 4 个真实帧,CogVideoX-1.5 压 8 个)而带一点信息;但激活多得多——重力这个量,干净 latent 只有 R² 0.07 到 0.12,对应激活是 0.41 到 0.81。这说明 transformer 的跨帧聚合是实打实发生的,不是压缩的副产品。
泛化那组数字值得单独抄下来。把探针直接用到分布外的场景(换背景 / 换形状 / 换视角),ROI 读出基本还活着(Wan 背景变化下目标交叉验证 R² 中位数 0.99,直接迁移后 0.58,重标定后 0.88),而 global 读出直接崩到 -288(R² 为负)。最后,在全分辨率激活空间拟合的探针方向可以直接当 steering 向量改变模型输出:滚动速度翻转率 0.35、碰撞总动量 0.31。
工程判断
- 什么时候抄:你要回答的不再是「有没有物理」,而是「这个模型内部有没有可用的连续物理量」——比如你想知道模型认为球的速度是多少、动量往哪走。判据很具体:模型是 VAE latent + DiT,而且你手上有物理真值(模拟器输出或标注)。抄的动作:①沿去噪轨迹存激活(注意别直接加噪);②global 与 ROI 两个读出必须都做——这是信息量最大、最容易被略过的对照;③加置换零假设,三行代码,挡掉「探针只是记住了场景」;④顺带试一下把探针方向当 steering 向量。
- 什么时候不抄:三个前提。第一个是必须有物理真值——本文全部真值来自模拟器(滚动、弹性碰撞、抛射),你的任务如果没有模拟器就没有 ground truth,整套方法直接失效,不是效果打折的问题。第二个是模型差异不可外推:Open-Sora 连接近角都读不出来(-0.05),而且它的物理量要到扩散中段才出现;「DiT 内部有物理」这句话在三个模型上并不同样成立。第三个是ROI 优势依赖物体位置已知:真实场景里你得先做检测/分割,定位误差会直接吃掉那 0.04–0.09 的 R² 优势 —— 这也是本文所有实验都在模拟器上的原因。
- 一句话启发:「物理量不住在输入里,住在去噪过程造出来的那几个 token 上 —— 读的时候只读物体附近那 1–2% 的 token,比读全部反而更准;分布外一换背景,全局读出的 R² 会从 0.99 掉到 -288。」
三、Why Do Video Diffusion Models Violate Physics?:不是不懂,是注意力在前 5 步就把位置锁死了(Li、Wang、Yuan、Wang,arXiv:2609.23658,cs.CV,2026-09-20,北京邮电大学)
问题 前两篇都在说「模型内部有物理」,这篇追问的是反面:既然有,为什么生成出来还违反物理。已有的修法大多靠外部先验、改写提示词或加专门数据,论文认为这些要么难扩展、要么没治到根上,于是把镜头转到模型内部,提出第一个针对文生视频扩散「运动规划」过程的可解释性研究。
关键 idea / 方法骨架 先要把「运动规划」定义清楚:采样一个视频,模型要做两件事——把条件里的语义引入 latent,以及把语义分配到不同帧、决定物体在每帧的位置,同时尽量保持帧间连贯。前者靠 cross-attention,后者靠 self-attention。
在 cross-attention 这边,他们看 layer 15 的注意力图怎么随去噪步演化,发现早期每一帧存在多个候选区域,约在第 5 步(总共 50 步)收敛成确定形状;归一化熵与轨迹支撑质量两个指标都在第 5 步出现转折点。再往下用因果干预(attribution patching)量每个注意力头对流匹配速度预测的贡献,发现只有一小部分「有轨迹图案」的头真正影响运动规划——有轨迹图案是必要不充分条件。然后转到 self-attention:RoPE 沿空间维度造成过度的注意力衰减,于是早期候选区域过早锁定在不物理的位置上,并把相邻帧里那些距离更远、但更合理的轨迹压掉。
修法因此非常轻:按去噪步缩放 RoPE 的频率(参数 λh/w),只在推理的前 5 步施加;训练侧用自定义 timestep sampler 把前 10% 的去噪步以高概率采样,把训练集中在运动规划发生的早期,λ 从 0 慢慢升到预设值(默认 0.75),再用 LoRA 微调(batch 32、lr 1e-4)。
数据 / 数字 评测用 VideoPhy(343 个测试用例,覆盖固体-固体、固体-流体、流体-流体),指标是作者定义的 SA(指令跟随)与 PC(物理常识),都是二值;训练数据是 WISA —— 8 万条人工整理、覆盖 17 条物理定律的视频。主实验模型是 Wan2.1-T2V-1.3B,推理 50 步,默认种子 26。
总体(SA / PC):基线 53.64 / 29.45;加提示词改写 80.47 / 44.31;加 LoRA 55.69 / 35.57;加 VideoREPA 56.56 / 37.90;只改 RoPE(免训练)57.43 / 39.94;改 RoPE + 提示词 86.30 / 58.89;LoRA + 改 RoPE 64.72 / 41.98;三者齐上 87.46 / 62.68。分场景看,改 RoPE 的收益主要落在固体类:solid-solid 的 PC 从 24.52 抬到 32.60、solid-fluid 从 31.41 抬到 48.33,而 fluid-fluid 只从 36.55 到 43.74(对应的 SA 反而从 63.74 掉到 61.87)—— 作者的解释是方法瞄准的是大幅度运动,固体碰撞那类正好对上。
两个诚实但刺眼的点。第一,最好的绝对值也只有 PC 62.68,离「视频物理常识没问题」差得远;而且提示词改写单独的贡献非常大(PC 29.45 → 44.31),作者的归因是这主要来自指令跟随变好,而不是物理真的变好了。第二,作者自己指出判分模型(VLM)跟人类评价相关性不高,所以额外做了盲评人工评测 —— 这一点比论文里的任何一个数字都更值得抄。还有一个反直觉的消融:把 λh/w 调成「一半注意力头小于 1、一半大于 1」时,训出来的模型物理常识没有明显提升,作者据此认为现有架构与 flow matching 损失本身对物体轨迹的捕获就不够。最后,14B 的大模型在物理上并不比 1.3B 更好,所以「换个大模型」不解决问题。
还有两个作者自己强调的发现。其一,只微调注意力模块、不微调 FFN,效果反而更好而且不损伤画面——作者据此认为物理失效更多出在注意力而不是 FFN,这也反过来证明前面的可解释性分析没漏掉东西。其二,模型是用固定随机种子 42 训的,但同样的 λ 能改善其他种子生成的运动轨迹,说明这个改法不是过拟合到某一个种子。
工程判断
- 什么时候抄:你的文生视频模型物理常识明显不合格(VideoPhy PC 只有 29.45 这个量级),而你想要一个不重训也能先试的改法。抄的动作:①先看 cross-attention 的候选区域是不是在第 5 步左右就锁死,这是诊断,成本几乎为零;②推理期只在最初几步放松 RoPE 的空间衰减;③要重训就配 LoRA + 自定义 timestep sampler,把训练预算压在运动规划发生的早期。
- 什么时候不抄:三个前提。第一个是工程侵入性:改 RoPE 频率意味着动到 self-attention 的位置编码实现,你得能改 DiT 源码,不是调 prompt 能覆盖的。第二个是结论的适用范围:所有实验都在 Wan2.1-T2V 上,而且 14B 都没更好 —— 这说明它不是「模型不够大」的问题,换模型不解决问题。第三个是指标的坑:VideoPhy 的 PC 是二值 + VLM 判分,作者自己说判分器与人类评价相关性不高,所以 39.94 与 37.90 这种量级的差不要过度解读;要抄就连它的人工评测一起抄。
- 一句话启发:「不是模型不懂物理,是注意力在最初 5 步就把位置锁死了 —— 把 RoPE 的空间衰减在这几步里放松一点,一个字节训练都不用动,VideoPhy 的物理常识就从 29.45 抬到 39.94。」
四、落地思考 / 我的判断
三篇其实回答的是同一个问题的三个层级。主论文说有:WAN-1.3B 内部状态能线性解出物理合理性 81.27%,比 V-JEPA 2 的 71.36% 还高,连抛球的初始位置都能回归到 R²≥0.99。第二篇说在哪:物理量住在去噪过程中被造出来的激活里,而且高度局部化在物体附近 1–2% 的 token 上,全局读出在分布外一换背景就崩(R² 从 0.99 掉到 -288)。第三篇说为什么用不上:注意力在前 5 步就把候选位置锁死了,RoPE 的空间衰减是主犯。三篇拼起来是一条完整的链:不是没有物理,是有物理、位置很集中、但生成过程自己把它浪费了。
它们共同的方法论转向更值得记:三个都不看输出,改成看内部;三个都把「物理」从二元判断拆成可回归的连续量;三个都在动模型之前先问「模型内部到底有没有那个量」。这一转向其实是把世界模型那套「先验证再使用」的要求,搬到了生成模型的内部表征上。
最值得先抄的是第二篇的 ROI 读出对照,理由是它的信息量最大、成本却最低 —— 你不需要模拟器之外的东西,只要多跑一个「全 token 平均」的对照,就能知道该读哪里;而且它顺手给了通用形态:任何「探针能读出某个量」的实验,都值得再问一句「读的是不是太多了」。第一篇最值得抄的是反向积分拿轨迹这个动作本身 —— 它是一个通用工具,不止用来探测物理,任何需要访问真实视频的中间激活的场景都能用。第三篇的改法最直接,但侵入性也最大,适合放到最后做。
三篇共同的盲区必须记下来。主论文的结论建立在二元分类 + 成对基准上:x₀ 能回归到 R²≥0.99 说明参数被存着,不说明生成时会用 —— 它自己就把「有物理」和「会物理」分开了。第二篇全部依赖模拟器真值,三个模型之间的差异(Open-Sora 连接近角都读不出来、物理量要到扩散中段才出现)说明「模型会不会先算物理」取决于训练配方而不是架构。第三篇的评测是二值 + VLM 判分,作者自己说判分器与人类评价相关性不高,所以它给的绝对数字只能当参考;而且它那条「14B 并不更好」的观察其实是个更硬的结论。
我的判断是:这三篇加起来,把「视频生成模型是不是世界模型」这个问题从哲学判断变成了工程测量题。既然物理量能被线性读出来、位置能被定位、甚至能被当 steering 向量掰动输出,那么「用生成模型做世界模型」这件事就有了可操作的门槛:你可以先量,再决定用不用,而不是先信再用。但三篇也都只走到「测量」和「局部干预」,没有一篇真正做到「让生成过程遵守物理定律」 —— 第二篇的 steering 是把输出掰向某个物理值,不是让它满足守恒律;第三篇改的是位置编码的衰减,不是补一条物理约束。
落到工程上,这三篇其实给出了一条不需要重训的排查顺序。第一步,用主论文那套反向积分拿轨迹,训一个判「合理 / 不合理」的探针 —— 如果你的生成模型连这个都读不出来,那它基本可以从世界模型候选里划掉;如果读得出来,你的下游规划器至少多了一个能拿来做一致性校验的量。第二步,用第二篇的 ROI 对照找准该读哪几个 token:先做一次「全读」和「只读物体附近」的 A/B,很多「探针读不出物理量」的失败,其实是读得太散。第三步,才轮到第三篇那类改法 —— 而且先在推理期试,别急着重训。三步都能在几天内跑完,真正要动位置编码和训练配方的只有最后一步。
于是下一层的问题摆在这里了:你能读出物理量了,然后呢?具体是三个:用哪一组物理量(这篇用的是速度、动量、重力这类标量,够不够支撑一个真正的规划器?);用谁的真值(全部真值都来自模拟器 —— 真实场景里你的 ground truth 从哪来?);以及当探针自己在训练分布外失效时怎么办(第二篇已经展示了 global 读出换背景就崩,那你怎么知道当下这次读数还能信?)。这三个问题里,我认为第二个最难,也最该先想清楚。
| 论文 | 回答了哪一问 | 方法骨架 | 关键数字 |
|---|---|---|---|
| The Invisible Hand of Physics 2606.05328 | 有没有物理 | 反向积分速度场拿到真实生成轨迹 → 网格上训线性探针 → 块级噪声干预定位因果块 | WAN-1.3B 平均探测准确率 81.27%,V-JEPA 2 ViT-L 71.36%,三个扩散模型全部超过四个表征编码器;抛球初始位置 R² ≥ 0.99、初始速度 0.88-0.99;VAE latent 输入无此信号;块级干预 30 个 block × 180 场景,早期 block 0-8 最强、峰值 3-5;反向采样 100 → 20 步,准确率 0.82 → 0.57(近随机);准确率随 DiT 隐层维度单调下降,与参数量无关 |
| Does Physics Live in the Activations? 2610.03154 | 物理住在哪 | 从模拟器真值回归连续物理量 → global 与 ROI 两套读出对照 → 匹配基线(读模型自己的 noised latent)+ 置换零假设 | -40 dB 最大噪声下输入基线全随机,残差流仍精确解出基础运动学;gravity 与 launch angle 在最干净输入下仍高出基线 +0.40 到 +0.69,接近角 Wan +0.47 / CogVideoX +0.30 / Open-Sora -0.05;ROI 仅占 1-2% token 却稳定优于 global,比单中心 token 高 0.04-0.09 R²;置换零假设平均 -0.056;换背景后 ROI 读出 R² 0.99 → 0.58(重标定 0.88),global 直接 -288;探针方向作 steering 向量:滚动速度翻转率 0.35、碰撞总动量 0.31 |
| Why Do Video Diffusion Models Violate Physics? 2609.23658 | 为什么用不上 | cross-attention 轨迹演化 → attribution patching 找因果头 → 定位到 RoPE 空间衰减 → 按去噪步缩放 RoPE 频率(前 5 步)+ LoRA | 候选区域在第 5 步(共 50 步)收敛,layer15 的熵与轨迹支撑质量同点转折;VideoPhy 343 用例,基线 SA/PC = 53.64/29.45,改 RoPE 免训练 57.43/39.94,加提示词 80.47/44.31,LoRA + 改 RoPE 64.72/41.98,三者齐上 87.46/62.68;分场景 solid-solid PC 24.52 → 32.60、solid-fluid 31.41 → 48.33、fluid-fluid 36.55 → 43.74;训练用 WISA 8 万条人工视频 / 17 条物理定律,λ 默认 0.75、batch 32、lr 1e-4;14B 在物理上并不优于 1.3B |
References
- Esmati, Parsa, Nath, Somjit, Hofmann, Katja, Nowrouzezahrai, Derek, Kahou, Samira Ebrahimi, Mirmehdi, Majid (2026). The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show. arXiv:2606.05328. cs.GR / cs.AI / cs.CV / cs.LG; submitted 2026-06-03, v2 2026-10-09; 布里斯托大学 / 麦吉尔大学 · Mila–Quebec AI 研究院 / 微软研究院 / 卡尔加里大学; arXiv 非独占许可。
- Kneifl, Jonas, Skalski, Jakub, Twardowski, Bartłomiej, Deja, Kamil (2026). Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models. arXiv:2610.03154. cs.CV / cs.LG; submitted 2026-10-02; IDEAS Research Institute(华沙,波兰)/ 巴塞罗那自治大学计算机视觉中心 / 华沙理工大学; 22 页 8 图 5 表; License: CC BY 4.0。
- Li, Yueyan, Wang, Haibo, Yuan, Caixia, Wang, Xiaojie (2026). Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms. arXiv:2609.23658. cs.CV; submitted 2026-09-20; 北京邮电大学。代码:github.com/Siriuslala/physics
下一篇预告:这篇把「生成模型内部有没有物理」从哲学判断变成了工程测量题 —— 你可以先量,再决定用不用。但三篇都只走到「测量」和「局部干预」,没有一篇真正做到「让生成过程遵守物理定律」。下一层要处理的是三个更硬的问题:用哪一组物理量(这篇用的是速度、动量、重力这类标量,够不够支撑一个真正的规划器)、用谁的真值(全部真值都来自模拟器,真实场景里你的 ground truth 从哪来)、以及当探针自己在训练分布外失效时怎么办(第二篇已经展示了全局读出换背景就崩,那么你怎么知道当下这次读数还能信)。其中第二个最难,也最该先想清楚。