近年来，视频生成模型的发展速度可以说是日新月异。从Sora、Veo、Kling到各种开源方案，文生视频的质量已经逼近真实影像——画面清晰、镜头流畅、风格可控，一句话就能生成一段观感还不错的视频。

但问题在于，当我们把评判标准从“像不像”转向“对不对”时，一个更深层的矛盾就暴露出来了：当前这些模型虽然擅长制造视觉真实感，却并不真正理解物理世界。

一个球可能无缘无故地突然加速或变向；下落物体完全无视重力规则；碰撞、流体、切削、堆积、弹跳这些动态过程，乍看之下似乎合理，但细究起来却经不起最基本的物理常识检验。在VideoPhy-2这类专门测试物理常识的视频评测中，即使是表现最好的模型，联合准确率也只有32.6%。这说明，视频生成距离真正的“世界模拟器”，还有一条关键鸿沟需要跨越。

就在这个节点上，浙江大学、香港理工大学、树根科技与三一集团联合提出了NEWTON（Neural Agentic World-Aware Tool-Orchestrated Navigation）——它的核心思路是把Agent范式搬进视频生成里：与其继续把物理规则硬塞进生成器的权重里，不如让一个会规划、会调用物理工具、会自查自纠的Agent，把生成器“降级”成它工具箱里的一件兵器。

• 论文标题：NEWTON: Agentic Planning for Physically Grounded Video Generation

• 论文地址：https://arxiv.org/abs/2605.18396

• 项目主页：https://newton026.github.io/newton/

过去我们习惯性地认为，只要模型足够大、数据足够多，它终将学会真实世界的物理规律。但NEWTON这篇文章指出，问题的根源并不在模型本身——而是输入本身就不足以唯一确定一段物理自洽的视频，再大的模型也补不回输入端缺失的信息。

文本提示词本质上是对物理世界的高度压缩。比如一句“啤酒被倒进杯子直到装满”，看似已经把事件描述清楚了，但实际上省略了大量决定动态过程的参数：容器形状、泡沫生成、液面上升速度等等。模型拿到的只是一句自然语言，却被期待生成一个完整、连续、符合物理规律的视频。换句话说，模型是在信息严重不足的前提下，被要求交出一个物理自洽的完整答案。

关键信息一旦缺失，模型就只能在不完整条件下做幻觉式补全：单帧也许漂亮，时间维度上却处处露馅——液面不升高、刀划过木头却没有凹槽、颗粒倒下却不堆积、物体碰撞却毫无反应。

所以，物理可靠的视频生成不能押在一句prompt上。它至少要同时满足三件事：信息要够，能补齐影响动态的物理变量；过程要活，能针对不同场景调用不同的物理工具；结果要能查，生成之后能发现问题、回头修正。

而现有方法往往只能顾上其中一两条。端到端模型把物理知识隐式压进参数，输入端的条件本身就不完整；ControlNet这类方法依赖预设的单一模态信号，难以随场景切换，缺乏动态性；单轮生成则没有反馈回路，结果不对也无从修起。

NEWTON的破局思路：把生成变成一个可规划、可验证的过程

NEWTON的核心变化，是重新定义视频生成系统的工作方式。

传统范式很短：用户输入prompt，生成器直接输出视频。这意味着所有物理细节都得由生成器自己一次性猜出来。NEWTON把这一步改造成了一个多轮Agent循环——Planner先分析当前任务缺哪些物理信息、该调哪些工具，Executor执行工具调用和视频生成，Verifier给结果打一个物理合理性分数，再把反馈写回下一轮规划。视频生成器在这个循环里不再是唯一主角，只是工具箱里的一个动作；真正负责组织过程的，是可训练的Planner。

工具库覆盖的是互补的物理维度：

• 关键帧生成工具给视频补充时间边界条件，比如规定抛物线运动在中间帧到达最高点，或要求倒酒时杯内液面随时间逐步升高；

• 科学计算工具在沙盒Python环境里算轨迹、动量守恒、旋转动力学等数值结果，把人类熟悉的物理推理显式写进生成上下文；

• 提示词优化工具则负责把材料属性、动作阶段、因果关系重新组织成生成器更容易“听懂”的条件。

更关键的是，NEWTON 不需要改动底层的视频生成模型。无论用的是LTX-Video还是Veo-3.1，生成器始终保持冻结。整套系统里真正需要训练的只有Planner——它通过Flow-GRPO在真实的多轮工具调用流程中做on-policy优化，逐步学会：什么时候该算物理、什么时候该生成关键帧、什么时候该重写场景描述、什么时候该真正触发视频生成。

这样的设计，使得“物理能力”不再被困在某一个生成模型内部，而是被抽出来，变成一种可组合、可检查、可迁移的Agent行为。

实验表现：不改生成器，也能显著提升物理一致性

在VideoPhy-2基准上，NEWTON展现出了稳定提升。接入LTX-Video后，联合准确率从21.4%提升到29.7%；接入Veo-3.1后，在选取的测试集中从30.7%提升到37.4%。这些提升并非来自重训视频生成器，而是来自Planner对物理工具、关键帧条件和反馈循环的组织能力。这意味着，即使底层生成器保持不变，只要把“生成前的物理规格补齐”和“生成后的验证修正”纳入系统流程，视频生成的物理可靠性就能被显著改善。

在具体案例中：倒啤酒时，NEWTON让杯子随注入逐渐被填满，基线却出现“杯子早就满了”、“怎么倒都倒不进去”、“泡沫在长液面不动”这类荒诞画面；刀刻木头时，只有NEWTON同时刻出凹槽和木屑；吹泡泡和LEGO橄榄球交接的镜头也呈现同样的规律——基线模型常常是“动作发生了，但世界状态没变”，而NEWTON能把液面上升、材料移除、颗粒堆积、受力反弹这些有因果的动态完整地呈现出来。

总结

NEWTON的意义不只在于提升了某个评测指标，更在于它提出了一种视频生成的新范式：未来的视频模型也许不应只是一个端到端的视觉合成器，而应成为Agent系统中的一个可调用模块。

当任务涉及真实世界的动态规律时，系统需要的不只是更强的渲染能力，还需要知道缺了什么信息、该调用什么工具、如何验证结果，以及失败后如何重新规划。

从这个角度看，NEWTON给“世界模拟器”提供了一条更务实的路径：不是等待物理规律从黑箱中自然涌现，而是把牛顿请进工具箱，让Agent带着物理知识，一步步把视频生成得更真实、更可信。