这项由香港科技大学与腾讯视频AI技术中心联合主导、武汉大学和北京大学共同参与的研究，以预印本形式于2026年5月24日发布在arXiv平台上，论文编号为arXiv:2605.25077。有兴趣深入探究的读者可通过该编号查阅完整原文。

视频游戏里的"上帝之手"为何这么难做到？

先说一个很多人都有过的体验：玩电子游戏时，你不仅可以控制镜头视角四处张望，还能直接抓起场景里的箱子扔出去，推倒路边的花盆，或者指挥小动物按你画的路线跑动。这种"我说了算"的感觉，是现代电子游戏最让人沉迷的核心体验之一。

然而，如果换成当下最前沿的"视频世界模型"——一种能根据你的操作实时生成连贯视频画面的AI系统——你会发现它们普遍有一个令人沮丧的局限：它们只认识"镜头"，不认识"物体"。你可以控制摄像机往左转、往右转、推进或后退，AI会跟着生成相应的画面；但如果你想让画面里那只鸭子往右走三步，或者让角落里的那个箱子飞到空中，这些系统就会一脸茫然——它们根本不具备操控具体物体的能力。

这个局限并不只是游戏里的小遗憾。对于需要训练机器人的研究人员来说，机器人必须能预判"我推了这个杯子之后它会怎么滑动"；对于自动驾驶工程师来说，模拟器必须能呈现"行人突然踏入马路"这样的场景；对于交互式影视创作者来说，他们需要的不仅是会"看"的AI，还需要会"动手"的AI。所有这些需求都指向同一件事：AI需要理解并操控场景中具体的物体，而不仅仅是移动观察的"眼睛"。

正是为了填补这个关键空白，来自港科大和腾讯视频等机构的研究团队提出了一套名为WorldCraft的新框架。它的核心目标可以用一句话概括：让用户能够用鼠标点击画面中的某个物体，再手绘一条运动路径，AI就会生成出这个物体沿着那条路径移动的视频——与此同时，摄像机仍然可以自由地在场景中漫游，两者互不干扰。

一、为什么"让物体动起来"比"让镜头动起来"难这么多？

表面上看，控制物体移动和控制摄像机移动似乎难度差不多：你告诉AI"镜头往左转30度"和"那只鸭子往右走3步"，好像只是指令内容不同而已。但实际上，这两件事在技术层面有着根本性的差异，而且引入物体控制会带来三个彼此纠缠的难题，每一个单独拿出来都足以让工程师头疼。

第一个难题叫做镜头与物体运动的"搅合"问题。当摄像机移动时，画面里所有物体的位置都会跟着变化——即使那个物体根本没动。比如你坐在火车上看窗外的树，树根本没移动，但在你眼里它是在往后跑的。同样，当AI的摄像机往左转时，画面里站着不动的鸭子在屏幕上的位置也会往右漂移。如果你用屏幕上的像素坐标来描述"鸭子应该在哪"，那么摄像机一动，这个坐标就乱了——你根本分不清鸭子是真的在移动，还是只是因为镜头动了才看起来在移动。

第二个难题叫做不能破坏原有的镜头控制能力。研究团队使用的基础AI模型（来自腾讯视频的WorldPlay）已经具备了很强的摄像机控制能力，这是经过大量训练才获得的宝贵能力。如果为了加入物体控制功能而随意修改模型内部，极有可能把原来好好的摄像机控制功能给"改坏了"。这就像给一台精密手表加装新功能，一不小心就可能把原来走时精准的机芯弄乱。研究团队发现，镜头控制和物体轨迹控制在模型内部竟然共用同一条"神经通路"，这让保护原有功能的同时加入新功能变得格外棘手。

第三个难题叫做物体"离开画面"后的状态预测。这是最烧脑的一个问题。自动生成视频的AI通常有一个"记忆库"，存储着之前帧画面的信息，这样它生成新画面时可以保持场景的一致性。但这个记忆库有个致命缺陷：它只记得物体"上次被看到时"在哪里。假设你让鸭子往画面右边走，走着走着它超出了摄像机的视角范围（也就是跑到了屏幕外面）。等到摄像机转回来，重新看到鸭子时，AI的记忆库里存的还是鸭子"出走"之前的位置。于是AI可能会非常自信地把鸭子画回到它原来的地方——就好像那段移动根本没有发生过一样。

这三个问题各自独立就已经很难，偏偏它们还彼此缠绕。WorldCraft需要同时解决全部三个，这正是它的技术价值所在。

二、三把"钥匙"：WorldCraft的核心解决方案

研究团队给这三个问题分别设计了对应的解决方案，每个方案都有一个专属名字，合在一起构成了WorldCraft的技术核心。

钥匙一：归一化世界轨迹（NWT）——用"真实坐标"代替"屏幕坐标"

解决第一个"搅合"问题的思路，类似于GPS导航和车窗视野之间的区别。当你开车时，车窗里的景物会随着车的移动而流动，看起来乱糟糟的；但GPS地图上，每个路口的位置始终固定在真实的地理坐标里，不管你的车开到哪，天安门广场永远在北京的那个地理坐标上，不会因为你在上海就"移动"到别处去。

WorldCraft对物体轨迹做了类似的处理。用户在屏幕上画出的路径，会被"翻译"到一个与摄像机无关的"世界坐标系"里保存——这个过程依赖于第一帧画面中物体的深度信息（也就是该物体距离摄像机有多远，通过一个叫做"Depth Anything V2"的深度估计工具来获取）。之后，每当AI要生成新的一帧时，系统会根据当前摄像机的位置和朝向，把这个"世界坐标"重新"投影"回屏幕上，计算出物体此时应该出现在屏幕的哪个位置。这样一来，不管摄像机怎么移动，AI收到的始终是"物体在当前视角下应该在屏幕哪里"的准确信息，而不是被摄像机运动污染过的混乱坐标。

更进一步，为了应对长时间生成时可能累积的误差，系统还加入了一个"迭代修正"机制：每生成一段视频后，系统会重新估计物体的深度，用最新的状态来校准后续的投影计算，防止误差越滚越大，就像导航软件会根据实时位置不断重新规划路线一样。

具体的技术细节是这样的：用户在第一帧屏幕上点击的那个位置，会被转换成一个基于第一帧相机内参（即镜头的焦距和画面中心点等参数）的归一化坐标。这个坐标结合物体的深度值，可以还原出物体在三维空间中的实际位置。之后对于每一帧，系统利用当前摄像机的外参（即摄像机在空间中的位置和朝向），把这个三维位置重新投影到当前视角的屏幕坐标上。这个投影过程自动把摄像机运动导致的位移折算进去，所以用户只需要描述物体本身的运动意图，不必手动考虑摄像机会怎么影响视角。

钥匙二：空间通路LoRA（SP-LoRA）——给"老师傅"加一个技能，而不是换掉他

解决第二个"保护镜头控制"问题的方案，借助了一种叫做LoRA（低秩自适应）的技术。先解释一下什么是LoRA：完整的AI模型有数十亿个参数，要修改所有参数需要大量计算资源，而且容易把原有能力破坏掉。LoRA的思路是：在原有参数矩阵旁边额外添加两个小矩阵，训练时只更新这两个小矩阵，让它们的组合近似描述需要的新功能，而原始大矩阵保持冻结不变。这就像一个经验丰富的老厨师，不是要推翻他几十年的厨艺重新学习，而是给他专门培训一个新菜系，两套技能并存，各用各的场合。

但WorldCraft并没有简单地把LoRA用在模型里所有层上，而是做了一个关键的"精准选择"。研究团队先做了一个诊断实验：他们把WorldPlay模型用轨迹数据完整微调（即更新全部参数），然后测量每一层参数的变化幅度。结果非常明确：变化最大的集中在两类层——"动作编码器"（action_in）和"投影式位置编码"（ProPE，即prope_proj）。这两类层恰恰是负责处理"空间信息"的核心通路，其变化幅度比普通的注意力层（attention）和前馈网络层（MLP）高出10到25倍。换句话说，轨迹控制和摄像机控制在模型内部走的是同一条"空间神经通路"，只是信号不同。

基于这个发现，研究团队只在这两类"空间通路"层上加装LoRA，其余所有层的参数都保持冻结。这样做的效果是：新加入的物体轨迹控制信号通过同一条空间通路被注入，但它只是在原有摄像机控制信号的基础上叠加一个小扰动，而不是覆盖或替换原有信号。经过实验验证，整个LoRA适配器只有约5000万个参数（相比原始模型的80亿参数，仅占0.6%），却能在保持摄像机控制精度的同时，让物体轨迹跟随能力大幅提升。

研究团队还用激活值层面的实验进一步确认了这个机制的有效性。他们设计了一个"反事实实验"：固定两种摄像机姿态（A和B），分别在两种不同轨迹条件（α和β）下运行，观察摄像机效果向量（h(B,α) - h(A,α)）与（h(B,β) - h(A,β)）之间的相似度。如果轨迹控制的加入没有破坏摄像机控制，那么这两个向量的方向应该高度一致。实验结果显示，在第5个块之后，两者的余弦相似度稳定在0.85以上，全模型平均达到0.89——这说明不管轨迹信号如何变化，摄像机控制效果的方向始终保持稳定，两者实现了"互不干扰的共存"。

钥匙三：轨迹锚定状态持久（TASP）——让"记忆库"不记错位置

第三个问题——物体离开画面后状态预测——通过TASP机制来解决。这个机制包含两个互补的子策略，像两把锁配一把钥匙一样协同工作。

第一个子策略是"把轨迹当作持续存在的空间信号"。前面提到，NWT表示的世界坐标是不依赖于视野范围的，即使物体已经超出了摄像机的视角，它在世界坐标系里的位置依然可以被计算出来，甚至可以"虚拟投影"到当前摄像机视角对应的屏幕坐标上（即使那个坐标已经超出画面范围）。当摄像机转回来、物体重新进入视野时，系统根据轨迹计算出的位置会恰好落在画面内的正确位置上。这就像你让朋友沿着一条预定路线跑步，途中他跑进了树林里你看不到他，但你知道他的路线，所以当他从树林另一端出来时，你能精准预判他会出现的位置。

然而，仅靠轨迹信号还不够，因为AI的记忆库里还存着一些"旧照片"——物体出走之前那些帧的画面信息，这些旧信息会在模型生成新帧时被调出来参考，导致模型倾向于把物体画回旧位置。第二个子策略正是为了处理这个"记忆污染"问题：当摄像机重新转回、物体再次进入视野时，系统会主动识别并屏蔽"物体出走前的那几帧"在记忆库中的记录。具体来说，如果某帧历史记忆与当前帧的视角（用视图矩阵来衡量）非常相似，且它属于物体出走前的那个时间窗口，就把它从当前这次生成的"可参考记忆"里删去。这样，模型就不会再被旧位置的画面"误导"，而是基于轨迹信号提供的新位置来生成正确的画面。

打个比方：这就像你有一本相册，里面有朋友搬家之前在旧公寓拍的照片。现在你要给他寄信，正确做法是用他新地址（轨迹提供的新位置），而不是翻出相册里的旧地址来寄（记忆库里的旧位置）。TASP的"记忆过滤"机制就是帮AI扔掉那些会误导它的旧地址。

三、训练WorldCraft需要什么样的"教材"？

一个能同时控制摄像机和物体轨迹的AI，需要相应的训练数据才能学会这种能力。但现成的训练数据集里并没有这种"视频+摄像机参数+具体物体轨迹"三位一体的标注数据，研究团队不得不自己动手构建。

他们设计了一条全自动的数据处理流水线，能从普通的未标注视频中自动提取所需的训练样本。这条流水线分为六个环节，环环相扣地完成从原始视频到训练数据的转换。

整个流程的起点是摄像机参数估计。对于没有摄像机标注的视频（如WISA-80K数据集中的视频），系统会使用一个叫做ViPE的工具，从视频本身"反推"出每一帧的摄像机位置和朝向；对于已经带有摄像机标注的数据集（如SpatialVID-HQ），则直接利用提供的参数，只需做格式转换即可。

接下来是最关键的"找主角"步骤——确定视频里应该被跟踪的那个物体。这个任务比听起来难得多，因为一段视频里可能同时有行人、车辆、飞鸟等几十个运动物体，必须自动选出最适合作为轨迹训练目标的那个。研究团队针对两个不同来源的数据采用了不同策略：对于WISA-80K数据，他们让一个视觉语言大模型（Qwen3-VL-8B）先观看视频中均匀采样的5帧，然后用文字描述视频里最显眼的运动主体是什么；再把这段文字描述传给一个叫GroundingDINO的目标检测工具，在画面里精确定位这个主体的位置。这种方法不依赖预设的物体类别，能自动适应各种场景，街边的流浪猫、工地上的挖掘机、雨中撑伞的行人都能应对。

对于SpatialVID-HQ数据，由于每帧都附带了"动态区域掩码"（标记了哪些像素在运动），但这些掩码并不区分不同的独立物体，一帧里可能有数十个零散的运动区域。团队设计了一个跨帧"轨迹匹配"算法：在每个标注帧上提取独立的运动区域，然后按照质心距离跨帧进行关联，把属于同一个物体的运动区域连成一条"轨迹段"。每条轨迹段用一个综合评分来排名，考量的维度包括该物体在视频中间出现的帧数、占画面的面积比例（太大的可能是整片天空或地面，太小的可能是噪点）、以及轨迹的平滑程度（跳动太剧烈的可能是噪声而非真实运动）。评分最高的那条轨迹段所对应的物体就成为本条训练数据的"主角"。

找到主角之后，使用SAM2（一个专门做视频分割的工具）对这个物体进行逐帧的精确分割，生成每一帧的二值掩码（即标记出物体的精确轮廓）。再用CoTracker3对物体掩码内的20个关键点进行长程跟踪，生成97帧长度的多点轨迹数据。这20个点中，有一个是物体的质心（作为主要训练信号），另外19个均匀分布在物体内部（提供额外的空间范围信息）。

整个流水线经过严格的质量过滤后，最终产出了约34500条训练样本，覆盖了从静态摄像机下的运动物体，到摄像机和物体同时运动的复杂场景。其中约23%的样本属于"摄像机和物体同时移动"的类型，这正是WorldCraft最独特的应用场景，也是绝大多数现有轨迹数据集所没有涵盖的情形。

四、分阶段训练：像学乐器一样循序渐进

有了数据，训练过程也需要精心设计。研究团队不是直接把所有数据一股脑塞给模型，而是制定了一套三阶段递进的训练方案，就像学钢琴要先练音阶、再练简单曲子、最后才挑战协奏曲一样。

第零阶段是"适应新环境"。WorldPlay原本是在合成数据上训练的，而WorldCraft需要处理真实世界的视频。这一阶段用极低的学习率（0.0000005）对整个模型做轻微的全参数微调，目的仅仅是让模型"熟悉"真实视频的风格和分布，不涉及任何轨迹控制训练，因此不会产生摄像机和轨迹功能之间的冲突。

第一阶段是"在平静环境里学新技能"。这一阶段使用静态摄像机的视频数据，用双向注意力（BI attention，即模型可以同时看到同一段视频的前后帧）来训练轨迹控制能力，同时只更新SP-LoRA的参数。之所以从静态摄像机开始，是因为当摄像机不动时，物体在屏幕上的运动就等于物体真实的世界运动，没有任何"搅合"问题，训练信号非常干净。这个阶段让模型先掌握"物体跟轨迹走"的基本能力，不需要同时应对摄像机运动带来的复杂性。

第二阶段是"在复杂环境里综合运用"。切换到动态摄像机数据，并改用自回归注意力（AR attention，即模型只能看到当前帧之前的历史帧，模拟真实的"边生成边预测"场景），在这种更真实的生成条件下，让模型学会在摄像机和物体同时运动时保持两种控制能力的协调。

实验结果证实这套渐进策略确实有效：相比于直接用动态数据加自回归注意力一步到位地训练，三阶段方案在轨迹误差上表现相近，但摄像机控制精度（用旋转相对位姿误差RPErot衡量）从0.170显著降低到了0.131。

五、实验结果：WorldCraft的表现究竟怎么样？

研究团队从三个维度对WorldCraft进行了系统性评测，每个维度都有专门的测试集和对应的对比基线。

维度一：物体轨迹控制精度（静态摄像机条件下）

这个测试集包含50段视频，使用固定不动的摄像机，配合SAM2生成的物体掩码和CoTracker提取的真实轨迹作为参考答案。WorldCraft与两个专门做轨迹控制的方法进行对比：DragAnything（通过"拖拽"控制物体运动的经典方法）和Wan-Move（用第一帧图像特征位移来实现轨迹跟随的最新方法）。

评测指标涵盖多个方面：轨迹误差（TE，用CoTracker检测生成视频中物体的实际位置与目标轨迹之间的平均像素距离，越小越好）、画面质量（PSNR信噪比、SSIM结构相似度、LPIPS感知相似度），以及VBench++标准测试集中的一致性分数（主体一致性、背景一致性、时序流畅性）。

WorldCraft在全部指标上均位居第一：轨迹误差为38.90，低于Wan-Move的44.08和DragAnything的39.86；PSNR为17.23，高于另外两者；画面一致性分数方面，主体一致性0.942、背景一致性0.945、时序流畅性0.989，均超过对比方法。这意味着WorldCraft不仅轨迹跟随更准确，生成的画面质量也更好，没有出现"为了让物体跟着走而牺牲画质"的情况。

维度二：摄像机控制精度（纯摄像机控制条件下）

这个测试集包含50段有摄像机运动但无物体轨迹控制的视频，目的是检验加入物体控制功能后是否损害了原有的摄像机控制能力。对比基线包括Yume、Matrix-Game 2.0、GameCraft和WorldPlay（原始基础模型）。

评测指标是相对位姿误差（RPE），分别测量旋转方向的误差（RPErot）、平移方向的误差（RPEtrans）和综合误差（RPEcam）——这些指标通过将生成视频的估计摄像机轨迹与真实摄像机轨迹进行比较来计算。

在短期（61帧）测试中，WorldCraft的RPErot为0.131，略高于WorldPlay基础模型的0.120（差异约9%），但远低于其他所有对比方法（最好的GameCraft为0.252，是WorldCraft的近两倍）。这个轻微的性能差距表明，加入物体控制确实带来了极小的代价，但这个代价远比预期的小，也远低于其他方法的整体水平。

更令人注目的是长期（253帧，相当于约10.5秒）测试的结果：WorldCraft的RPErot进一步降至0.123，反而优于WorldPlay基础模型的0.130。这个反直觉的结果说明，WorldCraft的训练过程不仅没有损害摄像机控制，反而通过更丰富的训练数据和渐进式训练策略，让长时间生成的稳定性有所提升。

维度三：组合控制（摄像机+物体同时控制）

研究团队还构建了一个专门针对"摄像机和物体同时运动"场景的测试集（45段视频），按摄像机旋转角度分成三个难度级别：小旋转（小于15度）、中等旋转（15到45度）、大旋转（大于45度）。这个测试集是WorldCraft独有的评测场景，其他方法无法在此条件下直接对比。

消融实验（即逐一去掉某个设计要素，观察性能变化）的结果清晰地展示了每个组件的贡献。仅使用像素坐标（不用世界坐标）的轨迹误差在三个难度级别上分别是35.82、40.69、45.28；加入世界坐标但只用一次性深度估计，误差降至33.82、37.69、41.28；再加上迭代深度修正，进一步降至30.82、32.10、34.65。随着摄像机旋转角度增大，世界坐标的优势越来越明显，因为大旋转带来的视角变化会让简单的像素坐标误差急剧放大，而世界坐标能通过重投影自动补偿这种变化。

六、WorldCraft还能做什么？定格几个有趣的扩展场景

除了基础的"选中一个物体、让它沿路径走"之外，研究团队还展示了几个有趣的扩展能力，展示WorldCraft潜在的应用空间。

第一个是"部件级别的控制"。用户可以点击一个物体的特定部位（比如一个角色手持的盾牌），让那个部件沿指定路径移动，而物体的其他部分（角色的身体）保持不动。这种能力超越了"整个物体一起动"的层面，向着更精细的操控迈进了一步。

第二个是"多物体同时控制"。一次性给三个不同的物体分别指定独立的运动路径，三者可以沿着各自不同的方向和速度同时移动，互不干扰。这对于游戏场景模拟或机器人协作训练数据生成来说，是一项非常实用的能力。

第三个是"长程生成"。在保持摄像机控制和物体轨迹控制同时有效的前提下，连续生成253帧的视频（在24帧/秒的帧率下约等于10.5秒），整段视频中场景一致性和物体位置关系保持稳定，没有出现随着生成深度增加而逐渐崩溃的迹象。

七、这套方案目前还有什么做不到的事？

研究团队在论文中坦诚地指出了WorldCraft的三个现阶段局限，这种诚实在学术研究中难能可贵。

第一个局限是WorldCraft的"状态记忆"只对用户明确指定了轨迹的物体有效。如果画面里有一只鸭子在自顾自地游泳，而用户没有给它指定任何轨迹，那么当摄像机转走再转回来时，这只"无主"的鸭子能否出现在物理上合理的新位置，就完全依赖模型的泛化推断，没有专门的机制来保证。真实世界中的场景往往包含大量这样的"背景动态"，如何预测这些没被"点名"的物体的状态，仍然是一个开放问题。

第二个局限是深度估计的准确性瓶颈。NWT机制依赖单目深度估计（即只用一张图像推断三维深度），而这类算法本身存在误差，在摄像机大幅旋转时尤为突出。深度估计的误差会直接影响轨迹的重投影精度，大旋转场景下轨迹误差偏高，很大程度上就源于这个瓶颈。

第三个局限是精度受限于视频的"像素分辨率"。轨迹控制实际上发生在AI内部的"潜在空间"（latent space）层面，而每个潜在空间单元对应的是原始视频16×16像素的区域。这意味着对于占画面像素很少的小物体，轨迹控制的精度天然受到这个"格子大小"的限制，无法实现像素级的精准定位。

说到底，WorldCraft做了一件听起来不难、做起来很有挑战的事：它让AI世界模型从"只会转动摄像机的观察者"升级成了"能够伸手搬动物体的参与者"。这背后的核心洞察是，摄像机控制和物体轨迹控制在AI模型内部共享同一条"空间神经通路"，这既是挑战（两者容易相互干扰），也是机遇（可以用同一套机制统一处理两种控制需求）。通过把用户意图"翻译"到与摄像机无关的世界坐标系、只在最关键的"空间通路"上添加轻量级的学习适配器、并用轨迹信号持续"提醒"AI那些暂时离开视野的物体现在在哪里，WorldCraft以相当有限的参数开销，实现了对原有能力几乎无损的功能扩展。

对普通用户而言，这项研究预示着未来的AI视频工具可能会变得更像真正的"世界编辑器"而不仅仅是"场景浏览器"。创作者可以用它快速生成角色行进、物体交互的场景；游戏&开发者可以用它快速原型验证各种物理交互的视觉效果；机器人研究者可以用它生成多样化的训练数据，覆盖各种操控场景。而在更远的未来，当AI能够同时追踪和预测画面内外所有物体的状态时，那才会是真正意义上"懂世界"的世界模型。

如果你对这项研究的技术细节感兴趣，可以在arXiv上搜索编号arXiv:2605.25077查阅完整论文。

Q&A

Q1：WorldCraft和普通的AI视频生成有什么区别？

A：普通AI视频生成工具通常只能控制摄像机视角或整体画面风格，无法单独控制某个具体物体的运动路径。WorldCraft在保留摄像机控制能力的同时，新增了"点选物体、手绘路径、AI跟随生成"的物体级操控能力，且两种控制方式可以同时使用而互不干扰。

Q2：NWT（归一化世界轨迹）为什么能解决摄像机和物体运动混淆的问题？

A：NWT把用户画的屏幕路径转换到一个不依赖摄像机视角的三维坐标系里保存。之后每帧生成时，系统根据当前摄像机的位置重新把这个三维坐标投影回屏幕上，自动把摄像机运动带来的视角变化折算进去。这样AI收到的始终是"扣除摄像机影响后，物体真正该在屏幕哪里"的准确信息，而不是被摄像机运动污染过的混乱坐标。

Q3：WorldCraft的TASP机制是怎么让物体在"跑出画面"后还能被记住的？

A：TASP通过两个配合的手段来解决这个问题。一方面，轨迹坐标即使在物体超出画面时也能持续计算，等摄像机转回来时能直接给出物体应在的正确位置；另一方面，系统会主动识别并屏蔽"物体出走前那几帧"的历史记忆，防止AI翻出旧画面、误把物体画回原位。两个手段一个负责提供新位置，一个负责清除旧干扰，合力让物体在重新入镜时出现在符合运动逻辑的地方。