这项由中国科学技术大学、上海人工智能实验室及浙江大学联合推进的研究，以预印本形式发布于2026年5月，论文编号为arXiv:2605.23903，深入探讨了AI在视频生成领域的创新突破。

你是否设想过这样的场景：导演在拍摄电影时，常对同一场景从多个角度进行反复拍摄，例如正面拍摄人物行走后，再切换到侧面、俯视甚至环绕镜头——这就是典型的“多机位拍摄”。然而，在实际拍摄中，这往往需要同时部署多台摄像机，或要求演员反复进行相同表演，时间与人力成本高昂。

于是，一个关键问题浮现：能否借助AI的力量，仅凭一段普通视频，就能模拟出“从左侧45度角”观看的全新视角？这正是当前视频生成领域备受瞩目的研究方向，专业术语称为“相机控制的视频重渲染”。

然而，现有AI模型在处理此类任务时普遍存在一个棘手缺陷：在实验室的受控环境中表现尚可，一旦应用于真实世界的视频素材，便会“晕头转向”——生成的新视角要么比例严重失真，要么镜头轨迹完全偏离指令，仿佛一位不听话的摄影助手，你让它向左平移，它却胡走一气。

那么，如何解决这一难题？研究团队提出了一套名为“Geo-Align”的创新框架。其核心思路在于利用强化学习（Reinforcement Learning，一种通过“试错学习”来优化AI行为的方法）来纠正模型的“空间方向感”，从而确保AI生成的新视角视频能够精准遵循指定的摄像机运动路径，同时兼顾画面的美观与自然感。

一、问题根源：AI摄影助手缘何频频迷路

要理解Geo-Align的解决方案，首先需剖析现有方法为何会出错。

当前的AI视频重渲染方法大致可分为两类。第一类为“显式几何变换”，类似于先用尺子精确测量房间布局，再指导搬家工人移动家具。具体而言，模型首先估算视频中每帧像素的深度（即其与摄像机的距离），接着将画面“翻折”至目标视角，最后用另一AI模型填补翻折后产生的空洞，代表方法如TrajectoryCrafter和CogNVS。但这种方法的弊端在于，翻折过程难免产生“缝隙”与“拉伸变形”，尤其在镜头移动幅度较大时，画面如同被拉扯的橡皮泥，充满人工痕迹。

第二类为“隐式条件方法”，以ReCamMaster和ReDirector为代表。这类方法不再手动“翻折”画面，而是直接将目标摄像机的运动参数输入AI模型，让模型自行学习“摄像机如此移动时，画面应呈现何种形态”。这听起来更为智能，但问题随之而来：模型通常使用合成数据（即从游戏引擎或虚拟软件生成的假视频）进行训练，而真实世界的视频与虚拟环境差异巨大，如同一位仅在模拟厨房中练习过的厨师，面对真实灶台时难以掌控火候。

此外，还存在一个深层问题，即“尺度模糊”。摄像机运动包含两个核心分量：旋转（如左转右转）和平移（如前、后、左、右移动）。对于旋转，AI相对容易学习；但针对平移，必须明确真实的物理尺度——移动了多少厘米才有实际意义。然而，现有真实世界视频数据几乎都缺乏可靠的物理尺度标注。因此，AI学习到的移动“一步”，究竟是1厘米还是1米，完全不确定，导致生成视频的镜头运动要么几乎原地不动，要么突然“飞冲天”。

Geo-Align正是精准针对这两个痛点而设计：数据稀缺与尺度模糊。

二、灵感来源：从“死记硬背”到“实战练兵”

传统的监督学习（Supervised Fine-Tuning，简称SFT）训练方式，相当于让AI“背诵标准答案”。通过将视频与对应的目标视角视频同时提供给模型，告知它“输入这个，输出那个”，模型便记住了这种映射关系。但这种模式的天然弱点是：若测试题目与训练题目略有差异，模型便不知所措。更何况，“正确答案”——即同一场景、同一时刻的多机位真实视频——在现实世界中极为罕见，根本没有足够的“标准教材”供模型学习。

强化学习则另辟蹊径，更像是“在真实场景中反复练习，依据结果好坏调整行为”。无需提前准备标准答案，只需具备一种评估AI输出“好坏”的方法：若生成的视频符合指定镜头运动，则给予奖励；若偏差较大，则施加惩罚。AI通过持续的尝试与反馈，逐步学会正确行为。

这种思路的关键优势在于：无需“配对”数据，即不需要同一场景的多视角同步视频。训练时，只需真实世界的普通视频与一条目标摄像机轨迹即可，这极大扩展了可用训练数据的范围。

Geo-Align正是首个将强化学习引入视频重渲染任务的框架，而其精心设计的“奖惩机制”，构成了整个方法的核心创新。

三、奖惩机制：用“标尺”而非“感觉”来评分

打分系统的设计是Geo-Align最精巧的部分。研究团队并未简单依赖AI“感觉”画面优劣，而是引入了一个名为MapAnything的“度量3D重建工具”作为严格考官。

MapAnything能够从视频帧中直接推算出摄像机真实运动轨迹，且其给出的数值具有真实物理单位——旋转以角度表示，平移以米为单位。这相当于为AI配备了一把真正的“卷尺”，而非仅凭目测估计距离。

具体来说，每当AI生成一段新视角视频后，MapAnything会分析该视频，提取出AI实际“走”出的摄像机路径，并与目标路径进行对比。比较分为两个维度：旋转偏差（摄像机转向的准确性，以角度误差衡量）和平移偏差（摄像机移动距离与方向的准确性，以米为单位的距离误差衡量）。偏差越大，扣分越多；偏差越小，奖励越高。

其中有一个特别巧妙的设计细节：研究团队发现，AI模型在生成视频时，开头几帧通常表现良好，因为这直接参考了输入视频。但随着时间推移，误差逐渐累积，镜头轨迹容易“漂移”——如同一个人行走，最初几步尚沿正确方向，但长久行进步伐就会偏离。为此，团队为每一帧的误差设置了不同“权重”——越靠后的帧，权重越高。这样一来，AI被迫将更多精力投入到保持长期轨迹的准确性上，而非只顾好开头几帧。

除几何精度外，研究团队还担忧：若AI只追求轨迹准确，却学会了生成画面模糊、色彩失真但轨迹精准的视频，那便是“走火入魔”。为防止这种情况，他们引入了两项视觉质量评分工具：VideoAlign（评估视频整体动态效果与运动自然度）和HPSv3（评估单帧画面的美观程度与细节质量）。这三类奖励信号共同作用，确保AI在学会“走对路”的同时，也保持“拍出好画面”的能力。

四、数据策略：用“现实视频+游戏轨迹”构建完整训练集

有了奖惩机制，还需解决训练数据问题。毕竟强化学习需要反复“出题考试”，而题目本身也需精心设计。

研究团队采用了一种巧妙的“混搭”策略。训练时，输入的条件视频来自真实世界——他们使用了名为CityWalk（即Sekai数据集）的城市漫步视频数据集，其中包含大量普通人拍摄的街头行走视频，涵盖室内外、动静结合的各种真实场景。这些视频未经任何特殊处理，就是日常生活中随手拍摄的。为给这些视频配上摄像机轨迹信息，团队利用MapAnything工具自动推算出每段视频对应的摄像机路径——整个过程全自动，无需人工标注。

目标摄像机轨迹则源自另一个完全不同的来源：OmniWorld游戏数据集。该数据集从游戏引擎提取，包含丰富多彩的摄像机运动模式——推近、拉远、旋转、环绕等。但游戏中的轨迹有一个致命缺陷：缺乏真实物理尺度。游戏中的“一步”可能相当于现实中的一厘米，也可能等于一公里。若直接将这些轨迹作为训练目标，AI根本无法学会现实意义上的“适度移动”。

为解决尺度问题，研究团队设计了一套“截断高斯采样”的缩放机制。简单来说，先计算每段游戏轨迹中摄像机运动最快的瞬间（最大帧间旋转速度和最大帧间平移速度），然后从概率分布中随机抽取一个“目标速度上限”——该上限被设定在接近正常人行走速度或稳定持机运动的合理范围内，再计算一个缩放比例，将整段游戏轨迹等比例缩放到合理的物理尺度。这就像将一张比例尺错误的地图缩放到正确比例——方向不变，但距离变得有现实意义。通过这种方式，游戏里夸张、不现实的摄像机运动被转换为真实世界中合理的镜头轨迹，既丰富了训练数据的多样性，又保证了物理合理性。

五、训练机制：如何让AI在“尝试-反馈”中稳步进步

有了数据与奖惩机制，具体训练过程如何运作？研究团队采用了名为GRPO（Group Relative Policy Optimization，“群体相对策略优化”）的强化学习算法，该算法因在大语言模型DeepSeek-R1的训练中被采用而广为人知。

GRPO的工作方式为：对于每段输入视频和目标轨迹，让AI同时生成一批（例如12个）不同的视频版本，然后分别对这些版本打分，找出这批版本中表现最佳和最差的，以相对排名指导模型改进——表现好的路径需强化，表现差的需抑制。这比传统方法更节省计算资源，因为它无需额外训练一个专门负责“评估”的模型。

由于视频生成本身速度较慢（生成一段81帧的视频需要相当计算时间），研究团队还采用了“滑动窗口采样”这一加速技巧：并非每次都从头到尾处理整段视频，而是将注意力集中在当前训练最需优化的时间窗口内，这显著加快了收敛速度。

多维度奖励信号的汇总也需特别处理。直接将旋转误差、平移误差、视觉质量分等不同量纲的数字相加，如同将苹果与橙子混在一起比较大小，毫无意义。研究团队的做法是：先对每个维度的奖励进行“标准化”——将每个维度的分数转换为“这批样本中相对位置”的表达方式，再加权求和。这样，不同维度的信号就能公平参与最终评判。

此外，研究团队还特意去掉了强化学习训练中通常会加入的“约束”，即KL散度惩罚项。这一约束原本是防止模型偏离原始训练状态太远的“保险绳”。移除它，是为了让模型在面对训练时从未见过的、新颖复杂的摄像机轨迹时，拥有更大的探索空间，更敢于尝试新的生成策略。

整个训练过程在64块NVIDIA A800显卡上运行，共进行140轮迭代，耗时约130小时。为保证预训练模型的视觉生成能力，训练时仅更新模型中的“自注意力层”（即模型内部负责“综合判断、左顾右盼”的部分），其余参数全部冻结。

六、实验结果：数据说话，全面超越基线

研究团队在DA VIS数据集（一个常用的视频对象分割基准数据集，包含各种室内外真实视频）上进行评测，共使用50段视频，每段视频配有10种不同的目标摄像机轨迹，合计生成500个测试案例。

评测指标覆盖多个维度。相机精度方面，用TransErr（平移误差）和RotErr（旋转误差）衡量生成视频轨迹与目标轨迹的接近程度。几何一致性方面，用MEt3R（多视角几何一致性分数）和Dyn-MEt3R（动态场景几何一致性分数）评估生成视频与输入视频在三维结构上是否吻合。视觉质量方面，用VBench工具包评估主体一致性、背景稳定性、美学质量、成像质量、时序流畅度和运动平滑度。

与所有对比方法相比，Geo-Align在几乎所有指标上都取得了最好或接近最好的成绩。与直接前身模型ReDirector相比：平移误差从0.0149降至0.0129，改善约13%；旋转误差从1.4635降至1.3645，改善约7%；动态场景几何一致性从0.8497提升至0.8573；视觉质量的多项指标也全面提升。

在不同镜头运动速度的对比测试中，表现同样稳健。当目标轨迹的速度倍率提高到1.5倍和2.0倍（即镜头运动更快、幅度更大）时，ReDirector的各项指标均有明显下降，而Geo-Align的下降幅度更小，表明其对复杂、大范围的镜头运动具有更强的适应能力。

从直观的视频画面来看，在大幅度摄像机运动时，ReCamMaster和ReDirector经常出现主体消失、背景模糊的情况，如同老照片受潮发虚；而Geo-Align生成的视频，前景主体与背景细节均保持得更加完整清晰，几何关系也更加正确合理。

七、消融实验：每个设计都是必要的

为验证各设计选择的必要性，研究团队还进行了“消融实验”——即移除某个设计，观察效果变差的程度。

当只使用视觉美观奖励（去掉几何奖励）时，旋转误差反而比原始基线模型更差（从1.4635升至1.6082），说明单纯追求画面好看，可能反而会让模型忽视轨迹准确性，走偏方向。而加入几何奖励之后，不仅相机精度大幅提升，视觉质量也跟着改善——两个目标相互促进，而非相互矛盾。这表明几何约束并非“牺牲美观换来的精准”，而是帮助模型建立了更正确的三维理解，从而连带提升了画面的自然度。

八、局限与未来：好厨师也有拿不准的菜

任何技术都有边界，Geo-Align也不例外。研究团队坦诚地指出，模型在以下几种情况下仍易出错：摄像机旋转幅度极大（如360度转圈）、平移距离极远（如镜头快速飞跑）、或拍摄对象为紧贴摄像机的超大前景物体（如特写镜头贴着脸）。此外，当视频中含有大量运动物体（如人群涌动、车流穿梭）时，AI生成的视频会出现闪烁或物体忽隐忽现的问题，如同一张照片中的人物在“鬼闪”。

另一个现实问题是训练耗时。强化学习需要在每个训练批次中让AI生成多段完整视频，而视频生成本身就很慢，两者叠加，训练成本相当高昂。如何在不降低效果的前提下加速这一过程，是研究团队明确指出的下一步方向。

说到底，Geo-Align所做的工作，是给AI装上了一双具有物理感知的“眼睛”，让它不再依赖死记硬背的“合成数据答案”，而是通过反复在真实场景中试错、接受精确的几何反馈，真正学会如何控制镜头。这对于影视创作、游戏制作、虚拟现实内容生成等领域具有直接的应用价值——未来，你只需拍摄一段普通视频，便可利用AI生成任意所需的摄像机角度版本，而无需重新架设设备重拍。

归根结底，这项研究可用一句话概括：用“让AI自己去练习、用真实物理标准打分”的方式，替代了“给AI死记大量配对样本”的老路，成功使AI的“换镜头”能力在真实世界中变得可靠得多。

Q&A

Q1：Geo-Align和普通视频重渲染方法有什么本质区别？

A：普通方法依赖“标准答案”训练，需要同一场景多角度同步视频，而这类数据极其稀缺。Geo-Align用强化学习替代了这种依赖——它只需普通视频和目标摄像机轨迹，利用MapAnything工具衡量生成结果与目标轨迹的几何误差来打分，使AI在没有配对数据的情况下也能学会准确控制镜头。

Q2：Geo-Align训练需要的数据从哪来，普通人能复现吗？

A：训练数据由两部分混合而成：真实世界的CityWalk城市漫步视频（作为输入条件），以及从OmniWorld游戏引擎数据集中提取的摄像机轨迹（作为目标轨迹，经过物理尺度缩放处理）。整个训练在64块A800显卡上运行约130小时，对普通研究者而言硬件门槛较高，但数据获取方式是公开的。

Q3：Geo-Align生成视频时会出现哪些失败情况？

A：模型在极速旋转、大范围快速平移、或大型物体近距离特写时容易失效，生成画面可能出现比例错误或内容崩坏。当视频中有大量运动物体（如人群、车流）时，生成结果也容易出现闪烁或物体忽隐忽现的问题。这些边界情况是当前版本的主要局限。