先聊一个常见的困扰：手里有一段现成的视频，想换个角度观察同一个场景，可视角一转，画面里的人物瞬间“变脸”——刚才还是短发，怎么换个方向就长发飘飘了？动作也跟着一起跳戏，左手挥动变成了右手？这种现象在当下的视频生成领域并不少见。做4D重建时，需要多视角的监督信息，可不同视角串行出来的结果，彼此总是“对不上号”。那么，假若我们只需要一段输入视频和几组目标相机参数，就能一次性并行生成多条视角完全一致的视频，甚至可以直接反投影出完整精细的动态3D点云。这不正是视频世界模型向真正空间智能迈进的关键一步吗？

CameraSquad，正是为破解上述难题而诞生的。

近期，中国科学院大学高林研究员团队，联合卡迪夫大学、香港科技大学、快手可灵团队，正式提出了一种面向多轨迹并行生成的相机可控视频生成方法——CameraSquad [1]。该论文已被ACM SIGGRAPH 2026收录。它的核心思路是基于Wan2.2视频扩散模型，构建一个支持多轨迹并行生成、同时实现精确相机控制与跨视角内容一致性的框架。简单来说，给定一段输入视频和多组目标相机参数，CameraSquad能够一次性并行生成多条空间一致的视频，为4D重建等下游空间智能任务提供高质量的3D世界状态。

图 1 CameraSquad 多轨迹生成示例

图 2 多视角内容一致的点云反投影结果

Part 1 研究背景

近年来，相机可控视频生成已成为视频生成与空间智能领域的核心方向。现有工作大致可分为隐式控制和显式建模两类。隐式控制方面，涌现了不少有趣的研究：例如CameraCtrl [4] 利用Plücker坐标建模相机轨迹，MotionCtrl [5] 基于外参矩阵进行运动控制，CamCo [6] 引入了极线注意力来增强几何对齐，Direct-a-Video [14] 和 ReCamMaster [8] 更是支持用户直接绘制路径或通过相机注意力实现精确运镜。显式建模的核心思路类似ViewCrafter [7]，即从单张图片恢复3D结构再渲染新视角，而Gen3C [2] 则采用3D点云缓存来维护世界状态。

这些方法确实推动了领域进步，但它们普遍依赖一个共同范式：单轨迹串行推理。这意味着，若想生成多个视角的视频，只能一条轨迹一条轨迹地独立推断，结果很难在一次生成中同时保证效率、相机精度和跨视角的内容一致性。

这个限制对下游任务的影响是直接的。4D重建需要多视角视频作为监督信号，如果不同视角之间存在外观、位置或几何的不一致，误差就会在重建过程中不断累积，最终的质量自然大打折扣。VR/AR这类沉浸式应用对空间连续性要求更高，视角间的内容冲突会直接破坏沉浸体验，甚至误导后续的感知模块。更关键的是，引入相机控制信号不能以牺牲视频扩散模型原有的生成质量为代价。因此，问题的核心变得非常明确：精确运镜、多轨迹一致性、高质量生成——这三个目标必须同时实现。

与此相比，Gen3C [2] 和 VerseCrafter [3] 虽然通过3D点云缓存和4D几何控制来尝试维护统一的世界状态，但本质上仍未跳出串行推理的框架。核心问题在于，每条轨迹都在相对独立地推断同一个世界，缺乏足够的信息交互。结果，同一个主体在不同视角下，外观、位置、甚至动作状态都可能对不上。CameraSquad的解决思路则不同：它不再依赖生成后的补救，而是在并行推理过程中引入双模式跨视角注意力，让多条目标相机轨迹能够共享内容与几何信息，从根本上提升多视角一致性，为4D重建和空间智能任务提供更可靠的视频先验和3D世界状态。

Part 2 算法原理

CameraSquad 基于 Wan2.2 视频扩散模型构建。它的核心理念很简单：让多条轨迹在并行推理中，对同一个三维世界保持空间感知的一致性。整个框架围绕两个关键设计展开。

第一个设计是相机与内容的解耦注意力。世界模型里，“世界是什么”和“从哪里观察世界”是两类本质完全不同的信息。混在一起处理，难免互相“打架”。CameraSquad 的优化思路是：把 DiT 中原有的 3D 自注意力改造为内容注意力（Content-Attention）。这条通路专门处理输入视频的内容参考——输入视频的 token 与加噪的目标 token 按帧拼接后，通过自注意力交互，实现目标与参考内容之间的有效交叉学习。与此同时，另建一条空间注意力通路（Camera-Attention），使用 PRoPE [10] 机制将相机内外参数编码进注意力变换矩阵。PRoPE 的特殊之处在于，它不是简单地把相机参数压缩成一串 1D 数值，而是将特征维度分为三段：前半段编码 3D 几何投影关系（利用相机内参矩阵与视图矩阵构建的投影矩阵 P），后两段则分别编码 2D 旋转位置嵌入在 x 轴和 y 轴的位置信息。

这就意味着模型在注意力层面，直接感知的是 3D 空间中两个相机视锥体之间的投影几何关系，而不是简单的数值编码。这条空间通路通过零初始化的投影层注入主干，训练时参数冻结。既给了模型空间控制的能力，又不损害其原本的生成质量。两个关键问题——生成能力和控制精度——一次性解决。

第二个设计是双模式跨视角注意力。串行推理的问题大家都看得很清楚：每条轨迹都在独立猜测同一个世界，信息沟通完全缺失。双模式跨视角注意力就是为了让多条轨迹在并行推理中“互通有无”，共同看清同一个世界。具体分为两个模块：CVA-α 负责内容一致性。它的做法是让参考视频 token 提供 Key 和 Value，各轨迹的加噪 token 作为 Query，通过 reshape 让同一帧不同视角的 token 相互可见。简单说，就是同一时刻、不同视角的像素级信息在注意力层面共享。这样一来，不同视角下对同一个物体的外观理解是一致且明确的，不需要各自单独猜测。CVA-β 则负责几何一致性。它把 PRoPE 空间注意力从沿帧维度计算，调整为沿视角维度计算。结果是，多视角之间的几何监督直接参与注意力运算，相机精度和跨视角几何一致性都得到增强。一句话总结：CVA-α 管“看起来一样”，CVA-β 管“位置也对得上”。两种模块交替插入偶数 DiT Block，共同构建多视角的空间一致感知能力。

此外，在多视角一致的结果基础上，CameraSquad 用 DA3 [11] 进行深度估计并反投影生成动态点云。相比单视角反投影，多视角融合的点云更大、更精细，还能通过时间维度捕捉场景动态，为下游空间智能任务提供高质量的 3D 世界状态。训练上，研究团队采用两阶段方案：第一阶段在低分辨率下训练单轨迹空间控制，让视频模型先学会感知相机控制条件；第二阶段引入 CVA 支持多轨迹并行生成，并将分辨率升至原分辨率。同时，团队还引入了噪声注入策略来缓解合成训练数据与真实数据之间的域差异问题。

Part 3 效果展示

图 5 多轨迹并行生成的定性对比结果

多轨迹并行生成是 CameraSquad 最大的优势——这几乎是所有对比方法都做不到的。如图5所示，不同轨迹生成的视频中，同一个物体在不同视角下，外观、纹理和位置始终保持一致。这恰好符合“同一个物理世界在不同观察角度下应保持一致”的基本要求。相比之下，其他方法基于串行推理得到的结果，则出现了明显的跨视角不一致。

图 6 更多定性对比结果

CameraSquad 支持最多 6 条轨迹的同步生成。无论是人体视频还是风景视频，都能稳定输出一致的结果。

Part 4 结语

视频生成正在从“生成画面”走向“构建世界模型”，空间智能是这一转变的核心要求。传统方法只能一条轨迹一条轨迹地串行推理，扩散模型的自由发挥让同一个世界在不同视角下“各自为政”。单视角点云反投影也只能勉强补救，深度误差和稀疏性让 3D 世界状态大打折扣。CameraSquad 的出现在很大程度上改变了这一现状。它通过解耦的空间与内容注意力实现精确相机控制，借助双模式跨视角注意力赋予模型多视角一致感知能力，并通过多视角深度估计反投影构建更完整的 3D 世界状态。让视频世界模型真正具备了对同一三维世界在不同观察角度下保持一致理解的能力。

只要给定一段输入视频和多组目标相机参数，CameraSquad 就能一次性并行生成多条空间一致的视频，为 4D 重建、场景理解、自动驾驶等空间智能任务提供更高质量的 2D 先验和 3D 世界状态。正如 Gen3C 用 3D 缓存维护世界状态、VerseCrafter 用 4D 几何控制统一动态表达，CameraSquad 则用跨视角注意力确保了空间的一致感知。三者各展所长，共同推动视频世界模型迈向真正的空间智能。

有关论文的更多细节，及论文、视频、代码的下载，请浏览项目主页：

https://rabberk.github.io/CameraSquad/

参考文献

[1] Zhufeng Xu, Xuan Gao, Bailin Deng, Yikang Ding, Xiaogiang Liu, Haoxian Zhang, Pengfei Wan, Hongbo Fu, Lin Gao, CameraSquad: Achieving Content Consistency in Parallel Multi-Trajectory Camera-Controlled Video Generation, ACM SIGGRAPH 2026.

[2] Xuanchi Ren, Tianchang Shen, Jiahui Huang, Huan Ling, Yifan Lu, Merlin Nimier-Da vid, Thomas Müller, Alexander Keller, Sanja Fidler, Jun Gao, Gen3C: 3D-Informed World-Consistent Video Generation with Precise Camera Control, CVPR 2025, 6121-6132.

[3] Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu, VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control, arXiv preprint arXiv:2601.05138..

[4] Hao He, Yinghao Xu, Yuwei Guo, Gordon Wetzstein, Bo Dai, Hongsheng Li, Ceyuan Yang, CameraCtrl: Enabling Camera Control for Text-to-Video Generation, ICLR 2024.

[5] Zhouxia Wang, Ziyang Yuan, Xintao Wang, Tianshui Chen, Menghan Xia, Ping Luo, Ying Shan, MotionCtrl: A Unified and Flexible Motion Controller for Video Generation, ACM SIGGRAPH 2024 Conference Papers , 1-11.

[6] Dejia Xu, Weili Nie, Chao Liu, Sifei Liu, Jan Kautz, Zhangyang Wang, Arash Vahdat, CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation, arXiv preprint arXiv:2406.02509..

[7] Wangbo Yu, Jinbo Xing, Li Yuan, Wenbo Hu, Xiaoyu Li, Zhipeng Huang, Xiangjun Gao, Tien-Tsin Wong, Ying Shan, Yonghong Tian, ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1-18.

[8] Jianhong Bai, Menghan Xia, Xiao Fu, Xintao Wang, Lianrui Mu, Jinwen Cao, Zuozhu Liu, Haoji Hu, Xiang Bai, Pengfei Wan, Di Zhang, ReCamMaster: Camera-Controlled Generative Rendering from a Single Video, ICCV 2025, 14834-14844.

[9] Mark Yu, Wenbo Hu, Jinbo Xing, Ying Shan, TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models, ICCV 2025, 100-111.

[10] Ruilong Li, Brent Yi, Junchen Liu, Hang Gao, Yi Ma, Angjoo Kanazawa, Cameras as Relative Positional Encoding, NIPS 2025.

[11] Haotong Lin, Sili Chen, Junhao Liew, Donny Y. Chen, Zhenyu Li, Guang Shi, Jiashi Feng, Bingyi Kang, Depth Anything 3: Recovering the Visual Space from Any Views, arXiv preprint arXiv:2511.10647.

[12] Max Bain, Arsha Nagrani, Gül Varol, Andrew Zisserman, Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval, ICCV 2021, 1728-1738.

[13] Zhenzhi Wang, Yixuan Li, Yanhong Zeng, Youqing Fang, Yuwei Guo, Wenran Liu, Jing Tan, Kai Chen, Tianfan Xue, Bo Dai, Dahua Lin, HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation, NeurIPS 2024, 20111-20131.

[14] Shiyuan Yang, Liang Hou, Haibin Huang, Chongyang Ma, Pengfei Wan, Di Zhang, Xiaodong Chen, Jing Liao, Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion, SIGGRAPH 2024, 1-12.