先说几个核心判断：多镜头长视频生成技术，正从“盲盒式”的随机试错，迈向“实时导演”般的精准掌控。
想象一下，你坐在监视器后，一边审阅画面一边实时调整剧情走向——这不再是科幻电影中的桥段。香港中文大学MMLab与快手可灵团队联合提出的ShotStream，正将这种“实时导演”的体验落地为现实。
过去，生成几秒的单镜头已非难事。但一旦涉及多镜头长视频，体验就像开盲盒：撰写数百字剧本，将所有分镜提示词一次性输入模型，再等待半小时。只要中间一个镜头崩坏，就得全部推翻重来，缺乏交互性且延迟极高。
ShotStream的突破在于，它打破了传统双向架构的限制，将多镜头合成重新定义为基于历史上下文的“下一镜头生成”任务。这意味着用户可通过动态流式提示词，在运行时实时引导叙事走向。更关键的是，该模型在单张H200 GPU上即可达到16 FPS的推理速度，相比双向模型，效率提升了25倍以上。
该工作已被计算机视觉顶级会议ECCV 2026接收，训练、测试代码和模型均已开源。
- 论文标题：ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
- 项目主页：https://luo0207.github.io/ShotStream/
- 论文：https://arxiv.org/pdf/2603.25746
- 代码：https://github.com/KlingAIResearch/ShotStream
ShotStream 能力展示
更多示例可查阅原论文与项目主页。
ShotStream 创新点
要在低延迟下实现流式生成，同时保证多镜头间的连贯性，ShotStream在架构设计上完成了三项关键创新：
首先，它提出了首个实时流式多镜头长视频生成架构。用户可在生成过程中通过流式提示词动态调整故事情节发展，这在以往是无法实现的。传统双向架构需要看到所有帧才能生成，而ShotStream真正实现了交互式叙事。
其次，设计了一个高效的双缓存记忆框架。全局缓存负责存储稀疏条件帧，确保跨镜头间的一致性；局部缓存则负责存储当前镜头刚生成的帧，维持单镜头内的流畅。但直接使用双缓存会带来一个棘手问题：自回归生成中，模型容易混淆历史画面与当前正在生成的画面，导致时序错乱。为此，作者提出了RoPE旋转位置编码残差，在每次镜头切换的边界处对时间维度的RoPE施加一个离散的相位偏移，从而显式解耦了全局与局部上下文。整个过程无需引入额外复杂模块，干净利落。
第三，提出了一种两阶段自强制蒸馏策略。自回归生成长视频的最大痛点在于误差累积，生成的画面会逐渐偏离轨道。作者设计的两阶段训练，第一阶段用真实的历史画面训练，让模型掌握基础能力；第二阶段用模型自己生成的历史画面作为条件，逼迫模型学会在不完美中自我纠偏。这种训推一致的策略，有效克服了多镜头长视频的误差累积。
ShotStream 算法解读
阶段一：双向下一个镜头预测模型训练
具体而言，首先将双向文生视频模型微调为一个双向的“下一镜头”教师模型，使其具备根据历史帧生成下一个镜头的能力。为了避免数百帧的历史镜头导致显存爆炸，作者设计了动态采样策略，提取出稀疏的历史上下文帧。随后，通过Token拼接机制，将上下文特征与目标噪声送入DiT模型。
阶段二：因果模型蒸馏
接着，利用分布匹配蒸馏（DMD）技术，将缓慢的双向教师模型蒸馏为一个仅需4步去噪的流式因果学生模型。这一步直接带来了25倍以上的推理加速，实现了16FPS的实时生成。
双缓存机制与不连续RoPE
在多镜头自回归生成中，模型很容易混淆历史画面和当前正在生成的画面。双缓存记忆机制通过全局缓存存储稀疏条件帧维持跨镜头一致性，局部缓存存储当前镜头刚生成的帧维持单镜头内的一致。但问题是，同时查询两个缓存会带来时间维度上的歧义。作者对模型原有的旋转位置编码进行了改进，提出了不连续RoPE——在每次镜头切换的边界处，对时间维度的RoPE施加一个离散的相位偏移。这显式地解耦了全局与局部上下文，让模型无需引入任何额外复杂网络模块，就能精准区分不同缓存，确保蒸馏过程的稳定性。
两阶段自强制蒸馏
自回归生成长视频的最大痛点在于误差累积。为了缓解该问题，作者设计了两阶段自强制蒸馏训练：第一阶段，在单镜头内利用真实的Ground-Truth历史画面进行训练，让模型具备基础的下一个镜头生成能力；第二阶段，跨镜头利用模型自己生成的历史画面作为条件进行训练。两阶段训练策略解决了训练与推理之间的差异，逼迫模型学会在自己的不完美中进行纠偏，大幅提升了多镜头长视频的画质稳定性和连贯性。
实验结果
在跨镜头一致性、镜头切换控制、文本对齐度等各项多镜头长视频核心指标上，ShotStream均显著优于或比肩Mask2DiT、CineTrans等现有双向模型，以及LongLive等自回归模型。同时，实现了16FPS的实时生成。
总结
ShotStream作为首个多镜头长视频生成模型，凭借其创新的双缓存记忆机制及两阶段蒸馏方法，加上单卡16FPS的卓越性能，验证了实时流式多镜头长视频生成模型的巨大潜力。模型与训练、测试代码的开源，也将为社区提供强有力的支持。可以预见，AIGC视频创作正在进入一个交互更实时、叙事更自由的新阶段。