miragelsd 是由 decart ai 团队研发的全球首个 live-stream diffusion(实时流扩散)ai 视频模型。该模型具备无限时长的实时视频生成能力,延迟控制在 40 毫秒以内,支持每秒 24 帧的流畅输出。借助 diffusion forcing 技术和历史增强训练,miragelsd 解决了传统自回归模型在长时间生成过程中产生的误差累积问题,从而实现持续不断的视频生成。通过采用基于 hopper 架构优化的 mega kernels、架构感知剪枝和 shortcut distillation 等技术,miragelsd 在保证高质量画面的同时显著提升了生成速度,真正实现了实时交互体验。
MirageLSD的核心功能
MirageLSD的技术实现
Diffusion Forcing 技术:逐帧去噪机制,使模型无需依赖完整视频上下文即可独立生成每一帧图像,实现帧级别的生成控制。历史增强训练方法:在训练过程中引入历史帧噪声信息,帮助模型预测并修正输入误差,从而支持无限时长的视频生成。性能优化策略:Hopper 架构优化的 Mega Kernels:针对 NVIDIA Hopper GPU 架构进行优化,降低每层计算延迟。架构感知剪枝:根据 GPU 架构调整模型参数规模,减少计算资源消耗。Shortcut Distillation:通过训练小型模型模拟大型模型的去噪过程,减少扩散步骤,提高生成效率。MirageLSD的相关链接
技术论文地址:https://www.php.cn/link/2ee48d7685054b85f9e9d9b8b67c404fMirageLSD的实际应用领域
直播与视频通话:可将真实场景实时转换为科幻、卡通等指定风格,提升互动体验。游戏开发:实现实时视觉风格转换,如将普通战斗画面变为光剑对决风格。动画与虚拟换装:提供实时视觉效果支持,适用于动画制作及虚拟试衣等场景。