最早走红的是阿里旗下的通义千问全民舞王，当时跳科目三的视频热潮席卷全网，爆款作品动辄达到百万播放量。随后可灵AI也引发了一波关注，但它的全民舞王功能却存在生成次数限制，超出后就需要付费使用。而腾讯则一如既往地低调开源——这次又双叒叕发布了一个全新项目。要知道，阿里其实也开源过不少优质资源，比如媲美ChatTTS的语音克隆、数字人项目等，不过大众的注意力都被Emo吸引走了，关注度自然下降。腾讯这边却稳扎稳打，Windows一键整合包、ComfyUI工作流均已同步上线，至于WebUI嘛……还需要再等等。

生成效果展示

MimicMotion简介

MimicMotion是腾讯推出的一款AI人像动态视频生成框架。它的核心功能非常直观：用户只需提供一张参考图像，再加上一系列参考姿态，就能生成高质量且姿态同步的人类动作视频。背后起关键作用的是“置信度感知的姿态引导”技术，它能够确保视频帧的画质以及帧与帧之间的过渡流畅自然。

功能特色

该框架的功能覆盖了从简单到复杂的多种应用场景：

• 生成多样化视频：无论是舞蹈、运动还是日常活动，只需提供姿态，即可生成对应的动作视频。

• 可控制视频长度：从几秒的短视频到几分钟的长视频，用户可自由指定时长。

• 姿态引导控制：以参考姿态为条件，确保视频动作精准匹配，实现高度定制化生成。

• 细节质量保证：特别关注手部等容易失真的区域，通过置信度感知策略显著提升画质表现。

• 时间平滑性：帧与帧之间过渡自然，避免出现卡顿或跳跃感。

• 减少图像失真：借助置信度感知的姿态引导，有效降低因姿态估计不准带来的变形问题。

• 长视频生成：采用渐进式潜在融合技术，保持长时间序列的视觉连贯性。

• 资源消耗控制：算法经过优化，即便生成较长的视频，也能合理管理计算资源。

官网入口

MimicMotion的官网提供了完整的技术文档、使用教程以及下载链接。感兴趣的话可以直接搜索“MimicMotion 官网”，或前往腾讯相关的技术平台页面获取资源。

技术原理

在技术实现层面，MimicMotion的底层逻辑十分清晰：

• 姿态引导的视频生成：以用户提供的姿态序列作为输入条件，驱动视频内容的生成过程。

• 置信度感知的姿势指导：分析姿态估计模型输出的置信度分数，对关键点进行加权处理，降低不准确估计带来的负面影响。

• 区域损失放大：对手部等容易失真的区域，在损失函数中增加权重，专门提升这些部位的质量表现。

• 潜在扩散模型：利用该模型提升生成效率和质量，同时有效降低计算成本。

• 渐进式潜在融合：在生成长视频时，逐步融合重叠帧的潜在特征，实现平滑过渡。

• 预训练模型的利用：基于Stable Video Diffusion（SVD）等预训练模型，减少训练所需的数据量和计算资源消耗。

• U-Net和PoseNet结构：U-Net负责时空交互，PoseNet提取姿态序列特征，两者协同完成高质量视频生成。

如何体验MimicMotion？

动手尝试并不复杂。首先准备好参考图像和姿态序列，然后使用MimicMotion模型进行推理。过程中可以调整置信度感知姿态引导的相关参数，对特定区域应用区域损失放大策略以优化画质。如果需要生成长视频，开启渐进式潜在融合功能，再配合重叠扩散技术来输出任意长度的视频。顺便提一下，进行用户研究和消融实验对评估和改进生成效果很有帮助，建议认真对待。

按照这套流程，你就能充分挖掘MimicMotion的潜力，生成符合自己需求的动态视频。

ComfyUI层级结构