先回答一个可能大家都在关心的问题:达摩院的寻光,到底是个什么产品?简单说,这是阿里达摩院在2024年上海世界人工智能大会(WAIC)上首次亮相的一站式AI视频创作平台。它的目标很直接——让视频编辑像操作PPT一样简单。听起来有点夸张?但实际体验下来,确实有几分道理。
传统的视频制作流程是什么样?剧本、分镜、素材、剪辑、后期……每个环节可能需要不同的工具和专业技能。寻光要做的事情很明确:把这些分散的步骤全部整合到一个平台上。你可以在同一个地方完成剧本创作、分镜图设计、视频素材编辑,甚至直接用AI辅助生成这些内容。
但寻光真正的亮点,在于它的AI编辑能力。它支持对生成及上传的素材进行超过10种精细编辑:人物控制、场景控制、运镜控制、目标新增/消除/修改……这些操作都可以在语义层面完成。换句话讲,你不需要手动逐帧修图,输入文本指令,系统就能理解你的意图。
更重要的是,寻光引入了视频图层编辑的概念。你可以在视频中提取特定人物或物体,保留透明背景,然后将其融合到其他场景中。哪怕是飘动的头发这类细节,也能处理得很干净。这背后,是达摩院视觉技术实验室在精准控制生成与编辑方面的积累。
寻光官网地址:https://xunguang.damo-vision.com/

核心功能有哪些?
整理下来,寻光现在能做的事情基本覆盖了视频创作的全链路:
一站式服务:剧本创作、分镜设计、素材编辑全在同一个平台上完成,不再需要在多个工具之间切换。这对非专业用户来说,降低了不小的门槛。
AI编辑能力:在语义层面进行编辑,通过文本指令控制视频内容。例如调整镜头角度、消除或修改目标对象、控制人脸精准运动——这些以前需要逐帧修图的工作,现在靠指令就能完成。
视频图层编辑:这是寻光的一个创新点。可以提取并编辑视频中的特定对象,人物或物体都可以,提取后自带透明背景,便于融合到其他场景中。无论素材是AI生成的还是实拍的内容,都能进行图层拆解和融合,定制化完成度很高。
风格迁移与运镜控制:支持20多种风格迁移,让视频风格变换变得非常方便。运镜方面,平移、推进、拉远、环绕等多种效果都支持控制,视觉效果很丰富。
剧本与分镜辅助:不仅简化后期编辑,也辅助前期创作剧本和分镜图。直接从剧本到分镜,AI帮你把想象中的画面具象化。
定制角色:谁能成为你的主角?寻光支持专属定制角色,在故事中实现一致性表现。演员由你定,角色由你控制。
视觉素材自由创作:按照你的想法生成具备一致性的角色和场景画面,再配合运镜控制、运动编辑,完成你的个人大片。

内测申请:三类用户都能参与
从目前的开放情况来看,寻光面向的用户群体非常宽泛,主要分成三层:
大众用户:普通爱好者为代表的UGC群体,对视频创作感兴趣但可能缺乏专业工具经验。
准专业用户:自媒体或小型工作室为代表的PUGC群体,需要快速产出高质量内容。
专业用户:使用标准工作流、团队化商业交付的PGC群体。
这意味着无论你是视频新手还是行业老手,基本都能找到适合自己的使用方式。

技术背景与来源
寻光由达摩院-视觉技术实验室开发。这个实验室的主要方向是多模态视觉信号的理解与生成技术研究,当前重点包括:更精准的图像/视频/3D内容生成、更可控的图像/视频/3D内容编辑、更高效的生成框架、多模态检索增强生成,以及统一的多模态理解-生成框架。
从技术路径上看,寻光出现在这里并不令人意外。多模态生成与编辑的能力,正在从一个实验室课题变成实用的产品体验。
最后,附上官网地址:https://xunguang.damo-vision.com/
寻光官网入口:https://xunguang.damo-vision.com/&size=150&margin=10
