游乐游手机版
首页/AI教程/文章详情

OpenMontage零成本视频制作教程

时间:2026-07-11 14:33
OpenMontage无需付费APIkey,利用Piper配音、Remotion合成及开放素材库等免费工具链,实现两种零成本视频制作路径:一是基于图片和动画的解说类科普视频,二是基于真实运动镜头的纪录片蒙太奇。实测表明,该工具通过纯矢量动画或检索开放素材,可完整生成45秒科普短片与90秒纪录片,全程零花费。

在上一篇的结尾,我们分别向AI编程助手输入了两条提示词——一条要求制作“天空为什么是蓝色”的动画解说,另一条要求生成“凌晨四点的城市”真实素材纪录片。当时只是让它们顺利运行,并未深入探讨背后的运作机制。本文将彻底拆解这两个实例,展示在不花费任何费用、不配置任何付费API密钥的情况下,OpenMontage究竟如何实现这两类视频的创作。

“零密钥”这一特性值得单独强调,因为市面上许多标榜免费的AI视频工具,本质上仅能将静态图片转换为简单动画,即所谓的“animate still images”。而OpenMontage的零密钥路径远不止于此——它既能利用Piper配音结合图片生成动态成片,也能从开放素材库中检索真实的运动镜头,剪辑出一部纪录片风格的作品。接下来,我们将逐一走通这两条路径。

零密钥的两条路径

上一篇已对零密钥的免费工具链进行了全面梳理:旁白由Piper负责,素材来源包括Archive.org、NASA、Wikimedia以及免费图库,合成环节依托Remotion和HyperFrames,后期处理使用FFmpeg,字幕功能内置其中。一条完整的视频制作链路,每个环节都有免费工具作为支撑。OpenMontage将这些能力整合为两条可直接上手的主路径:一条是图片视频路径,另一条是真实素材纪录片路径。

两条路径的差异,通过下表对比便一目了然:

维度图片视频路径真实素材纪录片路径
视觉来源静态图片真实运动镜头
运动来源Remotion 弹簧动画、镜头运动素材本身的真实运动
典型成片解说类、数据驱动的科普视频纪录片蒙太奇、情绪短片
对应 pipelineanimated-explainer 等documentary-montage
旁白Piper 配音常用可有可无,常用纯音乐

图片视频路径

第一条路径最接近大众认知中的免费AI视频,但OpenMontage将其打造得更为完善:Piper为脚本配音,Remotion将画面制作成带有弹簧动画、镜头运动及字幕的完整成片。此处的画面既可以是生成或检索所得的图片,也可以是Remotion纯合成的矢量动画——在下面的实测中,它甚至未使用任何图片。

直接复制下面这句提示词到你的AI编程助手中:

Make a 45-second animated explainer about why the sky is blue# 做一个 45 秒的动画解说视频,讲讲天空为什么是蓝色

这句提示词未包含任何素材生成的诉求,agent会自动完成调研、脚本撰写、配音、画面制作及渲染的全链路,每个创作节点都会暂停等待你的确认。整条链路无需依赖付费的视频生成模型。

这里的核心在于Remotion的合成能力。它并非简单地将图片轮播,而是提供了一整套React场景组件:弹簧动画图片场景、文字卡(text_card)、数据卡(stat_card)、各类图表、分节标题、大标题卡,以及抖音风格的逐词字幕和场景转场。因此,这条路径尤其适合数据驱动的科普视频——讲解一个知识点,搭配几张图片,再用图表将数据直观呈现。

使用Claude Code将上述提示词实测运行了一遍。agent首先选定animated-explainer流水线,进行了一轮联网调研,并提供了四个创意方向供选择:

  • 一条规律,两种天空(叙事向,agent推荐):用同一机制串联正午的蓝天与黄昏的红日,画面从白昼自然过渡到日落,45秒内呈现一个收束有力的结尾
  • 天空本该是紫色(破除迷思向):以“按物理推算天空该是紫色”这一反直觉的钩子开场,随后揭示其实际呈现蓝色的原因
  • 5.5倍的竞赛(数据驱动向):围绕波长展开,短蓝波被空气分子弹开的概率约为红波的5.5倍,以数据卡为主要呈现方式
  • 光的障碍赛(类比向):将阳光比作穿越分子场的赛跑者,小个子的蓝波被频繁撞偏,大块头的红波则径直穿过

实测中选择了“一条规律,两种天空”,agent据此撰写了一份45秒、115词的脚本,并通过schema校验。以下是该脚本的主体内容(为便于阅读,省略了每段的配音指导、分镜提示等字段,仅保留旁白文本和时间轴):

{
"version": "1.0",
"title": "Why Is the Sky Blue?",
"total_duration_seconds": 45,
"sections": [
{"id": "s1", "label": "Hook", "text": "Sunlight looks white. So why is the sky above you blue, and not green, or pink?", "start_seconds": 0, "end_seconds": 6},
{"id": "s2", "label": "Setup", "text": "That white light is really every color mixed together. As it pours into our air, it strikes countless tiny molecules of gas.", "start_seconds": 6, "end_seconds": 14.5},
{"id": "s3", "label": "The Rule", "text": "Here's the one rule behind it all: the shorter the wa ve, the more it scatters. Blue scatters about five times more than red, so it ricochets across the whole sky and into your eyes.", "start_seconds": 14.5, "end_seconds": 27.5, "source_ref": "Rayleigh scattering intensity scales as 1/lambda^4; blue ~450nm scatters ~5.5x more than red ~700nm"},
{"id": "s4", "label": "Why Not Violet", "text": "Violet scatters even more. But the sun sends less of it, and your eyes simply prefer blue.", "start_seconds": 27.5, "end_seconds": 34.5},
{"id": "s5", "label": "The Sunset Payoff", "text": "Now drop the sun to the horizon. Its light cuts through far more air, the blue scatters away, and only red survives.", "start_seconds": 34.5, "end_seconds": 43},
{"id": "s6", "label": "Landing", "text": "One rule. Two skies.", "start_seconds": 43, "end_seconds": 45}
],
"metadata": {"concept": "One Rule, Two Skies", "playbook": "flat-motion-graphics", "word_count": 115, "pace_wpm_target": 153, "render_runtime": "remotion", "music": "none"}
}

进入画面环节时,它并未生成或检索图片,而是现场编写了一个自定义的Remotion组件,利用纯SVG动画演示瑞利散射,并配上数据卡将“蓝光散射强度约为红光的5.5倍”这一数据直观呈现。配音环节出现了一点小插曲:agent误以为机器上已配置好ElevenLabs、OpenAI、Google、豆包等云端TTS,逐一尝试却全部失败(ElevenLabs直接返回401),于是自动回退到本地的Piper完成旁白。最终在本地渲染出1920×1080的成片,并自动抽帧逐场质检,使用ffprobe核对音画同步。整条链路实际花费为0.00美元。

这里其实隐藏着一个易踩的坑。根本没有配置任何付费密钥,只是将.env.example原样复制为.env,问题就出在这里。这个.env文件中ELEVENLABS_API_KEY=等配置的等号后面虽然是空值,却跟着一行行内注释:

# --- Voice ---
ELEVENLABS_API_KEY= # TTS narration, music generation, sound effects
OPENAI_API_KEY= # OpenAI TTS fallback and DALL-E image generation
DOUBAO_SPEECH_API_KEY= # Volcengine Doubao Speech TTS (new console API Key)
# Piper local voices do not require env vars; install `piper-tts` via pip

解析器会将这句注释错误地当作key的值读入,OpenMontage误以为密钥已配置,于是逐一尝试这些云端服务,自然就触发了401错误。因此,在复制.env时,务必删除每行后面的注释(或填入真实的密钥),否则就会像这样平白触发一系列失败的云端调用。

抛开这个坑不谈,此次实测也充分体现了零密钥兜底的价值:当云端TTS全部不可用时,本地的Piper成了唯一可行的选择。因此,即使你计划使用付费模型,也值得先将零密钥的兜底链路配置好。

成片效果如下:

这部片子的画面是纯手工编写的SVG动画,坦白说谈不上精致,单独看略显简陋。但搭配旁白和逐词字幕一路讲解下来,整体效果有模有样,作为知识点的科普短片完全够用。

如果希望画面更加精致,就需要让生成模型登场了。上一篇提到的那几支仅花费0.15美元的吉卜力风格动画,本质上就是这条路径的升级版:将免费图片替换为FLUX生成的图片,再让Remotion加入多图交叉淡入、镜头推拉、粒子叠加等效果。零密钥时,将图片替换为免费图库或开放素材即可。

真实素材纪录片路径

第二条路径才是OpenMontage区别于普通免费工具的核心所在。它对应的是documentary-montage这条pipeline,所做的工作是:从Archive.org、NASA、Wikimedia Commons,以及Pexels、Unsplash等免费来源,构建一个CLIP可检索的语料库,然后按语义检索真实运动镜头,并依照叙事节拍剪辑成片。

要走这条路径,提示词中必须明确写上“use real footage only”,告诉agent不要生成画面,而是检索真实素材。例如:

Make a 90-second documentary montage about what a city feels like at 4am. Use real footage only, no narration, elegiac tone.# 做一个 90 秒的纪录片式蒙太奇,表现凌晨四点城市的感觉。只用真实素材,不要旁白,挽歌般的基调。

这句提示词包含三个关键信号:documentary montage指定了pipeline,use real footage only锁定真实素材,no narration, elegiac tone确定了情绪基调。官方的提示词画廊中还提供了另外几个变体,比如Adam Curtis风格的档案拼贴、雨中归家的梦境蒙太奇,套路基本相同。

这条路径的素材全部来自开放素材库,而这些素材库分为两种类型:

  • 真正零密钥、连注册都无需:Archive.org、NASA、Wikimedia Commons、美国国家档案馆(NARA)、国会图书馆(LoC),直接调用API即可搜索;
  • 免费、但需要注册一个密钥:Pexels、Unsplash、Pixabay,密钥免费获取,但需前往官网申请。

以Pexels为例,它是这条路径中现代实拍素材的主力来源:登录pexels.com/api点击一下即可获得免费密钥,额度也较为宽松(每月两万次)。

这两类素材库的差异,在实测“凌晨四点的城市”这一现代题材时体现得尤为明显:真正零密钥的那几个源其实相当受限,Archive.org偏重老胶片,Wikimedia按松散标签匹配、返回的画面经常跑题(曾搜到苏格兰民谣乐队、算盘特写等完全不相干的镜头)。这些源更适合做档案、复古风格的纪录片;如果你要做的是现代题材,建议顺手去Pexels注册一个账号、申请一个免费密钥,它在当代实拍素材的丰富度和质感上都更靠谱。

与其它pipeline一样,documentary-montage也是分几个阶段逐步运行:idea(定方向)→ scene_plan(拆解为一个个镜位)→ assets(为每个镜位准备素材)→ edit(排成时间线)→ compose(渲染成片)。流水线的机制后续会单独开一篇详细讲解,这里只聚焦它最具特色的素材(assets)阶段。pipeline_defs/documentary-montage.yaml中为这一阶段提供了direct_clip_searchcorpus_builderclip_search三个工具,对应两条选片逻辑截然不同的子路径:

  • 标准路径:先使用corpus_builder将候选素材下载下来、计算好CLIP向量并构建语料库,再使用clip_search对每个镜位的描述计算相似度,由机器打分选片。适合50个以上镜位的大批量、无人值守场景;代价是corpus_builder依赖torch、transformers等机器学习库。
  • 快捷路径:使用direct_clip_search直接搜索并下载素材,不计算CLIP向量,然后将每个候选素材抽取为缩略图,让agent(或并行的子agent)逐张“看图”挑选最贴合的素材。依赖最轻,适合分幕产出、人工逐幕审核。

这台机器未安装torch、transformers等库,corpus_builder无法运行,标准路径走不通,因此实际采用的是快捷路径:为18个镜位各下载6个候选素材,再开启3个并行子agent分别查看缩略图,对照分镜描述和“凌晨/空旷/挽歌”的基调选片,还顺手标注了哪些候选素材不太贴合(例如有个鸽子镜头偏白天、有个便利店镜头里有顾客)。快捷路径实际上完全未使用CLIP模型,选片依靠agent直接查看缩略图。因此,在未安装torch、transformers的机器上,反而是这条不依赖CLIP的快捷路径更为实用。

那么被检索、被选片的“镜位”究竟长什么样?它就是scene_plan阶段产出的一个slot:

{
"id": "slot_09",
"description": "interior of a night bus, a single passenger by the window, city lights smeared in the glass",
"hero": true,
"queries": ["night bus passenger window", "lone commuter bus night"],
"preferred_sources": ["pexels", "archive_org"],
"target_hold_seconds": 5.0
}

一个slot,就是一句供检索用的画面描述 + 2-3个搜索词 + 来源偏好 + 期望时长 + 是否hero(关键镜头)。agent拿着description进行打分或检索,拿着queries前往各个站点搜索素材。检索完成后,manifest中对选片的要求写得非常明确(以标准路径为例):

review_focus:
- Every slot has exactly one picked clip # 每个镜位恰好选一个片段
- No clip_id is picked for two slots # 同一片段不能用在两个镜位
- Provenance (provider, original_url, license) present on every asset # 每个素材都要有出处和授权
- "Standard path: corpus size >= 8x slot count, scores >= 0.22" # 标准路径语料库要够大、相似度达标

可以看出,它对每个镜位只选一个片段、不重复使用素材、每个素材都要登记来源和授权,要求相当细致。这也是它能够剪出像样纪录片、而非素材大杂烩的原因所在。

这条pipeline还有一个极具辨识度的签名动作:片尾强制以一句哲思短句收束,官方称之为end-tag。这是pipeline的硬性要求:默认必须有,如果不想要则需在配置中显式声明放弃。渲染上默认采用overlay模式,这句话叠加在最后的实拍画面上缓缓淡入。这条“凌晨四点的城市”就收在SOMEONE IS ALWAYS AWAKE.(总有人醒着)这句上,暖象牙白配一条动画下划线,浮现在破晓的空街上:

Remotion 还是 HyperFrames

还记得前面那份脚本metadata中的render_runtime: remotion吗?这个字段指定了一支视频最终交由哪个引擎来渲染。在动画解说那条路径中,它是agent自行决定的;而到了纪录片这条pipeline,它在documentary-montage.yaml的compose阶段被直接锁定为remotion、不允许agent更改,原因是片尾end-tag“叠加在实拍上淡入”的渲染效果依赖Remotion的CinematicRenderer组件。这就引出一个问题:OpenMontage的合成引擎该如何选择?

OpenMontage的合成引擎有两个:Remotion和HyperFrames。前者基于React,后者基于HTML/CSS/GSAP。skills/core/hyperframes.md提供了一张非常清晰的决策表,挑几条关键的来看:

场景选谁原因
已有 React 场景组件栈、数据驱动的科普视频Remotion这些组件已在 remotion-composer/ 中,复用无需额外成本
逐词字幕烧录、卡拉 OK 字幕Remotionremotion_caption_burn 是 Remotion 专属,HyperFrames 暂未支持
数字人、对口型RemotionTalkingHead 合成仅在 Remotion 中实现
动感排版、重文字动效、GSAP 原生动画HyperFramesHTML/GSAP 是天然介质,用 Remotion 的 interpolate() 表达效率低且脆弱
产品宣传、发布预告、营销标题卡HyperFramesCSS/GSAP 的合成语法更贴合设计师思维
网页转视频HyperFrames有专门的 website-to-hyperframes 工作流

简单来说,数据驱动的科普视频、需要复用已有React场景、需要烧录逐词字幕的,选择Remotion;动效密集的动态图形、动感排版、网页转视频,则选择HyperFrames。

小结

今天我们将OpenMontage的零密钥视频制作流程完整走了一遍,核心要点如下:

  1. 零密钥也能制作真正的视频:执行make setup之后,旁白由Piper负责,素材来源包括Archive.org、NASA、Wikimedia及免费图库,合成环节依托Remotion和HyperFrames,后期处理使用FFmpeg,字幕功能内置其中,形成了一条完整的视频制作工具链
  2. 两条免费路径:图片视频路径利用Piper配音、图片素材及Remotion动画,适合数据驱动的科普视频;真实素材纪录片路径走documentary-montage,从开放素材构建CLIP语料库检索真实运动镜头,提示词中需记得添加“use real footage only”
  3. 两个合成引擎:Remotion(基于React)适合数据驱动的科普视频、复用已有React场景、烧录逐词字幕;HyperFrames(基于HTML/CSS/GSAP)适合动效密集的动态图形、动感排版、网页转视频

本篇使用的均为免费素材和现成的合成组件。除此之外,如果你的机器配有GPU,还可以更进一步,在本地免费运行wan2.1等视频生成模型,自行生成真正的视频片段。在下一篇中,我们将换一种玩法:很多时候,从一段你喜欢的参考视频出发,比从一句空白提示词起步要快得多。我们就来看看OpenMontage如何从一段YouTube、Reel或TikTok视频出发,反推出一份可落地的制作方案。

参考

  • OpenMontage GitHub 仓库
  • OpenMontage 提示词画廊
  • OpenMontage Provider 配置文档
  • Piper TTS 开源项目
  • Remotion 官网
  • HyperFrames 项目
  • OpenAI CLIP 开源项目
  • Archive.org 开放档案
  • NASA 图像与视频库
  • Wikimedia Commons
  • Pexels 免费图库
  • Unsplash 免费图库
  • Pixabay 免费图库
来源:https://juejin.cn/post/7660443384674943003
上一篇停更期间,我带队将AI智能体从概念落地业务系统 下一篇实现AI类人记忆的架构设计
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
Hy3+WorkBuddy组合国产顶级Agent附完整提示词
AI教程 · 2026-07-11

Hy3+WorkBuddy组合国产顶级Agent附完整提示词

五个 Case 跑完,总结一下整体体验。工具使用能力:能不能自己开网页、找信息、标出处。规划能力:能不能把多约束需求拆成可执行步骤。长程执行能力:跨多步任务时会不会丢状态。复杂推理能力:能不能先推导、再写代码、再执行验证。WorkBuddy+Hy3 的表现完全符合预期。趁着 WorkBuddy 里的

AI Agent是什么?一文理解大语言模型、记忆、技能、工具、MCP、工作流与上下文
AI教程 · 2026-07-11

AI Agent是什么?一文理解大语言模型、记忆、技能、工具、MCP、工作流与上下文

智能体并非单一模型,而是由大语言模型、记忆、工具、工作流等模块协同构成的自主系统。它通过理解目标、检索记忆、调用工具、构建上下文、推理决策,并基于反馈闭环持续迭代,最终自主完成复杂任务。

DeepSeek决定自研芯片打造人工智能全新算力芯脏
AI教程 · 2026-07-11

DeepSeek决定自研芯片打造人工智能全新算力芯脏

被“逼”出来的第三条路。 一直以模型技术见长的DeepSeek,这次在算力供应链上迈出了让所有人侧目的一步。 2026年7月7日,路透社援引三位知情人士消息,DeepSeek正在悄然开发自有AI芯片。值得玩味的是,这颗芯片的定位非常精准——专攻推理,不涉足训练。消息人士称,项目大约启动于一年前,目前

开闭源模型实测:横评Sonnet 5与四大国产开源模型编程能力
AI教程 · 2026-07-11

开闭源模型实测:横评Sonnet 5与四大国产开源模型编程能力

今天,我们来深入实测一组闭源与开源模型的编程能力。Sonnet 系列上次更新停留在今年2月,随着Fable 5的解禁,Sonnet 5终于迎来升级。根据Claude官方数据,其整体表现优于Oups 4 6和4 7,略逊于Oups 4 8,但实际运行时,Sonnet 5的调用成本甚至比Opus更高。

SAM3与FastAPI实战:搭建智能图像标注工具
AI教程 · 2026-07-11

SAM3与FastAPI实战:搭建智能图像标注工具

基于SAM3与FastAPI构建智能图像标注工具,解决传统标注耗时痛点。SAM3支持开放词汇分割,输入文本即可自动分割。后端封装SAM3Service实现懒加载、特征缓存及多种分割模式,掩码可视化由后端生成PNGbase64。前端采用react-konva实现画布交互,API遵循RESTful风格,支持批量标注与导出。