近年来，视频生成模型取得了显著进展，从Sora到各类国产模型，画面流畅度与视觉效果持续提升。然而，当这些技术从娱乐创作领域走向科学、医疗、教育等知识密集型场景时，一个关键问题随之浮现：生成的内容能否保证事实准确、清晰可用？

传统评测视频生成模型时，核心关注点往往是“画面是否美观”。但在知识密集型场景中，用户的需求截然不同——他们更关心：“你能准确告诉我如何更换轮胎吗？”“你能正确演示这台血压计的使用方法吗？”这就引出了一个全新的任务定义。

研究人员近期提出了一个名为「知识密集型视频生成」（Knowledge-Intensive Video Generation, KIVI）的新方向。简单来说，它要求模型基于简短提示词，生成事实准确、用户可参照执行的视频。为支持这一研究，团队配套构建了一个包含1080条提示词的评测集KIVI-Bench，并设计了两项自动评估指标：FactP（事实精度）和HelpS（帮助性评分）。通过对7款主流模型的测试，暴露出的问题具有典型性——实体误描、操作错误、组件错位，三大系统性短板。

一个被忽视的空白：视频生成不应仅为娱乐存在

过去两年，从Sora到Seedance，视频生成模型在画面质量、运动流畅度与时空一致性方面确实进步明显。但现有研究与评测仍主要围绕“视频是否好看”展开，很少关注其内容是否清晰、步骤是否正确。

随着技术进入医疗、教育、科学传播、操作指导等知识密集型领域，用户的核心关切已经改变。大家不再追求“画面是否炫酷”，而是希望模型能准确表达知识、清晰展示过程，真正帮助用户理解或完成特定任务。换言之，问题从“能否生成自然流畅的视频”转向了“能否生成知识可靠、有实际价值的视频”。

这种转变也暴露了现有范式与真实需求之间的错位。例如，用户搜索“如何更换汽车轮胎”，期待的并非一段视觉效果华丽但步骤模糊的视频，更不是自己先写完整分镜脚本再让模型逐段生成。更合理的做法是：模型直接理解用户意图，生成一段步骤正确、过程清晰、可操作的视频。这正是KIVI希望推动的方向——将视频生成的评测目标，从视觉质量导向推进到知识可靠性与用户实用性导向。

KIVI-Bench：1080条模拟用户真实使用场景的提示词

评测集覆盖了18个类别，包括汽车维护、健康医疗、电子设备等。团队先由LLM扩充提示词，再人工去重，最终保留1080条。每条提示词的构造遵循五个标准：

• 视频优越性：该任务用视频表达比文字更直观，如空间操作、界面导航。
• 事实正确且可核验：提示词本身事实正确，涉及的实体有公开文档可查证。
• 专有名词有知识挑战性：使用具体产品实名，如“Bosticht卷笔刀”，而非泛指的“卷笔刀”。
• 超越常识：需要真正掌握特定知识，例如Omron BP5450血压计的操作步骤，不能仅靠日常经验推测。
• 贴近真实：表述简短自然，符合用户实际提问方式。

自动评估标准：FactP与HelpS

传统视觉指标（如画面质量、运动平滑度）与人类对内容准确性和帮助性的判断几乎无关。因此，KIVI设计了两项互补的自动评估标准：

FactP（事实精度） 回答“内容是否说对了”。思路为先抽取、再验证——LLM从视频中提取原子化声明，逐条判定正误，按正确比例计分。

HelpS（帮助性评分） 回答“用户能否照着做”。LLM从相关性、完整性、清晰度三个维度打分，核心追问：用户能否仅凭这段视频完成所提任务？

两者互补，构成完整的评价体系。

七款模型“同台应试”

团队评测了7款主流系统，涵盖闭源API（Seedance 2.0、HappyHorse 1.0）、开源短视频生成模型（Wan 2.2、HunyuanVideo 1.5）和开源长视频模型（Helios-Base、LongCat-Video、LongLive 1.0）。

作为参考，人工制作的视频在FactP和HelpS上分别达到97.8%和81.9%，远超当前所有视频生成模型。在模型结果中，闭源短视频模型HappyHorse 1.0拿到了最高FactP（83.2%），Seedance 2.0拿到了最高HelpS（66.6%）。最佳开源短视频模型Wan 2.2的FactP和HelpS分别为73.1%和48.4%，与闭源模型仍有明显差距。整体来看，短视频生成模型虽然尚未达到人工水平，但在事实准确性和帮助性上已经显著优于长视频生成模型。

人类评估结果也验证了这套指标的有效性。在108组两两对比中，FactP与人工事实判断一致性达到70.8%，远优于现有的视频质量自动评估标准VBench-Long最优维度（56.5%）。HelpS与人工帮助性判断一致性也达到69.0%。而传统指标如Imaging Quality，一致性仅为38.9%，几乎与人类判断无关。

三大系统性错误：模型到底错在哪里？

对870条错误声明的分类，揭示了三个核心短板：

实体误描占比最高，达42.6%。模型经常“发明”不存在的外观特征，遇到特定产品型号时幻觉率急剧攀升。例如Bostitch电动卷笔刀，真机为弧形机身，但模型却画成了盒状插孔。

操作错误紧随其后，占40.7%。这类错误更隐蔽——外观画对了，步骤却错了。模型能还原BP5450血压计的外形，却把袖带绑在了前臂上，而该设备专为上臂设计。这暴露了程序性知识的系统性缺失。

组件错位占比15.0%。虽然比例最低，但像机油和漏斗出现在中央扶手箱而非发动机舱这样的错误，同样意味着视频对用户毫无帮助。

结语：从视觉生成走向知识传达

KIVI系统定义了一个长期被忽视的任务方向：视频不应只服务于娱乐创作，也应在知识密集场景中准确传达信息、清晰展示过程，真正帮助用户理解或完成任务。

当目标从“还原画面描述”转向“传达可靠知识”，视频生成的评测标准也必须随之改变。传统评测中表现最好的模型，未必能在事实性、过程合理性和实用性上保持优势。而从简短文本需求直接生成知识型视觉内容，对模型的理解、规划和生成能力提出了更高要求。

因此，KIVI不仅是一个新基准，更是在重新定义视频生成的下一阶段目标——从“画面是否自然”走向“内容是否可靠”，从“娱乐创作工具”走向“知识获取媒介”。这指向了视频生成从像素空间迈向实用空间的下一个前沿方向。