AI安全发展历程：深度叙述

如何看待AI安全领域的发展，如今流传着许多简洁的版本。一个常见的说法是：少数哲学家首先提出了关于超级智能的担忧；大型语言模型的出现改变了这一切，许多研究者转向了“对齐问题”。这个版本的故事过于工整，以至于遗漏了最有趣的部分。如果审视其时间线、贡献者、资金来源和研究成果，就会发现故事背后藏着更多细节。新的研究方向不断涌现，一些融入了主流，另一些则悄然淡出，而资金与科研注意力往往不同步，后者通常领先数年。为了研究这种模式，本文从零开始，构建了这一项目的完整图景。

小提示: 文中引用了大量数据、图表和专有名词。建议在阅读时，将注意力放在整体趋势和关键转折点上，而非执着于每一个具体数字。

数据集基础

本教程基于一个包含323个可核实事件、129个参与方和18个研究方向的专业数据库。其时间线从2005年一直延伸到2026年6月（即2026年的前半年）。此外，通过arXiv的数据，针对其中23个研究方向构建了独立的科研注意力袋里指标。为了确保统计的严谨性，还从组合查询中构建了一个去重的安全研究语料库，确保没有一篇论文被重复计算。每个事件都附有年份、参与方、研究方向、类型、金额、来源和可信度等标签。所有的图表和结论都基于这个基础。

阅读时的五项重要说明

• 1. arXiv论文数量是注意力袋里指标，而非标准文献计量指标。 例如，“RLHF”或“可扩展监督”等关键词在arXiv上的出现时间，通常晚于相关研究的实际起始时间。像“AI控制”、“危险能力”、“价值学习”和“模型编辑”等宽泛短语则引入了更多噪音。随着数据补全，查询条件本身也在不断放宽。这意味着，一些观察到的“论文数量激增”很可能是由查询口径扩大导致的，而非研究领域本身的实际增长。因此，最终的方案是追求精确度而非广度：构建一个去重的安全语料库，每篇论文只计算一次。这个数字才是领域层面最可靠的数据。同时，所有袋里曲线都明确标注了噪音等级（低、中、高）。特别需要注意的是，一些研究方向是“伞状”或“嵌套”的（例如，“对齐”涵盖了所有内容，“宪政AI”属于“RLHF”的一部分），因此不能简单地将它们的注意力曲线数值相加。
• 2. 每个方向的事件数量是一个有偏的度量。 它更多地反映了被记录事件的密度，而非真实世界中实际发生的活动。衡量真实活动水平，更好的指标是资金和论文数量。图表中最近年份的数据被明确标注为“收集不完全”。
• 3. 因果解释是种解读。 它是建立在可核实事件之上的一种分析性论述，因此其结论是可以被探讨的。
• 4. 资金流向的细节。 在资金流向分析中，并未将受资助的组织作为独立结构提取出来。它仅存在于事件描述的文本中。因此，资金流被呈现为从“资助方”流向“研究方向”，而非从“资助方”流向“组织”。
• 5. 资金类型的多样化。 经过多次数据补充，数据库中的资金已不仅仅是慈善捐赠，还包括：
• 来自多个国家的政府资助项目。
• 企业慈善基金。
• 风险投资：这是一个全新的、独立的资金类别，指流入安全领域初创公司的股权融资，总额约为2.68亿美元。因其本质是追求回报的投资，它与慈善捐赠性质完全不同，因此绝不混合统计，在图表中独立展示。
• 承诺、年度预算和领域范围估算：这类资金并非已发放的赠款，如FTX的启动承诺（约1.6亿美元，实际支付仅1870万美元）、一些组织的年度预算、以及2019年整个AI安全领域约花费4000万美元的估算等。这类信息有单独的图表展示，并明确标注为绝不求和。

将所有这些不同类型、不同性质的资金汇总到一张图表上，需要非常谨慎，相关的图表都会明确标识。

核心发现

• 领域发展并非线性。 按年份、资金和科研注意力排列，可以看到研究方向不断涌现：一些被主流吸收，另一些则悄然隐退，而资金和注意力则在时间上彼此分离。
• 领域的重心发生了迁移，从最初的哲学和孤立的研究机构（2005-2016年）转向了经验性的技术安全和治理（2020年代），并逐渐集中在Anthropic和各国安全研究机构周围。
• 一个研究方向会面临三种命运，但沉寂不等同于消亡。 可解释性、评估和AI控制正在崛起；RLHF被主流机器学习吸收；袋里基础和早期宏观策略则逐渐淡出。
• 资金格局在2023年左右发生了改变。 单一主导的慈善机构（Open Philanthropy）让位给了来自多个国家的政府资金，此外还有约2.68亿美元的风险投资流入AI安全初创企业。
• 2024-2026年的整合实质上是扩散。 新组织的成立数量创下纪录，治理成为主导叙事，而“安全”一词悄悄从机构名称中消失。
• 科研与资金不同步。 可解释性研究获得的科研注意力大约是其所获资金预测值的37倍，而治理领域的资金则远超其论文产出。
• 请将数据视为袋里指标。 arXiv数量是注意力袋里指标，事件数量是收集密度，而非真实世界活动。因果解释是基于323个可核实事件的解读。

常见问题：为什么说资金与注意力不同步？

在AI安全领域，科研注意力和资金投入并非总是匹配的。例如，“可解释性”研究吸引了大量的科研兴趣（论文多），但其获得的专项资助却相对较少。这就导致了“科研跑在资金前面”的局面。反之，“治理”领域则获得了大量的资金，但对应的学术论文产出相对较少。理解这种错位，是把握该领域发展动力的关键。

主题发展的三种命运

数据库最重要的启示是，一个研究方向通常会面临以下三种命运：

• 崛起: 可解释性、评估和AI控制。这三个方向都诞生较晚，但发展迅速。尤其是可解释性，其科研注意力的增长速度远超其获得的资金，是典型的“科研先行”案例。而评估方向的资金则在2024-2025年间爆发式增长，几乎在一夜之间成为资金最充裕的方向之一。
• 被吸收: 奖励建模（现已发展为RLHF）和价值学习。RLHF从安全讨论中消失，恰恰因为它已经“赢”了。它和DPO等技术已成为微调所有商用大语言模型的标准方法，融入了主流机器学习，不再是独立的安全研究方向。
• 淡出: 袋里基础和早期宏观策略。它们曾是领域的核心，但如今规模已经缩小。博斯特罗姆的未来人类研究所（FHI）在2024年的关闭，标志着宏观策略时代的结束。

按时代划分的深度叙述

史前与诞生时期（2005-2013年）：有问无器

这个时代仅有9个事件。它并非始于神经网络，而是始于一个哲学问题：我们如何避免毁掉人类的遥远未来？ 2005年，未来人类研究所（FHI）在牛津成立，这是数据库中最早期的参考点。随后形成了“宏观策略”研究，即关于全球性风险的最广泛的哲学推理。另外一条线是数学化的。2013年，机器智能研究所（MIRI）转向了友好型AI的形式化数学研究，这标志着“袋里基础”的诞生。在这个阶段，几乎没有资金。

制度化与首个大金主时期（2014-2019年）：资金显现

资金的转折点是2015年1月的FLI波多黎各会议，不仅产出了一封公开信，更催生了第一个大金主：Open Philanthropy。该基金会迅速成为了整个领域的资金支柱，其技术安全投资从2015年的119万美元飙升至2021年的峰值8170万美元。这些年间，“治理”方向也诞生了，包括政策、研究机构和AI治理。例如，2019年Open Philanthropy投入5500万美元在乔治城大学创立了CSET，这是该时代最大的一笔治理赠款。

务实转向时期（2020-2021年）：大模型改变一切

到2020年，人们逐渐意识到，强AI将来自大型神经网络，而非纯袋里理论。领域重心明显转向技术安全：

• 机制可解释性诞生：2020年3月出现了“电路”研究，随后是Transformer Circuits。其论文数量从2020年的约34篇，快速增长到2025年的657篇。
• 奖励建模发展为RLHF：一项清晰的技术演进脉络形成。
• 袋里基础淡出：抽象的理论研究在实证成果决定一切的时代，不再能有效说服捐赠者。

ChatGPT时刻与FTX冲击时期（2022-2023年）：资金、机构与断裂

2022年底的ChatGPT将AI推向了主流整治和公众意识。这在数据库中表现为多方面的激增：

• 评估研究兴起：ARC Evals、Apollo Research等机构成立，专门从事危险能力评估。
• AI控制研究出现：Redwood Research的议程正式成型，获得了密集的资金支持。
• 治理研究大爆发：在治理子方向上的资金从2018年的40万美元增长到2023年的1840万美元，五年间增长了约46倍。

然而，冲击紧随其后。2022年11月，FTX崩塌。其旗下的FTX未来基金在崩塌前已发放约1870万美元用于AI安全，但此后资金断裂。资金格局面临重大考验。

整合与尾声时期（2024-2026年）：“安全”从名称中消失

这个时代充满了矛盾：既是整合，也是扩散。数据库记录了创纪录的组织成立数量（2024年有24个新组织），同时也发生了重要的关闭和更名：

• 机构变化： FHI关闭，OpenAI的超级对齐团队解散，MIRI从技术研究转向沟通与政策。最引人注目的变化是，2025年，英国和美国的安全研究机构分别更名为“AI安全研究所”和“AI标准与创新中心”，“安全”一词从它们的名字中悄悄消失了。
• 组织的扩散： 领域并未萎缩，反而在专业化。可解释性方向出现了如Goodfire、Transluce等多家初创公司；AI安全和评估领域也涌现了Palisade、Gray Swan等新秀。
• 治理成为主导叙事：治理方向的事件占该时代总非资金事件的三分之一。从布莱切利峰会到首尔峰会，再到欧盟AI法案的生效，一系列国际行动密集展开。
• 技术前沿的推进：可解释性通过“黄金门克劳德”、Gemma Scope等项目取得新进展。最年轻的方向“模型生物”围绕欺骗行为的实证研究迅速形成。可扩展监督在被砍掉主项目后，其目标在其他项目中得以重建。

跨时代模式：资金、注意力和主题的命运

复杂的资金格局

数据库中的资金通过四种不同的方式统计，彼此不会叠加，以避免重复计算：

• 分项赠款： 共7.636亿美元。指具体、明确、已发放给特定接收方的赠款。
• 捐赠者年度总额： 如Open Philanthropy和LTFF（长期未来基金）的年度总预算。这部分数据与分项赠款可能重叠，因此不求和。
• 风险投资（VC）： 约2.685亿美元。如前所述，这是追求回报的股权投资，与慈善赠款性质完全不同，永不求和。
• 承诺、预算与估算： 包括FTX的启动承诺、组织年度预算、领域总体花费估算等。这些数据异质且不可相加，仅在单独的图表中作为背景信息展示，永不求和。

整个资金格局的变化在于，从2023年起，政府资助迅速崛起，与传统的慈善资金并驾齐驱。从资金流向上看，政府资金精准地流向了“领域建设”、“评估”和“鲁棒性”等方向。

常见问题：一个来源的资金数额为何在不同图表中不同？

以Open Philanthropy为例，其分项赠款合计约1.7677亿美元，而作为捐赠者年度总额则约为3.045亿美元。这是因为“分项赠款”只统计了那些明确标注了研究方向的专项资助，而“年度总额”则包含了该基金会在AI安全领域的全部预算。两个数字反映了同一事物的不同方面，因此绝不能直接相加。所有图表都严格遵循了这一区分原则。

资金与注意力的差距

通过将每个研究方向的资金与科研注意力（arXiv论文量）进行比较，可以发现明显的差距：

• 可解释性：其科研注意力（蓝条向右）是其预期资金量的36.9倍，是典型的“科学跑在资金前面”的案例。
• 治理：其资金（红条向左）远超其论文产出，是“资金跑在科学前面”的案例。
• 评估方向在2024-2025年资金涌入后，其差距迅速缩小，接近领域平均水平。

组织机构动态

总体来看，组织的“诞生”事件远多于“关闭或转型”事件。2024年是组织成立的创纪录年份，主要集中在可解释性、AI安全和评估等专业领域。主要的关闭事件仅有三起，都发生在2024年：FHI、OpenAI的超级对齐团队（以及更早的2022年FTX未来基金）。这表明领域并非在萎缩，而是在高度专业化地扩散。

尾声：开放性的问题

数据本身并不会给我们一个明确的道德或结论，但它提出了一些领域当前面临的、值得深思的开放性问题：

• 如果“安全”从机构的名称中被移除，这是标志的改变还是实质的改变？ 在最后一个时代，治理成为了主导叙事，但这一切都发生在“安全”、“标准”和“行动”的旗帜下。同样的研究者会在这面新旗帜下成长起来吗？
• 整合究竟是集中化，还是碎片化？ 从资金和注意力来看，领域正朝着少数几个名字集中（如Anthropic、安全研究所）。但从组织数量看，2024年创下了新组织纪录，大多是只有1-5名员工的小作坊。领域是在成熟和专业化，还是在碎片化，只有少数能存活下来？像RLHF这样被主流吸收，算是成功吗？当这种“成功”发生后，谁又来追踪这些方法在何处失效？
• 这个领域对一两个金主的依赖程度有多深？ Open Philanthropy渠道和FTX的崩塌揭示了这种脆弱性。例如，可解释性研究几乎完全依赖单一资助方。如果该资助方退出或缩减支持，会发生什么？
• 科学的步伐在可解释性领域超过了资金，而治理领域的资金则超过了出版物。 哪个差距是健康的？这又告诉我们领域实际上正在做什么？

附录：方法论与数据来源

数据库构成：包含从2005年到2026年中期的323个事件，外加一个去重的安全语料库和覆盖23个研究方向的arXiv袋里指标。每个计数都链接到可复现的精确搜索查询URL。

数据来源类型：包括arXiv预印本、实验室技术报告和博客、社区回顾和评论（来自LessWrong、Alignment Forum和EA Forum）、非营利组织税务申报（990表格）、网页存档、监管机构页面、基金公告和年度报告。

资金统计方法：分项赠款和捐赠者年度总额严格分开处理。所有资金图表都遵循此原则，并在图表和文本中明确说明，以避免误解。

核对入口：所有基础数据和源代码均可在GIT仓库 (ai-safety-genealogy) 中获取和复现。