AI安全中的“隐藏失败”：为什么你的努力可能适得其反？

AI安全领域的资深专家Holden Karnofsky认为，他的行为仅有49%的概率是正向的。[1] 2025年，Jesse Clifton甚至因此辞去了长期风险中心（Center on Long-Term Risk）执行主任一职。连最顶级的AI安全策略专家也不清楚什么能真正带来改善，什么会导致恶化。为什么提高人类胜算如此之难？你又该如何选择自己的行动？

1) 隐藏失败：让你在不知不觉中失败

在AI安全领域，影响力很难衡量，因此缺乏影响力往往难以察觉。我们称之为“隐藏失败”（hidden failure）。当项目未能产生积极影响，但执行项目的人却没有意识到时，隐藏失败就发生了。

要理解隐藏失败从何而来，有必要先了解项目失败的一般原因。这些原因构成一个谱系：

• 错误的问题：你处理的事情对X-风险（x-risk）几乎没有影响。例如，研究AI公平性，而核心风险是对齐问题（misalignment）。
• 错误的解决方案：你的解决方案即使得到有效执行，也无法解决问题。例如，技术上新颖但实际无用的可解释性研究。
• 执行不力：你的问题-解决方案组合本可能产生影响力，但你未能充分胜任地执行你的解决方案。

这些因素会影响你产生影响力所必需的“采纳度”（adoption）和“有效性”（effectiveness）：

• 缺乏采纳相对容易发现[2]，可以通过创业式迭代来补救。
• 缺乏影响力-有效性（impact-effectiveness）[3]则特别难以发现，这正是本文中所称的“隐藏失败”。

在隐藏失败的情况下，你可能有用户、引用和资金（即你有“采纳度”），但仍然没能产生影响力，甚至可能让情况变得更糟。

让我们更直白地说：你完全有可能让所有朋友都觉得你很成功，但实际上却在让事情变得更糟。即使在AI安全领域内部，甚至在前沿实验室之外也是如此。

小提示：定期主动寻求外部反馈，尤其是来自不同视角的批评。如果你只听到赞美，就要警惕是否陷入了隐藏失败。

常见问题：如何判断我的项目是否属于“隐藏失败”？
答案：关注项目是否直接对核心X-风险有影响。问自己：“如果我的项目完全成功，它是否真的降低了AI造成灾难性危害的概率？”同时，检查项目的“有效性”是否存在无法验证的假设——例如，你假设某个技术方法能解决对齐问题，但缺乏实证或理论支持。

2) 为什么影响力比利润更难实现

创办一家盈利的初创公司很难。而在AI安全领域实现影响力则更难，原因如下：

• 没有清晰的市场信号来指引你。换句话说，很难衡量成功。
• 要产生影响力，你需要同时具备“采纳度”（类似营利性公司）[4]和“有效性”（不同于普通营利性公司）[5]。在许多方面，影响力带来的挑战不仅不同于利润，而是额外的挑战。
• AI安全在很大程度上仍处于“前范式”（pre-paradigmatic）阶段。

小提示：不要因为缺乏即时反馈就放弃。在AI安全中，影响力往往是“滞后信号”——多年后才会显现。因此，需要更多的前期思考和验证。

3) 前范式的挑战

AI安全目前还没有一个公认的范式（paradigm）[6]。我们无法确定什么将会产生影响力。那么，为何还要如此刻意地优化呢？

首先，不完美的预测仍然有价值。例如，AI安全专家常常能指出某个项目或想法不太可能产生影响力的具体原因[7]。

其次，我们认为缺乏范式实际上使刻意思考影响力变得更为重要，而不是相反。没有清晰的指引告诉你什么会带来影响力，你必须自己摸索。

接下来的文章中描述的工具将帮助你在不确定性下优化影响力。目标不是完美无误，也不是让自己陷入分析瘫痪[8]。但我们确实认为，大多数人都能从花更多时间思考自身影响力中受益。

所以，让我们战略性地思考影响力。我们将在后续的文章中给出如何做到这一点的宏观概述，并在另一篇文章中帮助你衡量自身的影响力。

常见问题：在前范式阶段，是否应该放弃规划，凭直觉行动？
答案：不应该。前范式意味着不确定性更高，因此更需要严谨的推理和假设检验。直觉可以作为起点，但必须用“影响力方程”（Impact = Adoption × Effectiveness）等工具进行审视。Holden Karnofsky的建议是：在几个看似有竞争力的选项中，根据个人匹配度和能量选择，但仍需保持对负面影响的警觉。

本文探讨了AI安全领域独特的困境：即使是最聪明的从业者也难以确认自己的行为是否真正有益。隐藏失败、缺乏市场信号、前范式状态共同构成了巨大挑战。但认识到这些困难本身就是第一步。接下来，我们将介绍如何系统性地评估和优化你的影响力——请继续关注后续文章。

1. ^

   我们转述自他在80,000 Hours播客上的发言（约4:11:30处）。他说：“总体而言，我可能同意你的观点：你希望产生影响的范围越小，‘60/40’这样的概率就越合理。但大多数进入AI领域的人并非为此。如果你想要小范围、稳健的正面影响，也许你应该在农场动物福利或全球贫困等事业上工作。对于通常激励人们的那种大范围影响，我认为它确实会被这种关于‘符号’的巨大不确定性部分抵消。我倾向于认为它比51/49更糟糕。我倾向于认为我们总是会高估自己行为的稳健正面性。我们越是了解所有应该被考虑在内的‘银河脑洞’，就越会觉得它是50+ε%。我认为AI安全是一个值得从事的伟大事业。我也很兴奋能参与其中。我认为它有高影响力。我正尽最大努力做那些我以后会为之自豪的事情，并心怀希望。但我真的必须接受一个可能性：我最终对‘效用单位’的影响可能是负面的。”

2. ^

   不过，你也不应低估大脑让自己舒适、满足、并运用动机推理来接受平庸的能力。

3. ^

   我们使用“影响力-有效性”作为“有效性”的同义词，其含义与影响力方程中的相同：影响力 = 采纳度 × 有效性。

4. ^

   我在此处及其他地方将“营利性公司”指代为不以AI安全为目标的普通公司。当然，AI安全项目也可以注册为营利性公司。

5. ^

   尽管可以说，在非营利环境中，“采纳度”有时更容易获得。例如，各种奖学金项目不愁找不到足够的参与者。然而，许多产品、工具和博客文章却难以获得采纳。

6. ^

   参见 e.g. https://ai-safety-atlas.com/chapters/03/07 或 https://www.thecompendium.ai/ai-safety 。更准确地说，AI安全并非完全没有范式，而是现有范式没有一个被广泛认为足以让世界安全，尤其是更高层级的研究人员也这么认为。也就是说，我们有一堆范式，但它们都很有限，而且我们甚至还不知道哪些方法最终能让世界足够安全。

7. ^

   不过，也存在专家意见不一致的领域。在这种情况下，评估他们使用的具体论点就变得更为重要。

8. ^

   参见Holden Karnofsky在80,000 Hours播客中说的话：“当人们向我寻求职业建议时，我通常会说：列出一堆看似有竞争力、都有可能成为最佳选项的方案，并且从影响力角度看并不明显哪个更好。然后，根据个人匹配度和你投入其中的能量来选择。”