人工智能系统已取得重大突破，但其“黑盒”式的不可解释性问题，严重制约了在金融、医疗、自动驾驶等高风险场景中的落地。本教程将系统讲解可信人工智能的基础概念、关键研究方向、现有瓶颈及未来演进趋势，帮助你构建对这一前沿领域的全景式认知。

一、背景：为什么需要可信人工智能？

以深度神经网络为代表的复杂人工智能系统，凭借强大性能推动了AI技术的飞速革新。然而，这些系统往往被看作黑盒系统——人们既无法理解决策背后的逻辑，也难以解释其表达能力为何优越或脆弱。例如，神经网络为何在对抗样本攻击下显得不堪一击？

这种在决策过程、表达能力、优化能力上的不可解释性，极大地损害了系统的可信度、可控性与安全性，进而阻碍了AI在智能医疗、自动驾驶等高风险领域的广泛部署。

小提示：“黑盒”并不意味着系统不可用，而是指我们无法像理解简单数学公式那样，清晰知晓系统内部每一步计算的含义。可信人工智能的目标就是为这个“黑盒”装上透明玻璃，让内在机制变得可理解、可追溯。

二、可信人工智能的定义与内涵

可信人工智能旨在提升复杂人工智能系统与算法（如深度神经网络）的可信度。具体而言，可信性概念包含以下四个层面：

• ① 知识表征的可解释性与可量化性：了解系统在学习过程中形成了何种知识，以及这些知识如何被表示。
• ② 表达能力的可解释性与可量化性：涵盖泛化能力、鲁棒性、公平性与隐私保护性等，需要评估并解释这些能力为何表现良好或欠佳。
• ③ 学习与优化能力的可解释性：理清系统如何通过优化算法逐步学会解决任务。
• ④ 人工智能算法内在机理的可解释性：揭示深度学习、强化学习等各类算法背后共通的原理。

三、可信人工智能的主要研究方向

近年来，学术界与工业界围绕上述内涵，主要开展了以下四个方向的研究：

• ① 解释知识表征：定性或定量地解释人工智能系统建模的知识。例如，可视化中层表达蕴含的语义信息，或者量化输入变量对系统决策的重要性（如“特征重要性”分析）。
• ② 评估、解释与提升表达能力：包括理论证明或实证研究神经网络的泛化性、鲁棒性边界；解释神经网络的泛化性、鲁棒性、表征瓶颈等内在机理；发展诸如对抗训练等方法，提升系统的鲁棒性、公平性或避免隐私泄漏。
• ③ 解释优化算法有效性：探索当前经验性优化算法的内在机理，例如解释随机梯度下降、随机失活等优化手段为何有效，同时发现像批归一化等经典操作的潜在数学缺陷。
• ④ 设计可解释的系统：在系统设计阶段就将可信性嵌入结构中。例如，通过设计卷积神经网络的目标函数，使高层卷积层的每个滤波器自动地表示某种具体的语义（比如专门识别“眼睛”或“车轮”）。

常见问题：

问：为什么不能直接设计一个完美的可解释系统，而要费力去解释已有的黑盒系统？

答：目前的高性能模型（如深度神经网络）已经广泛应用在许多场景中。完全重新设计可解释系统代价巨大，且可能牺牲部分性能。因此，解释已有系统和设计新系统两条路线并行发展，互为补充。解释现有系统可以快速识别潜在风险，而设计新系统则是长远的根本解决方案。

四、可信人工智能的核心研究成果与机构

近年来，可信人工智能领域涌现了大量标志性成果。表 1.2.5 和表 1.2.6 列出了该领域核心论文的主要产出国家和主要产出机构。表 1.2.7 和表 1.2.8 列出了施引核心论文的主要产出国家和机构。代表性研究机构包括麻省理工学院、中国科学院、上海交通大学等，分布在美国、中国等国家。

此外，许多核心论文是由不同国家的多个研究机构合作完成的。主要产出国家之间的合作网络和主要产出机构间的合作网络分别见图 1.2.4 和图 1.2.5。

小提示：如果你对某个机构的研究方向感兴趣，可以查阅该机构近年发表的论文列表，了解他们更细分的突破点。例如，上海交通大学团队在统一解释对抗攻击迁移性方面有重要贡献（见下文瓶颈问题部分）。

五、当前的关键性瓶颈问题

尽管可信人工智能已受到广泛关注，但大多数研究仍停留在工程性算法层面，例如可视化神经元激活、估算输入重要性、用对抗攻击下的准确率评估鲁棒性等。以下三个根本性瓶颈问题亟待突破：

1. 探索、定位并量化决定表达能力的本质因素

人工智能系统的网络结构、优化手段等多种指标都会影响表达能力，但这些指标往往包含许多与表达能力无关的冗余因素。只有找到决定表达能力的根本因素，才能准确评估和解释系统的表达能力。

2. 对众多经验性算法内在机理的统一与解释

为解决同一个问题，学者们常从不同经验角度提出各种算法。实际上，这些算法背后往往有相同或相似的内在机理。对它们进行统一与解释，可以揭示公共本质，并从本质层面评估和比较算法的可靠性。

3. 理论驱动的人工智能系统设计与优化

目前系统的结构设计和训练优化大多是经验主义——靠大量实验观察找到有效方法。我们需要统一的理论来反馈指导设计，使人工智能系统能具备满足特定任务需求的表达能力，真正实现可控性。

幸运的是，国际上已有少数团队开始关注这些瓶颈问题。例如：上海交通大学团队统一解释了众多提升对抗迁移性的算法；加利福尼亚大学伯克利分校的团队提出“自洽性”与“简约性”原则作为人工智能系统的基石，并用这些原则指导设计了表征可解释、训练可解释的系统。

常见问题：

问：“统一解释”听起来很抽象，能举个例子吗？

答：比如，当前有多种提升对抗攻击迁移性的算法（如基于梯度的、基于特征映射的等）。这些算法看似不同，但上海交通大学的团队发现它们本质上都可以归结为通过某种方式增加对抗样本的“通用性”。这一统一视角帮助我们理解算法的本质优劣，甚至能推导出更优的新算法。

六、未来5~10年的重要发展方向

从整个领域的发展进程看，可信人工智能仍处于起步阶段。如图 1.2.6 所示，未来5~10年重点关注以下三个方面：

第一，完善对知识表征的解释

当前解释大多源于启发性直觉，缺乏理论可靠性，且没有标准答案可供验证。未来研究重点：

• ① 统一现有众多经验性解释，揭示公共本质
• ② 发展具有理论保证的新解释
• ③ 客观评估解释的可靠性

第二，深入发展对表达能力的解释与量化

未来研究重点：

• ① 探索并定位决定人工智能系统表达能力的本质因素
• ② 统一解释众多提升表达能力的人工智能算法的内在机理
• ③ 提出精确的量化指标，评估系统的真实表达能力
• ④ 解释并证明系统在表达能力方面的特点和缺陷

第三，理论驱动的人工智能系统的设计与优化

从大量实验观察走向统一理论指导。未来研究重点：

• ① 探索神经网络的网络结构与知识表征的关系
• ② 探索神经网络的模型性能与知识表征的关系
• ③ 探索神经网络的众多表达能力（如泛化性、鲁棒性、公平性等）与知识表征的关系

（内容取自《全球工程前沿2022》）

附录：作者简介

张拳石，上海交通大学电院计算机科学与工程系长聘教轨副教授，博士生导师，入选国家级海外高层次人才引进计划，获ACM China新星奖。2014年获日本东京大学博士学位，2014—2018年在加州大学洛杉矶分校（UCLA）从事博士后研究，主要研究方向包括机器学习和计算机视觉。研究工作主要发表在计算机视觉、人工智能、机器学习等领域顶级期刊和会议（包括IEEE T-PAMI、ICML、ICLR、CVPR、ICCV、AAAI、KDD、ICRA等）。近年来，在神经网络可解释性方向取得多项具有国际影响力的创新性成果。担任ICPR 2020领域主席，CCF-A类会议IJCAI 2020和IJCAI 2021可解释性方向tutorial，并先后担任AAAI 2019、CVPR 2019、ICML 2021大会可解释性方向分论坛主席。

编辑：黄飞

通过本教程，你应该已经理解了可信人工智能为什么重要、它包含哪些内涵、目前有哪些主流研究方向、面临的瓶颈是什么，以及未来会走向何方。希望这份系统化的梳理能帮助你快速入门或深化对这一领域的认识。