什么是可解释AI？为什么它如此重要？
随着人工智能在工程领域的深入应用，理解模型如何做出决策变得至关重要。本教程将带你全面了解可解释AI的核心概念、主流方法与实际应用，帮助你掌握如何让复杂的AI模型变得透明、可信，从而增强对AI系统的信任。
AI模型的演变：从简单规则到复杂黑盒
人工智能正在重塑几乎所有行业和应用领域的工程实践。随之而来的是对高精度AI模型的需求。事实上，AI模型在取代传统方法时往往表现更优，但这有时也会付出代价：复杂的AI模型是如何做出决策的？作为工程师，我们又该如何验证结果是否如预期那般有效？
进入可解释AI——它是一套工具和技术，能够帮助我们理解模型决策，并发现黑盒模型中的潜在问题，如偏差或对抗攻击的脆弱性。可解释性可以帮助AI模型的使用者理解机器学习模型是如何得出预测的，这就像理解哪些特征驱动模型决策那样简单，但在试图解释复杂模型时会变得颇具挑战。
从简单模型说起：冬季恒温器示例
模型并不总是那么复杂。其实，我们不妨先看一个冬季恒温器的简单示例。基于规则的模型如下所示：
- 低于65华氏度开启加热器
- 高于68华氏度关闭加热器
恒温器是否正常工作？变量包括当前室温和加热器的工作状态，所以根据室内温度很容易进行验证。
由于问题的简单性或对物理关系的固有“常识性”理解，某些模型（如温度控制）本质上就是可解释的。一般来说，对于不能接受黑盒模型的应用，使用本身具有可解释性的简单模型是可行的——只要模型足够准确，就可以接受并视为有效。
复杂模型带来的优势
然而，转向更高级的模型可以带来以下优势：
- 准确度：在许多情况下，复杂的模型会带来更准确的结果。有时结果可能不会立即显现，但可以更快地找到答案。
- 处理更复杂的数据：工程师可能需要处理复杂的数据，如流信号和图像，这些数据可以直接输入AI模型，从而节省大量建模时间。
- 复杂应用领域：应用的复杂性不断增加，新的研究正在探索深度学习技术可以替代像特征提取等传统技术的更多领域。
图1：AI模型的演变。简单模型通常具有更高的透明度，而复杂模型则能带来性能的提升。
小提示：在选择模型时，先评估应用对可解释性的需求。如果监管或安全要求很高，优先考虑简单模型；若精度是关键，则使用复杂模型，并搭配可解释性工具。
为什么寻求可解释性？
AI模型常被称为“黑盒”，你无法看到模型在训练过程中学到了什么，也无法确定模型在未知条件下是否能按预期工作。对可解释模型的关注旨在提出有关模型的问题，以发现任何未知因素，并解释它们的预测、决策和行动。
复杂性与可解释性的权衡
在转向更复杂模型的过程中，理解模型内部运行情况的能力变得越来越具有挑战性。因此，随着预测能力的提升，工程师们需要找到新的方法来确保他们能够保持对模型的信心。
图2：可解释性与预测能力之间的权衡。通常，更强大的模型往往更不易解释，工程师需要借助新方法来实现可解释性，以保证随着预测能力的提升，他们仍能维持对模型的信心。
使用可解释的模型可以提供最深入的见解，而无需为流程添加额外步骤。例如，使用决策树或线性权重可以为模型选择特定结果的原因提供确切的证据。
工程师需要可解释性的四大理由
- 对模型的信心：基于其角色以及与应用的交互，许多相关方都很关注模型解释能力。例如：
- 决策者希望信任并理解AI模型的工作方式。
- 客户希望确信应用在所有场景中都能按预期工作，并且系统的行为是合理且可理解的。
- 模型开发人员希望深入了解模型行为，并且可以通过了解模型做出特定决策的原因来提高准确性。
- 监管要求：人们越来越希望在具有内部和外部监管要求的安全关键领域以及治理与合规应用中使用AI模型。尽管每个行业都有特定的要求，但提供训练稳健性、公平性和可信度的证据至关重要。
- 识别偏差：当模型在有偏差或采样不均匀的数据上进行训练时，就会引入偏差。对于应用于人的模型，偏差尤其令人担忧。模型开发人员必须了解偏差会如何隐式地影响结果，并将这种影响纳入考量，以便AI模型能够“泛化”——即提供准确的预测，而不会隐式地偏向于特定组或子集。
- 调试模型：对于处理模型的工程师来说，可解释性有助于分析不正确的模型预测。这可能包括调查模型或数据中的问题。下一节将介绍一些有助于调试的具体可解释性技术。
常见问题：
问：如果模型已经达到很高的准确率，为什么还要关心可解释性？
答：高准确率并不能保证模型在未知数据或对抗样本下的可靠性。可解释性有助于发现潜在偏差、数据泄漏或模型过拟合问题，是确保模型真正实现“泛化”的关键步骤。
当前的可解释性方法
可解释性方法主要分为两类：
- 全局方法：根据输入数据和预测输出，提供模型中最具影响力的变量的整体概览。
- 局部方法：提供对单个预测结果的详细解释。
图3：全局方法与局部方法的区别。局部方法侧重于单项预测，而全局方法侧重于多项预测的整体模式。
了解特征影响
全局方法包括特征排序，它根据特征对模型预测的影响程度对特征进行排序；还包括部分依赖图，它聚焦于一个特定特征，并指出其在整个取值范围内对模型预测的影响。
最常用的局部方法包括：
- 用于机器和深度学习的LIME：与模型无关的局部可解释性方法（LIME）可用于传统机器学习和深度神经网络的解释。其主要机理是在关注点附近用一个简单、可解释的模型来逼近复杂模型，从而确定哪个预测变量对决策影响最大。
- Shapley值：某个数据点（也叫查询点）的特征的Shapley值解释了该特征导致的预测与平均预测的偏差。使用Shapley值可以清晰地说明各个特征对指定查询点预测的贡献度。
小提示：LIME适合快速获得单个预测的局部解释，而Shapley值提供更具理论基础的特征贡献度。两者可以结合使用，以获得更全面的理解。
可视化方法
在为图像处理或计算机视觉应用构建模型时，可视化是评估模型可解释性的最佳方式之一。
- 模型可视化：Grad-CAM和遮挡敏感度等局部方法可以识别图像和文本中对模型预测影响最大的区域。
- 特征比较和分组：全局方法T-SNE是通过特征分组来理解类别之间关系的一个典型示例。T-SNE在利用简单的二维图展示高维数据方面表现出色。
图4：可视化能够提供对网络错误预测的深入洞察。
这些只是目前可用于帮助模型开发人员实现可解释性的众多技术中的一小部分。无论算法的细节如何，目标都是相同的：帮助工程师更深入地了解数据和模型。在AI建模和测试期间使用这些技术，可以为AI预测提供更多洞察力和信心。
常见问题：
问：LIME和Shapley值有什么区别？什么时候用哪个？
答：LIME通过局部线性拟合快速给出解释，适合探索性分析；Shapley值基于博弈论，计算每个特征的边际贡献，结果更准确但计算开销更大。对于需要严格证明的场景（如监管审计），优先使用Shapley值；对于快速调试，LIME更实用。
可解释性之外：更全面的AI工程保障
可解释性有助于克服许多高级AI模型的黑盒性质。但消除相关方或监管机构对黑盒模型的抵制的情绪，只是在工程系统中自信地使用AI的一步。在实践中应用AI需要使用能够被理解的模型，这些模型应遵循严格的构建流程，并且能够在符合安全关键性和敏感性应用要求的水平上运行。
持续关注和改进的领域包括：
- 验证和确认：验证和确认是当前活跃的研究领域。它拓展了可解释性的范畴，从确信和证明模型在特定条件下有效，扩展到重点关注在安全关键型应用中必须满足最低标准的模型。
- 安全认证：汽车和航空航天等行业正在针对其应用定义AI安全认证。用AI取代或增强的传统方法必须符合相同的标准，并且只有通过证明结果并展示可解释的输出，才能取得成功。
- 更透明的模型：系统的输出必须符合角色的期望。这是工程师从一开始就必须考虑的问题：如何与最终用户分享结果？
总结：可解释性是否适合您的应用？
未来的AI将非常强调可解释性。随着AI被广泛应用于安全至关重要的日常场景中，来自内部相关方和外部用户的审查可能会不断增加。将可解释性视为每个人都能获得的基本益处。工程师可以使用更准确的信息来调试模型，以确保输出与他们的直觉相匹配。他们将获得更多洞察来满足各种要求和标准，并且能够专注于提高日趋复杂的系统的透明度。
关于作者
Johanna Pingel，MathWorks产品经理，主要负责机器学习和深度学习应用，致力于让AI更实用、更有趣、更可行。她于2013年加入公司，擅长MATLAB图像处理和计算机视觉应用。