如何确定AI更值得信任？此处需@XAI……

全文共 1925字，预计学习时长 4分钟

图片来源：unsplash.com/@multamedia

你是否对机器学习模型如何工作感到好奇？这些模型内部是如何运作的，它们是否值得信任？

本文将全面概述什么是可解释人工智能（XAI），以及为什么需要XAI。读完本文后，你应该能够理解XAI的必要性，并且可以考虑是否需要将其应用到ML项目或产品中去。

什么是XAI？

可解释人工智能（XAI）是机器学习中一个相当新的领域。在这个领域中，研究者试图开发一款新模型，来解释机器学习（ML）模型背后的决策过程。

XAI有许多不同的研究分支，但总的来说，要么是试图解释复杂的黑箱模型的结果，要么试图将可解释性纳入当前的模型体系结构中。第一种方法被研究者广泛采用，这种方法不考虑试模型的基本体系，只试图解释ML模型做了什么。被称为模型不可知的XAI。

为什么需要XAI？

我们可以举例来说明。随着当前深度学习（DL）的发展，对于DL模型来说，拥有几百万个参数是非常典型的！将这些参数与已经使用了几十年的简单线性回归模型进行比较，就会理解DL模型到底有多复杂。

事实上，DL模型已经对很多行业产生了巨大的影响，但其中许多仍然被用作黑箱系统。这并不是一件好事，尤其是用这些模型来作出能够产生巨大社会影响的决策时。

XAI解决了什么问题？

XAI试图回答三种不同类型的问题：为什么？什么时候？怎么做？如果在开发ML产品时遇到以这三个关键词提问的问题时，就可能需要求助于XAI。以下是在ML项目中遇到的一些典型问题：

· 为什么ML模型会做出这样的预测？

· 什么时候能相信这个模型的预测？

· 什么时候这个模型会做出错误的预测？

· 怎么做能纠正这个模型的错误？

回答这些问题，需要将XAI模型/概念融合到M1项目/产品中去。

什么时候需要XAI？

在每个ML项目中，某种程度上，可能需要向客户或同事提供ML模型的决策过程。XAI在ML的应用中至关重要，ML系统的决策直接影响人们的生活，对社会产生巨大影响。

一些人可能会认为，在大多数情况下，最终的决定是由人们做出的。但是，许多专家会使用复杂的ML系统来帮助他们做决定。如果ML系统不能解释它做决定的原理，那么对于专家来说，就很难信任ML系统，并且会存在风险！

XAI有哪些的常见用例？

目前，AI/ML正在使用的所有领域都有XAI用例！本文不会列出所有用例，而是用两个例子来说明，当ML模型的决策严重影响人们的生活时，为什么需要XAI，以及如何使用XAI。以下例子来源于医学和金融领域。

用例一：为什么医学ML应用需要XAI？

假设一个病人去医院检查她/他是否患有癫痫。医生将病人脑部的核磁共振图像输入到一个复杂的ML模型中，生成的报告以85%的置信度诊断病人患有癫痫。以下是医生可能会问的一些问题：

· 我要怎么相信这个模型的报告呢？

· 模型是基于核磁共振图像的哪些特征，做出了这个决定？

· ML模型做出这个决定的方式对我有意义吗？我怎么知道这个模型的决策过程是什么？

· 如果这份报告是错误的，或者模型的决策过程不够准确，该怎么办？

此外还有很多问题！可以看出，除非ML模型的决策过程被呈现出来，并且可以被验证，否则医生并不会信任模型的决策结果。

医学应用中的癫痫检测系统

用例二：为什么金融ML应用需要XAI？

假设一个人去金融机构申请住房贷款。金融机构会使用复杂的ML模型来获取客户的家庭人口和金融历史等信息，并创建一份报告，来说明客户是否有资格获得贷款。

如果该客户运气不佳，系统认定他/她没有资格获得贷款。那么问题是使用这个系统的商业人士能否信任该模型的决定。这与前面的例子中面临的问题相同。以下是使用该模型的商业人士可能会问的一些问题：

· 如果客户问为什么他/她的贷款申请被拒绝，我该怎么回答呢？

· ML模型能解释和证实其决策过程，以便我们向客户报告吗？

· 在什么情况下，这个模型不能做出正确的预测？我们是否会因为信任ML模型决策而失去一个忠诚的客户？

此外也还有很多问题！如果一家公司使用复杂的ML模型，并且这些模型的决策对他们的客户有很大影响，那么就可能会出现很多问题。

金融应用中使用的贷款模型

XAI的未来是什么？

XAI的未来很难预测，因为这是AI/ML领域的一个相当新的领域，许多研究人员还正在积极研究新的XAI模型。然而，可以基于当前的研究趋势和行业需求对XAI模型进行预测。几年后，当XAI模式在各行业的应用变得更加成熟时，可能会发生以下情况：

· ML模型将能够解释自身的结果！（可以将其想象成《西部世界》里的机器人能够进行“分析”）

· 更多可解释的模型会产生，用户可与其交互并修改（或改进）结果。

· 因为模型是可解释的，并且可以知道它是如何做出决定的，所以用户也许能够将自身知识注入模型！

在哪里可以学习更多关于XAI的知识？

网上有很多可供学习的在线材料。可解释ML手册（

https://christophm.github.io/interpretable-ml-book/）是对XAI当前方法的总体概述，如果你还不熟悉这个领域，这个手册将是一个好的入门。美国国防部高级研究计划局（DARPA）公布了一份关于XAI使用的规划图（https://www.darpa.mil/attachments/XAIProgramUpdate.pdf），展示了他们在不同XAI模型和方法上的工作计划，以及如何将XAI应用于ML模型。

https://www.toutiao.com/a6728565544158495246/