主持人：郭思伊
参会老师：杨矫云
参会学生：赵春阳、程坤、刘硕、李雨龙、丁会通、殷越、马蒙、韩鹏、肖勇博
时间：2019年11月7日
本次例会学习讨论了文章：Interpretable Machine Learning Chapter 2 Interpretability
一、什么是可解释性？
可解释性（interpretability）目前尚无明确统一的数学定义。作者提供了两个非数学的定义：
1、可解释性是人能理解决策原因的程度
2、可解释性是人能一致地预测模型结果的程度
一个机器学习模型的可解释性越高，人们就更易于理解特定的决策或预测是怎么产生的。
二、可解释性的重要性
可解释性并不是必须的。比如，我们只关心预测结果如何而不在意预测究竟是怎么做出的。或者预测任务是低风险的，即使出错了也不会产生严重影响（例如电影推荐系统）。或者我们使用的模型或方法已经被广泛研究和评估过，实践可靠性极高（例如光学字符识别）。这些情况下我们并不需要探究可解释性。可解释性也可能产生负面影响，令用户在看到解释后有机会欺骗系统，对抗攻击黑盒模型。
但是在有些情况下仅仅获得预测结果不能完全解决我们的问题，所以我们需要获得解释。可解释性的重要性在于，它能够解决我们对于“机器为何会产生特定的预测或行为”的好奇，能够给我们信任模型及其预测结果的理由和依据（增加认可度），确保模型的预测是无偏的公正的，不存在歧视的，帮助我们理解机器学习效果不理想或者预测错误的原因，从而有可能在调试时更快地找到改进和优化模型的方法。甚至能够帮助我们挖掘出大数据和黑盒模型学习到的那些不可见的知识。
三、可解释性方法的分类
有以下几种分类方式：
1、解释模型是Intrinsic or Post hoc?
①内在可解释性（Intrinsic）：指模型本身结构简单而可解释。例如短决策树或稀疏线性模型。
②事后溯因可解释性（Post hoc）：指模型训练后应用的解释方法。例如特征重要性排列。
2、解释方法是否模型无关？
①特定于模型的可解释性（Model-specific）：指解释方法仅能作用在特定的模型类上。例如线性模型中回归权重的解释，所有的内在可解释模型的解释
②模型无关的可解释性（Model-agnostic）：指解释方法可以在任何机器学习模型上使用，并且子模型训练后才能使用
3、全局还是局部可解释？
①全局可解释性：这一级别是基于对模型特征和每个学习到的组件（例如权重，其他参数和结构）的整体看法，理解模型如何做出决策。
②模块化全局可解释性：在模块化级别上理解某些模型，例如解释线性模型的权重，树的分叉点和叶节点预测。
③单一预测的局部可解释性：针对单个实例预测结果进行解释。
④一组预测的局部可解释性：针对一组实例（完整实例组的某个子集）的预测结果进行解释。
4、根据解释的对象分类
①案例解释：根据（单个或总体）预测结果，解释哪些数据是重要的（针对性解释或者平均化解释）；
②特征解释：根据（单个或者总体）预测结果，解释哪些特征是重要的（针对性解释或者平均化解释）；
③约束解释：根据（单个或者总体）预测结果，解释是否满足某些约束条件；
④因果解释：根据（单个或者总体）预测结果，解释哪些特征是原因（依据不同的预测数据而变化）。
四、可解释性的评估方法
由于目前对机器学习可解释性的定义都还没达成共识，因为也不存在规范化的评估方法。一些初步的研究将可解释性的评估方法分成了三个层次：
1、应用级别的评估：指的是将解释放入实际产品中，由最终用户、领域专家进行测试检验。
2、普通人员级别的评估：指的是简化的应用级别评估，不需要领域专家进行检验，而是由非专业测试人员实施的。
3、代理功能级别的评估：最好是在已经进过上述的人工评估后再进行。例如，可能知道最终用户理解决策树。在这种情况下，解释质量的替代可以是树的深度。越短的树将获得更好的可解释性得分。
五、解释的属性
解释的过程，是通过解释方法得到对机器学习模型和方法的解释。要评估解释好不好，就需要考虑解释方法和解释结论的相关属性。
（1）解释方法的属性
包含了表现力、半透明性、可移植性、算法复杂度。
表现力：指解释方法能够产生的解释的“语言”或结构（IF-THEN规则，决策树，加权和，自然语言或其他内容）。
半透明性：指解释方法解释方法在多大程度上依赖于对机器学习模型的研究（例如其参数）。
可移植性：指可以使用解释方法的机器学习模型的范围。
算法复杂度：指生成解释的方法的计算复杂度。
这些属性之间也会有相互关联，例如半透明性较低的方法具有较高的可移植性。
（2）解释结果的属性
包括准确性、保真度、一致性、稳定性、可理解性、确定性、重要程度、新颖性、代表性。
其中，准确性和保真度是密切相关的，模型准确性高，解释保真度高，那么解释的准确性也较高。
一致性是指不同的模型对同一任务即使做出了相似的预测，也会有不同的解释，即罗生门效应。
稳定性是比较一个固定模型的相似实例之间的解释。高稳定性意味着实例特征的细微变化基本上不会改变解释。
确定性是指能否解释模型预测正确的可信度。
重要程度是指解释的哪些特征或者数据更重要。
新颖性是指要解释的数据实例是否来自与训练数据分布相距甚远的“新”区域。新颖性越高，由于缺乏数据，模型具有较低确定性的可能性越大。
六、人性化的解释
如果解释的接受者是对机器学习了解不多的外行人，或者时间紧迫需要更简短有力的解释，那就需要考虑解释的人性化，来得到更好的解释。
1、人们更倾向于接受对比性的解释，将差异部分与其他正常情况进行比较得到对差异原因的解释。
2、在成因过多的情况下，人们习惯于从中选择出一到两个主要原因作为事件的解释。
3、针对不同的目标受众，应该采用不同的语言和方式来进行解释。
4、人们更多地用异常原因来解释事件。
5、解释要遵循保真性，但实际生活中保真性的重要程度会略低于上述的条件。
6、人们更倾向于接受与自己先验知识相吻合的解释。
7、好的解释具有一般性。但是异常原因的效果比一般原因好，所以推荐先考虑异常原因，在没有异常事件的情况下再采用一般解释作为最佳解释。