本文来自微信公众号“麻省理工科技评论APP”，【作者】Adam Zewe。
（来源：MIT News）
机器学习模型虽然功能强大，但可能会出错，并且通常难以使用。为了帮助用户了解何时以及如何信任模型的预测，科学家们开发了各种解释方法。然而，这些解释往往十分复杂，可能涉及数百个模型特征，有时还以多层次的可视化形式呈现，这让缺乏机器学习背景的用户难以完全理解。
为了解决这一问题，MIT的研究人员利用LLMs将基于图表的解释转化为通俗易懂的语言。他们开发了一套系统（包含两个部分），先将机器学习模型的解释转换为人类可读的文字段落，然后自动评估这些叙述的质量，从而让终端用户了解这些解释是否值得信任。
通过为系统提供一些示例解释作为提示，研究人员能够定制系统输出的内容，以满足用户的偏好或特定应用场景的需求。
从长远来看，研究人员希望在这一技术基础上进一步发展，使用户能够在现实环境中向模型提出后续问题，了解其预测的依据。
“我们开展这项研究的目标是迈出第一步，最终实现用户能够与机器学习模型进行深入对话，了解模型为何做出特定预测，从而更好地判断是否采纳模型的建议。”
MIT电气工程与计算机科学研究生、论文第一作者Alexandra Zytek表示。
该论文的合著者包括MIT博士后研究员Sara Pido，EECS研究生Sarah Alnegheimish，法国国家可持续发展研究院研究主管Laure Berti-Équille，以及论文的资深作者、MIT信息与决策系统实验室首席研究科学家Kalyan Veeramachaneni。
这项研究将在IEEE大数据会议上展示。
01 解读模型背后的逻辑
研究人员重点研究了一种流行的机器学习解释方法——SHAP。在SHAP解释中，模型会为每个特征分配一个数值，以表明该特征对预测结果的影响。例如，当一个模型用于预测房价时，房屋位置可能是其中一个特征，而位置这一特征将被赋予一个正值或负值，表示它对模型整体预测的增减作用。
SHAP解释通常以柱状图形式展示哪些特征最重要或最不重要，然而，当模型包含超过100个特征时，这种柱状图可能变得难以解读。
“作为研究人员，我们必须对展示内容做出许多选择。如果我们只显示前10个特征，用户可能会质疑其他特征为什么没出现在图中。而使用自然语言可以免除我们做出这些选择的负担。”资深作者Kalyan Veeramachaneni解释道。
但不同于直接使用LLM生成自然语言解释，研究人员采用LLM将已有的SHAP解释转化为可读的叙述，以减少生成过程中可能引入的误差。
研究人员开发的系统名为EXPLINGO，包含两个协作部分。第一部分名为NARRATOR，利用LLM将SHAP解释转化为符合用户偏好的自然语言叙述。通过向NARRATOR提供3至5个手写的示例叙述，LLM可以模仿这些样例的风格生成文字。
Zytek指出：“与其让用户定义他们需要什么样的解释，不如让他们直接写下想要看到的内容，这样更简单。”
这种方法使NARRATOR可以通过不同的手写示例轻松适应新的应用场景。
在NARRATOR生成通俗语言解释后，第二部分GRADER会利用LLM根据四项指标对叙述质量进行评估：简洁性、准确性、完整性和流畅性。GRADER会自动将NARRATOR生成的文字与对应的SHAP解释一起输入LLM进行验证。
Zytek表示：“我们发现，即使LLM在执行任务时可能出错，它在验证和检查任务时通常不会出错。”
此外，用户还可以根据需求调整GRADER中各指标的权重。“比如在高风险场景下，可以优先考虑准确性和完整性，而降低对流畅性的要求。”她补充道。
02 优化自然语言叙述
对Zytek及其团队来说，调整LLM以生成自然流畅的叙述是他们面临的最大挑战之一。通常情况下，添加越多的风格控制规则，LLM越容易在解释中引入错误。
“我们在提示调优上花了很多时间，一次次发现问题并逐个修复。”她说道。
为测试他们的系统，研究人员使用了九个带有解释的机器学习数据集，并让不同用户为每个数据集撰写叙述。他们用这些样例来评估NARRATOR模仿不同写作风格的能力，同时利用GRADER从简洁性、准确性、完整性和流畅性四个维度对每条叙述进行评分。
最终，研究表明他们的系统可以生成高质量的自然语言解释，并成功模仿不同的写作风格。
研究结果显示，提供少量手写示例显著提升了叙述风格的质量。然而，这些示例需要非常精心编写。比如，加入“更大”之类的比较词汇，可能会导致GRADER错误地将准确的解释标记为不正确。
基于这些成果，研究团队计划探索更好的技术，以帮助系统更好地处理比较词。此外，他们希望通过为解释加入逻辑推理功能，进一步扩展EXPLINGO的能力。
从长远来看，他们希望将这项研究发展为一个交互式系统，使用户能够就某一解释向模型提出后续问题。
“这在决策过程中非常有帮助。如果用户对模型的预测结果有异议，我们希望他们能迅速判断自己的直觉是否正确，或者模型的直觉是否正确，并找到分歧的来源。”Zytek解释道。
原文链接：
https://news.mit.edu/2024/enabling-ai-explain-predictions-plain-language-1209
