Attention不是唯一的选择：基于反事实推理的可解释性推荐

©PaperWeekly 原创 · 作者 | 李逸聪

单位 | 悉尼科技大学

研究方向 | 推荐系统

论文题目：

Attention Is Not the Only Choice: Counterfactual Reasoning for Path-Based Explainable Recommendation

论文链接：

https://arxiv.org/pdf/2401.05744

近日，悉尼科技大学徐贯东教授团队，联合香港中文大学、昆士兰大学、香港理工大学、以及新加坡南洋理工大学等多家单位，发布了基于路径反事实推理的推荐系统解释新方法，并提出了一系列全新的定性和定量的解释性评价标准，引发同行广泛关注。

反事实推理的解释的背景

近年来，由知识图驱动的推荐系统利用各种图神经网络建模取得了不错的效果。然而，与传统模型相比，比如协同过滤等，图上丰富的信息使数据结构变得更加复杂，这给模型的可解释性带来了巨大的挑战。

为了得到推荐的解释，许多相关研究先用图建模和图神经网络进行推荐，然后用连接到目标结果的路径来解释推荐的结果，因为这些连接到目标结果的路径可以反映它和相近项目的关系。

然而，在推荐图中通常有大量的候选路径，如何从中选择有意义的路径作为解释，成为一个值得研究的问题。一些工作将注意力机制集成到模型中，通过注意力机制学习路径的权重作为路径的重要性进行解释。这些权重通常学习了一跳邻居项目之间的关系、用户的购买记录之间的关系和辅助信息的重要性，这些解释都可以通过可视化案例进行评估。

▲ 通过 3 次独立训练对 16 条路径进行注意力权重。每个方块代表一条路径，深橙色意味着更高的权重。

然而，越来越多的工作对基于注意力机制的解释提出了一些担忧，具体总结为以下两点：首先，因为许多研究发现通过注意力机制得到的结果的可靠性较弱，因此对于它是否能用来解释这一点有广泛质疑。

如图所示，在推荐图上，我们用注意力模型在 16 条路径上独立地运行三次，并用热图绘制了 16 条路径的注意力权重，其中每个色块表示一个路径的权重大小，较深的橙色意味着更高的注意力权重。

我们可以看到，基于注意力的模型在三次独立运行后，无法保证稳定的权重分布，这种不稳定的结果无法作为推荐的解释。其次，图中使用的注意力机制也倾向于为那些频繁出现的路径分配更高的权重，这些路径通常包含更普遍、广泛、大范围且模糊的信息，而那些有特定解释语义信息的路径没有被分配了较低的权重。

反事实推理：初露锋芒

克服上述问题的一个初露锋芒的方向是反事实推理。一般来说，反事实推理遵循“假设”思维：如果某个条件不再成立，结果会发生什么。尤其是，导致最终结果发生巨大变化的条件会被视为重要的原因。

受此启发，在推荐场景中，我们可以尝试通过对候选路径添加一些轻微的扰动来寻找重要的可解释路径，看是哪一个或者哪一些路径的扰动导致了推荐分数的变化。如果路径的轻微干扰导致结果项目的推荐分数大幅下降，则认为当前路径是重要的路径，小幅下降则表示不太重要。

这种基于反事实推理的解释的新方向可能会给我们带来以下好处：首先，反事实推理主要关心模型的输入和输出，与模型内部的参数无关，这非常适合与模型无关的解释。这意味着我们可以在多个推荐模型上使用相同的反事实推理方法来查看哪一个更值得信赖。

另外，反事实机制对于那些信息丰富的路径更有效，因为包含更加广泛信息的路径通常具有较低的不确定性，因此它们更难以受到小的干扰来翻转推荐分数。这有望克服目前基于注意力的解释存在的诸多问题。

最近的研究已经开始探索反事实推理在生成推荐的解释的可行性。然而，他们中的大多数只关注项目、项目的特征或用户特征。它们都没有关注图中丰富的信息，比如路径，而基于路径的解释是推荐图中最有说服力、包含信息量最大的解释方式。尽管有工作探索了知识图谱上的反事实推理，但他们学习的可解释权重是针对其模型的，并不能用于不同的推荐模型。

论文的研究贡献

为了填补反事实推理和基于路径的可解释推荐模型之间的空白，我们提出了反事实的基于路径的可解释推荐（简称 CPER）。我们设计了两种有效的反事实推理方法，从路径向量表示和路径拓扑结构两个角度寻找可解释的路径。具体地，我们提出了一个优化框架来学习路径表示的扰动因素。另外，我们还提出了通过强化学习驱动的路径替换策略，对路径的拓扑结构进行反事实推理。

此外，除了传统的基于案例研究的可解释性评估，我们还提出了一套包括定量和定性的可解释评估方案。我们在四个数据集上评估了我们的可解释方法，验证了其显著优势。

综上，这篇论文有以下贡献：

我们通过对路径向量表示和路径拓扑结构进行反事实推理，提出了一种新颖的可解释框架用于基于路径的推荐。对于基于路径拓扑结构的反事实推理，我们设计了一种强化学习方法来学习反事实学习中扰动的路径替换策略。
我们提出了一套解决方案来评估基于可解释路径的可解释性质量。与传统的基于案例研究的可解释性评估不同，我们提出的评估方法包括定量和定性的方法，可广泛用于评估各种基于路径的解释方法。
在四个现实世界数据集上进行了实验，进一步验证了我们框架的有效性。将我们的解释与基于注意力的解释进行比较，结果表明我们的解释方法具有更高的稳定性、有效性和置信度。

文章核心看点

为了避免基于注意力的可解释路径权重带来的不可靠性问题，我们通过反事实学习来学习可解释路径权重来代替传统的注意力权重。主要思想是，一旦对每个可解释路径或路径集合进行扰动，推荐预测分数的降低值就可以视为该路径或路径集合的可解释权重。

为了实现这一目标，我们从路径向量表示和路径拓扑结构两个扰动角度进行反事实推理。具体来说，我们通过学习路径嵌入上的扰动因子来对路径表示进行反事实推理，并通过基于强化学习的策略来替换一些路径顶点来替换原有路径，并对路径拓扑结构进行反事实推理。除此之外，我们还提出了一系列定量和定性的可解释评估方法用于评估得到的可解释路径的优势。

看点1：路径表征上的反事实推理方法。与传统的基于注意力的解释通过注意力权重来衡量路径重要性不同，我们从两个方面评估路径的重要性：扰动的大小和对推荐结果的影响。如果对路径上的扰动非常轻微，但导致推荐的分数急剧下降，则相应的路径应该非常重要。为此，本方法旨在学习轻微的扰动因素，同时找到受该扰动影响的可解释路径。

看点2：路径拓扑结构上的反事实推理。具体来说，我们利用强化学习强大的搜索功能，设计了一种路径替换策略，对路径的集合进行扰动，即对路径中顶点进行替换，推荐预测分数的降低值就可以视为路径集合的可解释权重。

看点3：基于路径的推荐的可解释性评估。评估解释是否可信是非常主观的。据我们所知，很少有一种被广泛接受的衡量标准来评估基于路径的可解释性。在本文中，我们希望通过提出并总结定性和定量方法来推动这一领域的发展。

定量评估：

置信度（confidence）：我们将每个可解释路径的置信度定义为其不确定性，又名熵，其计算方式是受信息论启发的。直观上，更好的解释模型往往会更自信地探索可解释的路径，并使路径不确定性相对较低。
信息量（informativeness）：我们将学习到的可解释路径反馈给推荐后端，以查看学习到的可解释路径对推荐性能的贡献有多大。与所有其余路径相比，越接近原始结果，学习到的可解释路径的信息越多。
保真度（fidelity）：它测量从输入可解释路径中删除不同比例的可解释路径时预测分数的下降。保真度值越大，表明反事实权重越强，可解释性也越好。

定性评估：

稳定性（stability）：我们通过多次独立重复推荐模型学习并查看可解释路径分布是否一致来评估可解释方法的稳定性。可解释分布越稳定，可解释方法越可靠。
有效性（effectiveness）：我们随机向路径集中添加一条不相关的路径，以查看解释框架学习的权重。直观上，不相关路径的可解释权重应该尽可能小才能有意义。否则，可解释的权重是不可靠的。

更多阅读