迈向公平图学习的新基准：电子科大等发布全新综合数据集和统一评估方法

©PaperWeekly 原创 · 作者 | Xiaowei Qian

单位 | 电子科技大学

引言

公平图学习（Fair Graph Learning）在社交网络分析、推荐系统、信用评级等众多实际应用领域中发挥着重要的作用。然而我们发现，评估公平图学习模型所依赖的数据集存在诸多缺陷，并且评估设置也缺乏规范。为更好地评估公平图学习模型，我们推出了一系列新数据集，并为公平图学习模型建立了统一的评估方法。

论文题目：

Addressing Shortcomings in Fair Graph Learning Datasets: Towards a New Benchmark

论文链接：

https://arxiv.org/pdf/2403.06017.pdf

GitHub仓库链接：

https://github.com/XweiQ/Benchmark-GraphFairness

统一评估设置

与传统的节点分类任务（模型在验证集上的精度趋于稳定时停止训练）不同，公平图学习模型还必须考虑准确性和公平性的权衡。为了实现这一目标，现有的方法各自为其模型设计了 early-stopping 策略。目前多样的评估设置存在以下问题：

1. 难以确定观察到的结果差异是由模型固有的算法质量导致，还是所采用的特定 early-stopping 策略的结果。评估不同公平图学习模型时，每个模型采用其固有的 early-stopping 策略，这使得准确评估这些模型的过程变得复杂。

例如，niftyGCN 在 German 数据集上采用不同的 early-stopping 策略训练，会导致评估结果出现较大的差异。这说明不同模型采用不同 early-stopping 策略是不公平的，我们需要在评估中采用统一的 early-stopping 策略。

部分 early-stopping 策略没有有效进行准确性和公平性之间的权衡。此外，一些 early-stopping 策略依赖于手动设置的阈值，这对于在不同数据集上进行大量实验无疑是困难的。

以上问题说明，实现一致且公平的 early-stopping 策略对于公平图学习方法的基准是必不可少的。

因此，我们提出了新的 early-stopping 策略，并在后续实验中统一设置。该策略平衡了准确性和公平性，并采用了自适应阈值。

现行数据集缺陷

半合成数据集（Semi-synthetic Datasets）

现有半合成数据集，如：German、Credit、Bail，其中点的连接是基于特征相似性构建的。这样构造的图难以为预测提供额外的信息。我们的实验结果表明，在半合成数据集上，不利用图结构的 MLP 的总体表现比 GCN 和以公平性为重心的 GNN 方法（包括 NIFTY 和 FairGNN）的要更好。

此外，MLP 不仅实现了更高的性能，而且还在这些半合成数据集上保持了更高的公平性指标。这样的结果说明现有的半合成数据集并没有提供有效的图结构，不能很好地评估公平图学习模型。

真实世界数据集（Real-world Datasets）

在一些特定的现实世界数据集上，如 Pokec、NBA，GCN 对于图结构的使用不会引入明显的额外偏差。GCN 和 MLP 达到相当水平的公平性指标说明了这一点。

这些实验发现强调了当前用于评估公平图学习模型的数据集的关键问题——数据集中的图结构不能有效地带来额外的信息（包括准确性的提升和偏差的放大）。这些数据集没有提供必要的挑战来体现公平图学习模型的复杂机制能够带来比基本模型更高的价值。

新的公平图学习数据集

4.1 设计原则

图结构的有效性（Graph Structure Utility）：图结构必须能明显提高预测性能，即对预测任务有帮助。

图结构放大偏差（Bias Amplification through Graph Structure）：图结构应该放大偏差信息，才能有效比较不同公平图学习方法的性能差异。

以上设计原则确保只有善于利用图结构，同时减轻其固有偏差的模型才能在评估中脱颖而出。因此，仅基于特征而不利用图结构、以及忽略图结构中存在偏见的模型将面临挑战。这样的数据集可以推动以公平为导向的模型创新，而不仅仅是识别和纠正广泛存在的偏见。

4.2 构建数据集

基于这些原则，我们设计了一系列数据集——从合成数据集（synthetic datasets）开始，研究者可以控制数据的有效性和偏差，然后过渡到新的半合成数据集（Semi-synthetic Datasets），最后在真实世界的数据集（Real-world Datasets）上评估模型，以提供现实的测试场景。

这种渐进式基准测试方法可以对数据集真实性的不同阶段的模型能力进行全面评估，确保在现实应用中的鲁棒性和有效性。

4.2.1 Synthetic Datasets & Semi-synthetic Datasets

▲ 基于生成边概率的分析框架

为设计合成数据集以及增强半合成数据集，我们提出了一个分析框架（如上图所示）以探索边生成概率和公平性度量之间的相互作用。我们聚焦于二进制敏感属性和二进制标签的场景——其中边的概率直接影响不同群体的预测准确率，随后影响公平性指标。这一过程分为两步：

从边的生成概率到群体准确率（Group Accuracy）：生成边的概率与特定群体的准确率之间的相关性如上图所示。例如，如果我们固定其他连接的边生成概率，并增加边的概率，我们预计群体的准确率会有所提高。这一步提供了一种基于 edge generation dynamics 预测群体准确率的方法。
从群体准确率到公平性指标：公平指标，如统计均等（）和机会均等（），是评估公平性的关键。衡量预测概率的差异，而评估各群体之间的准确性差异。通过检查不同组的准确性，我们深入了解了这些公平指标的潜在变化，提供了一个直接的策略来评估和提高模型预测的公平性。

我们基于以上分析框架设计了合成数据集，并对现有的半合成数据集进行了分析和修改：

我们设计了一套公平图学习数据集生成的步骤流程（in Section 4.1.2），并生成了两个合成数据集（Syn-1、Syn-2）作为示例；
现有的半合成数据集因为其不同种类边的比例不合理，导致图结构对模型的预测性能有害。我们通过调整现有半合成数据集中边的数量，获得了三个新的半合成数据集（in Section 4.1.3）。