ICML 2023 | 港大提出创新时空图预训练架构，助力智慧城市多维任务学习

论文题目：

Spatial-Temporal Graph Learning with Adversarial Contrastive Adaptation

收录会议：

ICML 2023

论文链接：

https://arxiv.org/abs/2306.10683

代码链接：

https://github.com/HKUDS/GraphST

港大数据智能实验室（指导老师：黄超）

https://sites.google.com/view/chaoh

研究背景

时空图表示学习的主要目标是为城市的各个区域提供有意义的表征，以便支持一系列时空预测任务，如公共安全领域的犯罪预测、智能交通系统中的交通流量预测、以及基于位置的服务中的兴趣点（POI）推荐等。图神经网络（GNNs）是应对此类问题极具前景的方法之一，它们通过在采集的时空数据上执行消息传递，模拟了数据生成的区域图中不同区域间的关联性。

然而，时空图神经模型深度依赖于所构建区域图的质量，这一依赖性带来的挑战不容忽视。当前的方法在图结构连接上的局限性，往往无法充分捕捉城市环境的复杂性。此外，在时空数据分析中普遍存在的数据噪声和不完整性问题，也进一步削弱了区域图的质量。

例如，传感器的读数可能存在丢失或不准确的情况，而从群体传感器收集的人类活动数据往往含有噪声。同时，受城市功能差异的影响，空间上邻近的区域可能并不展现出强烈的相关性，功能相似的区域在地理位置上可能相隔甚远。这些因素使得在噪声干扰下，进行高效的时空图表示学习变得更为困难。

受自监督学习在缓解数据稀缺和噪声问题方面取得的最新进展的鼓舞，我们提出了一种结合有效数据增强的时空图预训练框架，并在模型设计中探讨了以下几个关键问题：

问题1：如何生成有效的自监督信号以作为时空图的预训练任务？
问题2：如何在对比学习中自动辨识出挑战性样本，以增强模型的鲁棒性？
问题3：如何建模不同区域关系视图之间的相互依赖性？

为应对上述挑战，我们提出了名为 GraphST 的新时空预训练模型，该模型通过提取自监督信息进行预训练，进而推动了时空图表示学习的发展。我们设计了一个可学习的函数，以自适应的方式从多视图区域图中生成自监督信号，反映城市不同区域之间的全局联系。

此外，我们开发了一种对抗性对比学习模型，赋予 GraphST 在最小-最大优化框架下，自动辨识对比学习中挑战性的正负样本的能力。最终，我们引入了一种跨视图对比学习策略，通过自我区分机制来捕捉不同区域间的视图依赖关系，并加强区域表示的一致性。

我们的研究成果主要包含以下几点：

我们对现有时空图学习方法在处理含噪声和不完整城市数据时的局限性和非鲁棒性进行了深入分析。
我们提出了 GraphST 时空图预训练模型，通过对抗性对比学习范式，并结合图结构自适应自监督学习，加强了区域之间关系学习的能力。
我们通过在多个设定和时空预测任务上的实验，展示了 GraphST 相较于现有先进方法的显著性能提升。

模型介绍

我们在本文中介绍了我们的时空图学习方法 GraphST，并在图 1 中展示了其模型架构。

2.1 时空图增强学习

为了全面捕捉空间和时间上的动态区域依赖性，我们开发了一种图增强的时空学习框架。该框架旨在综合不同视角（例如 POI 语义、城市流动性和地理位置）的信息，以挖掘区域间复杂的潜在空间和时间联系。

为了在表征空间中有效地编码 POI 语义，我们采用了结合 Skip-gram 模型和多层感知器（MLP）的方法。具体地，我们使用 Skip-gram 模型捕获每个 POI 的上下文信息，随后通过 MLP 将这些上下文信息转化为细致的 POI 表征。这一流程使得我们能够理解并保存 POI 之间的语义关联性，并在表征空间中维系这类信息。因此，在结果矩阵中，每行代表了一个区域的 d 维特征向量。

在整合多视图信息以构建统一框架之前，我们对每个独立视图进行处理，并创建对应的图结构：

i）基于 POI 的区域图，通过衡量区域间 POI 语义表征的相似度来构建。具体来说，在此图中，若两区域间的余弦相似度超出预定阈值，则这两区域间建立连接。

ii）基于时间的移动图，其节点和边是依据空间和时间维度构造的。对每个区域，我们创建了与不同时间槽（）相对应的时间感知节点。根据给定轨迹，我们将时间槽的源区域节点与时间槽的目标区域节点连接起来。

iii）基于地理位置的图，这个图是根据区域间的物理距离来连接彼此邻近的空间区域。

通过将这些视图特定的区域图（，，）叠加，我们构造了一张综合了多种视角的多视图区域图，旨在揭示区域间的多样化联系。为了实现这一目标，我们在各视图特定图结构中，为相同区域的节点添加自连接边，从而促进信息的自我增强。

信息传播模式。GraphST 通过在多视图区域图上进行消息传递，实现了对区域内部和区域间关系的捕捉，这一过程在空间和时间维度上得到了有效的执行。这种信息传播机制旨在深入理解多视图数据中蕴含的复杂时空动态。

2.2 图增强

在图增强技术方面，我们提出了一种创新方法，旨在自动学习并强化不同区域之间的依赖性。此方法特别设计来优化区域图结构，并通过识别和减少邻近区域的不相关性以及强化远距离区域间的合理依赖关系，以此对抗数据中的噪声干扰。

我们采用了变分图自编码器（VGAE）进行自监督学习，这种策略结合了对比学习和生成式学习的优势，使得模型能够在全局层面上整合时空关系的复杂多样性，显著提升了时空数据表示的质量和准确性。

2.3 对抗性对比学习与难样本

为了提升我们图增强方法的鲁棒性，我们引入了对抗性自监督学习机制，专注于辨识难以区分的负样本和正样本节点。该机制在模型训练过程中为梯度更新提供了有价值的辅助信号，从而增强了对比学习范式的效果。通过对抗性对比学习的实施，我们的目标是提升模型的整体表现，并增强其对数据扰动的抵抗力。

具体来说，我们通过对抗性数据增强来实现这一目标，这涉及到在生成的自编码器视图 ̃G 与经过仔细设计的对抗视图之间最大化对比损失。这种方法提升了模型对样本间差异的识别能力，并增强了对数据扰动的容忍度。通过融入对抗性对比学习，我们的图增强策略不仅能够更有效地处理数据中的噪声和变化，而且还能够在各类图分析任务中实现更优的性能表现。

2.4 跨视图对比学习

在 GraphST 框架内，为了进一步增强模型在捕捉不同数据视图间相互依赖性及保持区域间异构关系的能力，我们不仅在区域图的结构层面进行了增强，同时也加入了对比学习的组件。具体操作中，我们把表示矩阵 ̃H 分割成三部分，分别形成三个视图特定的矩阵： ̃Hp、 ̃Hm 和 ̃Hs，它们各自代表了不同的数据视图——POI 的语义关联性、城市流动性转换以及地理位置相关性。

为了更清晰地阐述这一点，我们以 POI 图视图（Gp，̃Hp）和移动图视图（Gm，̃Hm）之间的对比损失 Lp,m 为例。这种对比损失计算方法不仅促进了不同视图之间的相互理解和整合，而且通过巧妙地设计损失函数，能够有效地捕捉和利用这些视图间复杂的相互作用，从而为数据提供更完整和精确的表征。这样的方法让模型能够在保持各视图特性的同时，更好地理解和表达 POI 的多维度信息，学习到城市多维度动态信息。

实验结果

在本节中，我们对我们的模型在多个时空数据挖掘任务上的表现进行了全面评估，涵盖了诸如城市犯罪率预测、交通流量预测以及房价走势预测等关键领域。为了确保评估的严谨性，我们选择了多个数据集进行了实验，我们的模型与当前领先技术相比的性能表现。

基于表格中所展示的实验结果，可以清楚地看到，我们提出的模型在所有案例中均表现优于现有的先进时空区域表示方法。这一显著的性能提升，充分证明了我们的方法在处理城市犯罪数据的稀疏性和分布偏斜等挑战时的高效性。我们的模型通过引入有效的自我增强信号，显著提升了区域表示的质量。

此外，我们注意到，如果直接将标准图神经网络应用于区域图上，其性能可能会因异构数据源中的噪声时空区域关系而受到负面影响。这种脆弱性可能导致表示的质量不佳。我们的模型恰好通过增强学习机制，有效地克服了这一问题，从而确保了更加准确和鲁棒的数据表示。

在本节，我们专注探究了模型应对数据稀疏性挑战的鲁棒性。具体来说，我们通过分析各区域特定犯罪序列中非零值的比例，对模型在不同犯罪数据密度的区域中的表示能力进行了评估，数据密度的范围从延伸至。

实验结果，如图 3 所示，清楚表明在面对不同程度的数据稀疏性时，我们的模型始终能够提升性能表现。这一成效的取得，主要归功于模型能力，它从复杂的多视角时空数据中抽取出的自我监督信号，使得即使在那些犯罪数据极其稀疏的区域，模型仍然能够学习到有效的数据表征。这种自我监督学习的方法，为处理和分析稀疏数据提供了一种新的视角，进一步增强了我们系统的应用潜力和实际价值。

在本节的案例研究中，我们着重展示了所提出的 GraphST 模型在捕捉跨区域的依赖性、提炼全局时空智慧以及减轻特定视图中噪声扰动的有效性。图 5 生动地描绘了 GraphST 通过原始表示映射得到的区域表征的可视化图景。通过仔细观察，我们发现尽管两个功能性相似的区域和在地理上相隔较远，它们在多视图区域图中的联系可能相对薄弱。

然而，GraphST 的对抗性自我监督增强范式展现了其强大的能力，在杂乱无章的信息之中，依然能够洞察出潜在的区域依赖关系。此外，我们注意到，即便区域与在城市空间中承载着不同的功能性语义，它们因空间上的邻近而在图结构中构成了直接的联系。这种关系可能导致图神经网络在这些关联性不强的区域之间进行了过多的信息传递，从而产生了偏差。

GraphST 正是通过控制这类信息的传播，巧妙地避免了这种偏见，确保了模型的准确性和可靠性。总的来说，GraphST 以其精妙的设计，提供了一种既能捕捉细致的区域依赖性，又能有效过滤噪声扰动的高效图表征方法。