在Graphcore IPU上使用GNN改善行程时间预测

基于Graphcore的IPU系统运行尖端模型的突出能力^[1]，图形神经网络（GNNs）正在日益扩大的应用范围内证明其强大用途。

预测拥挤城市中的交通行程时间，是应用GNNs的新进领域之一。这是一项众所周知的复杂任务。

新加坡国立大学（NUS）的研究人员正在使用混合专家（MoE）方法的时空图卷积神经网络来提供快速、准确的大规模行程时间预测。

在Graphcore IPU上训练模型，比在CPU和GPU上的速度有着大幅提升，从而在很大程度上加快进展。

新加坡国立大学电子和计算机工程系副教授、研究负责人Chen-Khong Tham表示：“如果你想使用图形卷积神经网络对整个城市的交通速度进行实时预测，那么你可以利用IPU带来的提速进行近乎实时的交通状态预测。”

时空维度下的交通图

帮助城市交通更高效地运行可以带来经济效益、改善环境、提高居民生活质量。这些好处都可以在面向交通系统的联合国可持续发展目标^[2]中看到。

在日常工作生活中，准确预测行程时间有助于通勤人员、快递从业人员、急救人员和道路网络中的其他人进行更好的行程规划。

之前的人工智能应用模式是一个经典的时间序列预测任务，输入的是关于特定路段的交通延误历史数据。然而，这种方法过于简单化，并且忽略了一些影响交通活动的重要因素，比如整个道路网络的状况。

Tham教授说：“一个特定路段的行程时间实际上取决于该路段周围的道路。”这意味着除了时间序列预测外，我们还要考虑空间维度。

新加坡国立大学团队将道路网络以图形形式进行建模。图形中包含节点和边，节点代表单个路段，边显示路段之间的关系强度，其中相邻道路的联系最强。

输入的数据包括道路网络中各路段按时间抓取的交通信息快照，以及道路网络图。

该方法使用的底层机器学习网络架构是Yu、Yin和Zhu在2018年提出的空间-时间图卷积网络（STGCN）。

“三明治”时间-空间-时间处理层级

空间和时间方面的结合体现在Tham教授描述的“三明治”预处理层中。第一层提取时间特征，被馈入提取空间特征的第二层。接下来，又被传递到另一个时间层。

然后，这个三层“三明治”的输出被馈入一个标准的多层神经网络，以生成在未来不同时间段内不同路段的速度预测。

混合专家方法提升预测准确性

由于大规模道路网络中交通预测的复杂性，单一的STGCN不能达到几个模型的组合那般高效准确。

混合专家是一种集合学习方法，其中门控网络学习在不同条件下应该使用哪一种STGCN。

混合专家和门控网络

Tham教授解释道：“比方说，有4个STGCN，你的参数数量增加了4倍，训练计算需求增加了4倍，存储增加了4倍。”

结果证明，在这种情况下，额外的计算负担是值得的，因为它将预测准确性提高了5-10%。

IPU的优势

Tham教授指出，IPU的MIMD架构是Graphcore系统在混合专家STGCN中表现如此出色的原因之一：

[IPU]允许在不同的tile上处理多个指令和多个数据。这为非同质操作提供了非常大的帮助。

因为你有多个专家神经网络，在多个tile和IPU上的并行性显然有助于加快混合专家计算的速度。

Tham教授说：“如果让门控网络和专家网络同时在GPU上运行，可能就不那么简单了。为此，你肯定需要一个IPU，因为门控网络的操作与专家神经网络的操作是不同的。”

新加坡国立大学的研究人员发现，从GPU到Graphcore IPU，速度提高了3至4倍。阅读他们的论文和全部结果^[3]。

利用IPU助力深度强化学习

除了使用混合专家的STGCN进行交通速度预测外，新加坡国立大学的团队还在研究深度强化学习，其中一个智能代理可以根据对道路网络当前状态的分析，对要采取的行动提出建议。这些洞察力可以帮助告知应该如何驾驶汽车、交通信号灯的时间以及现实世界中的其他行动。

这种计算密集型的任务通常难以进行加速，Tham教授表示：

当前深度强化学习问题中的[模拟]环境主要是在CPU上运行，而智能代理是在硬件加速平台上运行。

在CPU和硬件加速平台之间存在一个I/O瓶颈。

解决这个问题的一个方法是在硬件加速平台上运行模拟环境，这种解决方案特别适合Graphcore系统。

Tham教授说：“在这种情况下，IPU再次显示出了基于MIMD架构的优势。环境可以处于不同的状态。它不需要与正在被考虑的其他环境同步，我们可以利用IPU的这种能力同时探索多个环境。”

Tham教授和他的研究团队正在使用IPU作为Graphcore机器智能学院的一部分^[4]。

参考文献

R Chattopadhyay and CK Tham, “Mixture of Experts based Model Integration for Traffic State Prediction”, IEEE Vehicle Technology Conference (VTC) 2022, Helsinki, Finland, June 2022.

B. Yu, H. Yin, and Z. Zhu, “Spatio-temporal graph convolutional networks: A deep learning framework for traffic forecasting,” in Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI), 2018.

[1]https://www.graphcore.cn/accelerating-and-scaling-temporal-graph-networks-on-the-graphcore-ipu/

[2]https://sdgs.un.org/goals

[3]https://www.ece.nus.edu.sg/stfpage/eletck/papers/ChattoTham-IEEE-VTC-Spring-2022.pdf

[4]https://www.graphcore.cn/academic/