港理工、浙大、阿里等机构联合推出宏观图推荐模型，助力图模型的工业落地

论文题目：

Macro Graph Neural Networks for Online Billion-Scale Recommender Systems

论文链接：

https://arxiv.org/pdf/2401.14939.pdf

开源链接：

https://github.com/YuanchenBei/MacGNN

简介

在当今数字化时代，亿级规模的推荐系统在电商、短视频等众多工业应用领域（例如抖音、淘宝等）扮演着至关重要的角色，其现实意义和价值不言而喻。这类亿级线上系统的精排阶段，即点击率（CTR）预估，是实现个性化推荐的关键。

CTR 预估的核心目标在于实时预测用户对特定商品、广告或视频内容等的点击意愿。在这一领域，经典算法如 DIN [1] 和 DIEN [2] 通过结合目标用户、目标商品以及用户近期的商品交互序列，实现了预测准确率与计算效率的双重保障。

为了建模更长的用户交互序列，UBR4CTR [3] 和 SIM [4] 等算法采用了检索式策略，从用户的长交互序列中筛选出最相关的商品，以此作为建模的依据。尽管取得了成功，出于对计算效率的考量，这些方法主要聚焦于利用用户的一阶交互邻居进行建模，这在一定程度上限制了模型建模的深度和广度。

▲ 图1：DIN [1] 模型计算示例

图神经网络（GNN）因其在处理具有图结构数据时的卓越表现，近年来在推荐系统中的 CTR 预估任务中受到了广泛关注。尽管 GNN 在理论上展现出了强大的交互数据建模能力，但由于计算效率的挑战，其在推荐系统的精排阶段尚未得到广泛应用。

近期，一些基于 GNN 的工作在 CTR 预估任务取得了一定的成功，如 GLSM [5] 和 GMT [6]。这些方法通过邻域采样技术从目标用户/商品的交互历史中提取出数百个一阶和二阶交互邻居，进而利用 GNN 进行用户行为的深层次建模。然而，现有基于采样的图神经网络方案在亿级推荐系统中仍具有一定的局限性：

（1）采样偏差：如图 2-(a) 展示了淘宝平台上用户-商品点击交互图（简称为“micro graph”）的邻域数量分布，可以看出：尽管用户和商品在整体上拥有一定数量的一阶和二阶邻居，但通过采样方法选取的数百个邻居仅能覆盖大约 5% 的用户邻居和 0.2% 的商品邻居。这种采样策略可能导致对用户和商品交互模式的不完整理解，从而影响推荐质量。

（2）统一采样策略的不适用性：用户和商品的邻居数量分布存在显著差异，如图 2-(a) 所示。这意味着，采用统一的采样策略来固定获取用户和商品邻居数据可能不合适。

（3）个性化的邻居节点数量：在固定采样数量的条件下，采样出的邻居数量可能无法准确反映用户和商品在采样前的真实交互情况。例如，一个只有数百次交互的用户和一个有数万次交互的用户，如果采用相同的采样数量，可能无法区分两者在交互深度和广度上的差异。

基于现有待解决的局限性，港理工联合浙大和阿里巴巴等机构提出了更适合亿级线上推荐系统的宏观推荐图（简称为“MAcro recommendation Graph”, MAG），如图 2-(b) 所示，MAG 通过将具有相似行为模式的用户和商品聚合为宏观可学习节点（“macro node”），有效地减少了节点数量，同时避免了传统采样方法可能带来的局限性。

为了在 MAG 上进行节点建模，研究团队开发了宏观图神经网络（MacGNN），该网络专门设计用于处理和建模这些宏观节点的信息。研究者同时在离线实验和工业线上 A/B 测试验证了模型的有效性，并已成功应用于阿里巴巴的淘宝电商平台，为阿里巴巴淘宝电商平台的亿级用户提供了有效的 CTR 预估落地实践，为解决图模型在工业落地的难点提供了新思路。

▲ 图2：淘宝推荐系统上 micro graph 和 macro graph 的邻居数量分布示意

方法

针对推荐系统中精排阶段图模型面临的挑战，研究团队首先提出了一种更适合这一场景的创新解决方案：宏观推荐图（Macro Graph, MAG）。这一方法通过将具有相似行为特征的用户和商品聚合为宏观节点，有效减少了节点数量，从而降低了计算复杂度。

为了在 MAG 上进行高效的用户和商品建模，研究者们进一步开发了宏观图神经网络（MacGNN）。MacGNN 专门设计用于处理 MAG 结构，能够对用户和商品的行为模式进行深入挖掘，并最终实现点击率（CTR）的预估。

2.1. 宏观推荐图（MAG）

研究者们首先根据用户和商品的历史交互行为模式进行聚类分组（如基于 k-means 的算法等），从而形成宏观节点（Macro Node）。这些宏观节点会被分配可学习的表征向量。因此，每个用户和商品节点都会属于一个宏观节点。随后，研究者们针对每个目标用户和商品，提取其原生的高阶子图，并将其 k-hop 邻域转换为宏观邻域。

在这个过程中，研究者们根据微观邻居属于同一宏观节点的数量，计算出带权的宏观边，构建出新的交互子图。这一动态过程如图示 3 所示，以用户侧为例，商品侧的处理方式类似。通过这种方法，研究者们能够在保持图结构信息的同时，有效地减少计算量，提高推荐系统的效率并尽量保持准确性。

▲ 图3. 传统微观图（micro graph）到宏观图（macro graph）生成过程的目标用户侧示例

2.2. 宏观图神经网络（MacGNN）

为了深入挖掘宏观推荐图（MAG）中的信息并有效建模目标用户和商品，研究者们进一步为 MAG 设计了一种专门的宏观图神经网络模型——MacGNN。如图 4-(a) 所示，MAG 通过聚类用户和商品的历史交互行为模式，构建了一个层次化的图结构，其中每个宏观节点代表了一组具有相似行为的用户或商品。

MacGNN 模型如图 4-(b) 所示，它利用这些宏观节点的表征、宏观边的权重以及用户的近期微观交互数据，来学习目标用户和商品的表征。这些学习到的表征随后被用于进行点击率（CTR）的预估。

这种方法的优势在于，它能够在保持图结构信息的同时，通过宏观节点的聚合和微观交互的细化，有效地平衡了计算效率和预测精度。通过这种方式，MacGNN 模型能够为推荐系统提供更加个性化和准确的推荐，提升用户体验和系统的整体性能。

▲ 图4. 宏观图（MAG）与宏观图神经网络（MacGNN）

实验评估

3.1 离线实验评估

研究者在三个公开数据集（表1）和亿级的阿里巴巴工业数据集（表2）均采用 CTR 预估常用的三个指标进行了离线实验，实验结果表明所提出的宏观图推荐模型能取得优于现有 CTR 预估推荐模型的表现。

▲ 表1. 在三个公开数据集的离线实验结果

▲ 表2. 在阿里巴巴亿级工业数据集的离线实验结果

3.2 效率分析

同时，为了评估 MacGNN 的计算效率，作者将其与代表性的 5 个 CTR 预估模型对比了每个目标用户-商品对的平均推理时间，如下图 4 所示。可以看出，通过结合线上部署的宏观图系统架构，MacGNN 能取得优于现有兴趣建模模型和 GNN 模型的计算效率，并且接近于特征交叉模型的计算效率。

▲ 图4. MacGNN 的推理效率分析

3.3 工业A/B测试

作者在阿里巴巴淘宝首页推荐流中部署 MacGNN 与最优表现的两个基线模型 SIM 和 GMT 进行了线上 A/B 测试。测试结果显示，MacGNN 不仅在响应时间上表现出色，而且在提升线上指标方面也取得了显著的成效。

这表明 MacGNN 在处理大规模数据集时，能够有效地进行点击率（CTR）预估，并且已经成功地在淘宝的推荐系统中实现了稳定部署，为数亿级别的用户和商品提供了精准的个性化推荐服务。

▲ 表3. MacGNN 在淘宝首页推荐的 A/B 测试结果

总结

本文是香港理工大学、浙江大学以及阿里巴巴集团等机构联合发表的宏观图推荐模型论文，已被国际万维网大会 WWW 2024 所接收。在这篇论文中，作者们针对当前图模型在工业推荐系统中落地应用时面临的困难和局限性，提出了一种创新的解决方案：宏观推荐图（MAG）以及与之相适配的宏观图神经网络（MacGNN）模型。

在广泛的离线实验和在线 A/B 测试中，所提出的方法均展现了有效性并落地于淘宝首页推荐系统中，助力了图模型在大规模工业场景中进行实践应用。

参考文献

[1] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1059-1068.

[2] Zhou G, Mou N, Fan Y, et al. Deep interest evolution network for click-through rate prediction[C]//Proceedings of the AAAI conference on artificial intelligence. 2019, 33(01): 5941-5948.

[3] Qin J, Zhang W, Wu X, et al. User behavior retrieval for click-through rate prediction[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020: 2347-2356.

[4] Pi Q, Zhou G, Zhang Y, et al. Search-based user interest modeling with lifelong sequential behavior data for click-through rate prediction[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 2685-2692.

[5] Sun H, Yu G, Zhang P, et al. Graph Based Long-Term And Short-Term Interest Model for Click-Through Rate Prediction[C]//Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022: 1818-1826.

[6] Min E, Rong Y, Xu T, et al. Neighbour interaction based click-through rate prediction via graph-masked transformer[C]//Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022: 353-362.

更多阅读