NeurIPS 2022 | 基于最优子集的神经集合函数学习方法EquiVSet
©作者 | 机器之心编辑部
来源 | 机器之心
腾讯 AI Lab、帝国理工与中山大学合作发表论文《Learning Neural Set Functions Under the Optimal Subset Oracle》,提出基于最优子集的集合函数学习方法。
集合函数被广泛应用于各种场景之中,例如商品推荐、异常检测和分子筛选等。在这些场景中,集合函数可以被视为一个评分函数:其将一个集合作为输入并输出该集合的分数。我们希望从给定的集合中选取出得分最高的子集。鉴于集合函数的广泛应用,如何学习一个适用的集合函数是解决许多问题的关键。
为此,腾讯 AI Lab、帝国理工与中山大学合作发表论文《Learning Neural Set Functions Under the Optimal Subset Oracle》,提出基于最优子集的集合函数学习方法。该方法在多个应用场景中取得良好效果。论文已被 NeurIPS 2022 接收并选为口头报告(Oral Presentation)。
论文题目:
Learning Neural Set Functions Under the Optimal Subset Oracle
论文链接:
https://arxiv.org/abs/2203.01693
代码链接:
https://github.com/SubsetSelection/EquiVSet
引言
很多现实应用场景与集合密切相关,例如推荐系统、异常检测和分子筛选等。这些应用都潜在地学习了一个集合函数来评价给定集合的得分,使得输出的集合拥有最高得分。以商品推荐为例子(如下图所示),我们希望从某个网店的商品库V中推荐子集,使得用户对该商品子集拥有最高评分。
▲ 图1. 集合函数学习在商品推荐中的例子
然而找到合适的参数并不是一件容易的事情。为此,我们将目标函数定义为最大似然估计:
实验证明,EquiVSet 在商品推荐、异常检测和分子筛选等现实应用场景中都有出色表现。值得一提的是,虽然传统的端到端子集预测模型也适用于以上场景,但是他们通常属于黑盒模型。在本文中,我们显式建模集合函数,并通过最大化集合函数来进行子集预测。学习的集合函数可用来评价不同子集的效益,因此更具有可解释性。
方法简介
▲ 图2. EquiVSet 训练和推理过程概览
▲ 图3. EquiVSet 参数更新示意图
实验结果
为了验证 EquiVSet 的有效性,我们在三个任务上进行测试:商品推荐、异常检测和分子筛选。
1. 在商品推荐任务中,我们使用 amazon baby register dataset,该数据集包含了真实的用户购买记录。在该任务上,EquiVSet 在大部分场景中都取得最佳性能。
具体地,相比于先前的 SOTA 算法 PGM,EuiVSet 的性能平均提升 33%。相比于传统的黑盒端到端子集预测方法 DeepSet(NoSetFn)(该方法相当于仅建模了变分网络 EquiNet),EquiVSet 的性能平均提升 39%,说明了显式建模集合函数的重要性。
2. 在异常检测任务中,我们使用四个经典数据集:double mnist,celebA,fashion-mnist 和 cifar-10。下图给出了 celebA 上异常检测的例子。
▲ 图3. celebA 数据集。每一行是一个数据样本。在每个样本中,正常图片拥有两个共同属性(最右列),异常图片(红色方框)没有该属性。
以下表格提供不同方法在该任务上的性能对比,可以看出 EquiVSet 显著优于其他方法, 并比 PGM 和 DeepSet(NoSetFn) 的性能分别平均提高 37% 和 80%。
3. 在分子筛选中,我们使用 PDBBind 和 BindingDB 两个经典数据。该任务是从给定的分子库中,筛选出符合一定属性的分子。下表是 EquiVSet 和各个方法的对比结果。
结论
本文提出的基于最优子集的集合函数学习方法。通过将集合概率定义成能量模型,使得模型满足置换不变性、最小先验等特点。借助最大似然方法和等变变分技巧,模型能够高效地训练和推理。在商品推荐、异常检测和分子筛选上的应用认证了该方法的有效性。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。