NeurIPS 2023 | 从分布鲁棒优化角度理解对比学习的鲁棒性和温度系数的意义
©PaperWeekly 原创 · 作者 | 吴俊康
单位 | 中国科学技术大学博士生
研究方向 |对比学习
本文从分布式鲁棒优化(DRO)的角度分析了对比学习损失函数(InfoNCE),揭示了 InfoNCE 对负样本分布的鲁棒性,并指出温度系数的本质是 DRO 中控制鲁棒半径的拉格朗日系数,同时也建立了 DRO 和互信息 (MI) 之间的理论联系。此外,我们从 DRO 的角度指出了 InfoNCE 的潜在缺点,例如过度保守和对异常值的敏感。最后提出了一种新的损失函数——ADNCE,并验证了其在各个场景的有效性。
论文标题:
Understanding Contrastive Learning via Distributionally Robust Optimization
论文链接:
https://arxiv.org/pdf/2302.04775.pdf
代码链接:
https://github.com/junkangwu/ADNCE
作者主页:
https://junkangwu.github.io/
摘要
近年来,对比学习因其在自监督领域卓越的表现,受到越来越多的关注。核心思想是学习“拉近”证样本(例如来自同一图像的增强数据),同时“推开”负样本(例如来自不同图像的增强数据)的表示。通过利用这种直观的概念,无监督学习甚至开始挑战监督学习。然而,对比学习饱受困扰的一个问题就是——负采样偏差。由于无监督场景下的对比学习无法提前获得物品标签,负样本采样就成为了一个显著的问题。
为了解决这个问题,近年来有一些工作缓解这个问题,比如,[1, 2] 通过估计最优负样本的分布以缓解负采样中出现的偏差,[3] 则添加了一个检测模块用于识别并且修正存在的假负样本。
从DRO的视角理解对比学习
2.1 动机
在对比学习(CL)的实际应用中,负样本 (x,y) 通常是从训练数据中统一抽取的,它们可能具有相似的语义(例如标签)。正如 Chuang [1] 等人所提出的,这引入了负采样偏差的潜在问题。
在本项研究中,我们观察到一个有趣的现象,即 InfoNCE 本身表现出对负采样偏差的抗噪性。我们在两个基准数据集 CIFAR10 和 STL10 上对 CL 进行了测试,如下表所示,我们发现:
为什么 InfoNCE 表现出对负采样偏差的容忍度? 扮演什么角色,为什么如此重要?
2.2 分布式鲁棒优化(DRO)
在现有的机器学习任务中,我们默认其遵循 iid 假设(训练集样本分布和测试集样本分布均独立同分布)。为解决不满足 iid 假设的情形,DRO 旨在定义一个潜在的分布 Q 的集合,优化其中最糟糕的(worst-case)分布下的目标函数。
2.3 CL-DRO
为验证上述发现,我们一一通过实验进行验证。
进一步,我们测试不同温度系数下,负样本打分的方差与正样本预测分数的均值的变化。如图 2 所示,温度系数越小,负样本的方差也逐渐降低,即对应公式 8 中对负样本方差的惩罚逐渐增大。与之对应的正样本均值也逐渐降低。这一发现仅凭现有对比学习中的理论研究很难将其解释清楚,但有了 DRO 这一理论工具,上述现象都变得直观且可解释了。
最后,我们利用公式 8 的目标函数在 CIFAR10 与 STL10 上进行测试,如表2所示,简单的 mean-variance 损失函数形式即可实现和 InfoNCE 比肩的性能,这一实验现象同样验证了定理 3.5 的正确性。
DRO、InfoNCE与互信息MI之间的关联
在对比学习(InfoNCE)理论研究中,往往会从互信息的角度进行思考,即 InfoNCE 的本质是通过最大化正样本之间的互信息从而实现获得较好的表征。而 DRO 又拓宽了 InfoNCE 的理论解释途径,这不禁让我们思考 DRO,InfoNCE 以及互信息三者之间的关联。
3.1 InfoNCE是一种更紧的互信息估计
3.2 DRO bridges the gap between MI and InfoNCE
方法
4.1 InfoNCE仍有不足
4.2 ADNCE
实验
为验证 ADNCE 的有效性,我们在三个最为常见对比学习场景进行实验,分布是 image、sentence 以及 graph。具体实验设定请参见原文。
5.1 Image
5.2 Sentence
5.3 Graph
总结
这项工作的局限性主要源于两个方面:1)我们的 DRO 框架只为基于 InfoNCE 的方法提供了理论解释,对于没有负样本的 CL 的仍然存在理论上的差距;2)ADNCE 需要通过参数调整权重分配,无法自适应学习最佳的重加权方案。
参考文献
[1] Ching-Yao Chuang, Joshua Robinson, Yen-Chen Lin, Antonio Torralba, Stefanie Jegelka. Debiased Contrastive Learning. NeurIPS 2020
[2] Joshua David Robinson, Ching-Yao Chuang, Suvrit Sra, Stefanie Jegelka. Contrastive Learning with Hard Negative Samples. ICLR 2021
[3] Tsai-Shien Chen, Wei-Chih Hung, Hung-Yu Tseng, Shao-Yi Chien, Ming-Hsuan Yang. Incremental False Negative Detection for Contrastive Learning. ICLR 2022
[4] Avraham Ruderman, Mark D. Reid, Dario García-García, James Petterson. Tighter Variational Representations of f-Divergences via Restriction to Probability Measures. ICML 2012
[5] Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, R. Devon Hjelm, Aaron C. Courville. Mutual Information Neural Estimation. ICML 2018: 530-539
[6] Aäron van den Oord, Yazhe Li, Oriol Vinyals. Representation Learning with Contrastive Predictive Coding. CoRR abs/1807.03748 (2018)
[7] Ben Poole, Sherjil Ozair, Aäron van den Oord, Alexander A. Alemi, George Tucker. On Variational Bounds of Mutual Information. ICML 2019: 5171-5180
[8] Runtian Zhai, Chen Dan, J. Zico Kolter, Pradeep Ravikumar. DORO: Distributional and Outlier Robust Optimization. ICML 2021: 12345-12355
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。