夕小瑶科技说 原创

作者 | Zicy

国际学习表征会议(International Conference on Learning Representations，ICLR) ，于5月7日至11日在奥地利维也纳展览会议中心举行。
ICLR与NLPS（Conference and Workshop on Neural Information Processing Systems，神经信息处理系统大会），ICML并称为机器学习三大顶会。
ICLR深度学习巨头Bengio和LeCun牵头举办，2013年才刚刚举办第一届，今年刚刚举办第12届。相比于今年即将举办的的第38届NLPS和第41届ICML，ICLR最为年轻，但现在ICLR得到了学术研究者们的广泛认可，在谷歌出版物排名中，ICLR位列第十。
其中，ICLR在计算机领域位列第3，仅次于第4名的CVPR和第9名的NIPS。
5月6号官网放出了ICLR 2024 获奖论文名单。
本届ICLR共收到了7262篇提交论文，录用2260篇，录用率31.1%，与去年基本持平（31.8%），其中367篇Spotlights，占比16.2%；86篇Oral，占比3.8%。
其中，5篇论文获得杰出论文奖，11篇论文获荣誉提名奖。值得一提的是，有两篇荣誉提名奖来自国内，分别来自北京大学和香港城市大学。

5篇杰出论文奖

1、Generalization in diffusion models arises from geometry-adaptive harmonic representations
https://openreview.net/pdf?id=ANvmVS2Yr0
所属机构：纽约大学、法兰西公学院 这篇论文通过建立图像扩散模型的几何自适应谐波表示，深入分析了模型在泛化和记忆之间的转换机制。作者从架构归纳偏差的角度出发，为视觉生成模型的理解提供了关键洞见，极大地推动了未来研究的方向。
2、Learning Interactive Real-World Simulators
https://openreview.net/forum?id=sFyTZEqmUY
所属机构：UC 伯克利、Google DeepMind、MIT、阿尔伯塔大学 本文通过创建UniSim模拟器，展示了如何将多源数据集成到一个统一的视觉和语言模型中，以模拟复杂的人机交互。这项工作不仅是机器人基础模型研究的重大进展，也为构建通用交互模拟器迈出了重要一步。
3、Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors
https://openreview.net/forum?id=PdaPky8MUn
所属机构：特拉维夫大学、IBM 该研究发现，从头开始训练长序列模型会低估其性能，而采用预训练和微调的方法可以显著提升结果。这篇论文在系统性和简洁性上表现出色，为未来的序列模型研究提供了重要的方法论指导。
4、Protein Discovery with Discrete Walk-Jump Sampling
https://openreview.net/forum?id=zMPHKOmQNb
所属机构：基因泰克、纽约大学 本文介绍了一种新的针对离散蛋白质序列数据的建模方法，并通过大量湿实验室实验验证了该方法的有效性。这项工作不仅推动了抗体设计的研究，也对蛋白质序列生成模型的实际应用有着重要意义。
5、Vision Transformers Need Registers
https://openreview.net/forum?id=2dnO3LLiJ1
机构：Meta 研究人员在分析Vision Transformers时发现了特征图中的人工痕迹，并提出了利用额外的register tokens来解决这一问题的创新方法。这项工作不仅增强了模型的性能，还对其他领域的应用产生了影响，展示了科学研究从识别问题到提出解决方案的完整流程。

11篇荣誉提名奖

1、Amortizing intractable inference in large language models
https://openreview.net/forum?id=Ouj6p4ca60
所属机构：蒙特利尔大学、牛津大学
2、Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization
https://openreview.net/forum?id=cc8h3I3V4E
所属机构：DeepMind
3、Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness
https://openreview.net/forum?id=HSKaGOi7Ar
所属机构：北京大学、北京智源人工智能研究院
4、Flow Matching on General Geometries
https://openreview.net/forum?id=g7ohDlTITL
所属机构：Meta
5、Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video
https://openreview.net/forum?id=Yen1lGns2o
所属机构：中佛罗里达大学、 Google DeepMind、阿姆斯特丹大学等
6、Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction
https://openreview.net/forum?id=TpD2aG1h0D
所属机构：香港城市大学、腾讯 AI 实验室、西安交通大学等
7、Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs
https://openreview.net/forum?id=uNrFpDPMyo
所属机构：伊利诺伊大学厄巴纳 - 香槟分校、微软
8、Proving Test Set Contamination in Black-Box Language Models
https://openreview.net/forum?id=KS8mIvetg2
所属机构：斯坦福大学、哥伦比亚大学
9、Robust agents learn causal world models
https://openreview.net/forum?id=pOoKI3ouv1
所属机构：Google DeepMind
10、The mechanistic basis of data dependence and abrupt learning in an in-context classification task
https://openreview.net/forum?id=aN4Jf6Cx69
所属机构：普林斯顿大学、哈佛大学等
11、Towards a statistical theory of data selection under weak supervision
https://openreview.net/forum?id=HhfcNgQn6p
所属机构：Granica Computing

参考资料

 [1]https://iclr.cc/Conferences/2024

 [2]https://scholar.google.com/citations?view_op=top_venues

 [3]https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/
继续阅读
阅读原文