Neural Eigenmap：基于谱学习的结构化表示学习

©作者 | 邓志杰

单位 | 上海交通大学助理教授

我们在 Neural Eigenmaps paper 中 revisit 了表示学习的 eigenmap 原则。

论文标题：

Neural Eigenfunctions Are Structured Representation Learners

论文链接：

https://arxiv.org/pdf/2210.12637.pdf

代码链接：

https://github.com/thudzj/NEigenmaps

我们从理论上为包括但不限于 Barlow Twins 等方法提供了谱学习角度的解释以及修正，实验结果很有竞争力：

表示学习的eigenmap原则

Eigenmaps 是特征函数（eigenfunctions）的输出。Eigenmaps 和表示学习的密切关联可以回溯到 spectral clustering [Shi & Malik, 2000] 和 Laplacian Eigenmaps [Belkin & Niyogi, 2003]：

这些方法基于图邻接矩阵（graph adjacency matrix）定义一个核，计算其主特征函数，并以其输出作为节点的表示，完成后续的聚类等任务。上述 Eigenmaps 是谱学习中的核心概念，也被证明是能够维持数据流形上的局部邻域结构的最优表示。

自监督设定下的核函数

自监督学习中，我们训练神经网络最大化同一数据的不同扰动版本在输出空间的相似度。

Johnson et al. [2022] 证明，这种学习方式隐式地设定了一个参数化的核函数，其会收敛到半正定的对比核函数（contrastive kernel），定义如下

其中，表示原始干净数据的分布，表示随机扰动对应的分布。这个核函数的定义也和 HaoChen et al. [2021] 的群体增广图（population augmentation graph）有密切关联。直观上，能够反映两个增广数据点来源于同一个原始样本的概率，因此可以反映它们之间的语义接近程度或内在相似性。

用神经网络近似核的主特征函数

Spectral clustering 和 Laplacian Eigenmaps 是非参的，依赖于求解一个矩阵特征值问题得到 eigenmaps，不能拓展到大规模训练数据上，也不能高效地执行样本外泛化。我们开发了参数化的方法来解决此问题：用神经网络作为函数逼近器来近似核函数的主特征函数。

虽然这个想法很简单，直到最近这件事才变得高效可行——首先是 Pfau et al. [2018] 的 SpIN，然后是我们的 ICML paper NeuralEF。NeuralEF 以比 SpIN 更简单的方式，保证 k 个主特征函数间的正交性，也避免了对雅可比矩阵的存储更新。它通过同时解 k 个非对称的优化问题来训练深度网络逼近 k 个主特征函数。在新的 paper，我们进一步推广了 NeuralEF 以允许权重共享和处理非正定核函数。

Neural Eigenmaps

基于特定的 breaking-symmetry 手段（stop gradient 和仅优化上三角部分），Neural Eigenmaps 中神经网络的输出是结构化的，会逐元素收敛到核的 k 个主特征函数。

从这个意义上讲，Neural Eigenmaps 中元素的位置（index）是可以反映出其重要性程度的：index 更小的元素收敛到更主要的特征函数，所以包含更多来自原核函数的信息，因此更加重要。基于这样的结构，我们可以很灵活的在下游任务中通过对表示进行 truncation 实现 cost-quality tradeoff。

我们在迁移性的图像检索这个任务中验证了我们学得的表示中的这种结构：