©作者 | 杨智钦
单位 | 北京航空航天大学
来源 | 将门创投
在本文中，我们提出了一种新的即插即用的联邦学习模块，FedFed，其能够以特征蒸馏的方式来解决联邦场景下的数据异构问题。FedFed首次探索了对数据中部分特征的提取与分享，大量的实验显示，FedFed能够显著地提升联邦学习在异构数据场景下的性能和收敛速度。
论文标题：
FedFed: Feature Distillation against Data Heterogeneity in Federated Learning
论文地址：
https://arxiv.org/abs/2310.05077
代码地址：
https://github.com/visitworld123/FedFed

引言

联邦学习（Federated Learning, FL）近年来引起学术界和工业界越来越多的关注，它旨在保护用户数据隐私的同时完成模型的训练。

然而，在联邦学习的场景中，由于各个联邦参与方（客户端）本身的差异（如地理位置，气候条件等客观因素的不同），导致不同客户端之间的训练数据分布可能存在较大差异，这会造成在不同客户端下训练的模型有一定的差异。进而，聚合这些有差异的模型会严重影响模型的性能。因此，如何在异构的数据分布下（也被称作 non-IID）提升模型性能成为了联邦学习领域的研究重点内容。
性能-隐私困境：为了解决异构给联邦学习带来的挑战，一项开创性工作 FedAvg [1] 提出在客户端本地训练模型，将本地模型传输至中心服务器，并且在中心服务器以加权聚合的方式得到全局模型。这种方法虽然解决了联邦学习中计算和通信上的多样性问题，但仍面临着由数据异构性带来的模型性能较差的问题。
现有一系列研究致力于缓解数据异构在联邦学习中带来的挑战。一些研究尝试在客户端之间共享数据信息来解决数据异构性问题，这种方法在提升联邦学习系统性能方面展现出了巨大潜力。虽然信息共享策略能够带来性能提升，但是也引入了一些隐私泄漏的风险，造成了联邦学习中的性能-隐私困境。
面对这个困境，我们提出了一个有趣的问题：能否通过共享数据中的极少部分信息的方式来解决数据异构问题？

研究动机

为了具化分享数据中少部分信息的想法，我们从信息共享策略的最初目的出发，递进地提出了三个问题：
问题1：是否可以只共享数据中的部分信息就能很好地解决数据异构问题？
受到特征拆分的启发 [2]，我们尝试把数据中的特征分成两部分，即性能鲁棒特征 (performance-robust features) 和性能敏感特征 (performance-sensitive features)。我们希望性能鲁棒特征包含数据中几乎所有的信息，同时包含极少量信息的性能敏感特征能使模型泛化良好。这样，我们便能够将数据中几乎所有信息都保存于本地，而只需要分享性能敏感特征。因此，若能将数据特征完美地划分为这两类特征，那么性能-隐私困境就可以被很好地解决。
问题2：如何将数据划分为性能敏感特征和性能鲁棒特征？
问题 1 中的需求和信息瓶颈理论 (Information Bottleneck, IB) 存在一些天然的内在联系。理想情况下，信息瓶颈旨在剔除数据中的冗余信息并保留有助于完成正确预测的重要信息。那么，那些被信息瓶颈所丢掉的冗余信息便成为了我们无需共享的信息。因此，信息瓶颈启发我们尽可能多的“丢弃”冗余信息至本地，而仅发送极少量的信息用于解决数据异构问题。
问题3：如果性能敏感特征中包含了隐私信息该怎么办？
一般来说，如果想使得共享的信息是有意义的，那其中不可避免的会包含一些信息量。因此，联邦学习中的信息共享策略难免会带来隐私泄露问题。幸运的是，我们可以利用差分隐私技术保护被分享的性能敏感特征，以极大程度上避免隐私的泄漏。
基于对上述三个问题的分析，我们提出了 FedFed 框架来解决联邦学习中的数据异构问题，首先我们定义了什么是性能敏感特征和性能鲁棒特征；随后从信息瓶颈的思想出发我们提出了蒸馏出数据中的敏感特征的方法，即特征蒸馏；最后我们对蒸馏出的敏感特征加入了强噪声以在理论的保证下完成隐私的保护。

方法

3.1 性能敏感与性能鲁棒特征

定义 1（有效划分）：有效划分策略指，在相同的度量空间下，将一个变量 划分为两部分，即。有效划分则需要满足额外的三个条件：1）；2）；3）。其 中是信息熵，是互信息。
定义 2（性能敏感与性能鲁棒特征）：给定一个有效划分，使得，当满足时，我们称 为性能敏感特征，其中 是 的标签，相应地 为性能鲁棒特征。
3.2 特征蒸馏
我们希望在本地保留除与标签相关以外的所有信息，与之对应的目标函数为:
其中 为原始数据， 为数据标签， 是在原始度量空间下的待优化变量。可见特征蒸馏希望蒸馏出与标签相关的信息，同时尽可能的保持冗余信息与原始信息的一致性。
FedFed 和信息瓶颈的不同之处在于：1）FedFed 期望被忽略的特征与原始特征尽可能保持一致，而 IB 只并未对被剔除的信息做额外约；2）FedFed 在原始数据的空间中进行特征的划分，而信息瓶颈则期望得到数据的潜在表征。
▲ 图1. 本地特征蒸馏流程图
为了优化上述目标函数，我们通过推导将其转换为下式：
其中 是从客户端 的数据分布 中采样的数据， 是交叉摘损失函数， 代表性能敏感特征，基于定义可得 ，其中 是用于尽可能多地包含原始信息的神经网络， 是分类器的参数， 是一个可调的超参数。
完整的特征蒸馏流程图如 1 所示，将特征划分为两部分后，在本地保留对性能提升贡献较少但包含大部分隐私信息的性能鲁棒特征，分享对性能提升最有帮助的性能敏感特征。

3.3 性能敏感特征的利用与保护

对于性能敏感特征 我们采用差分隐私进行保护：给 加入高斯噪声或拉普拉斯噪声的扰动，即 ，其中 采样自 。在中央服务器收到所有客户端分享的性能敏感特征 后，便能够构造一个数据集，然后将该数据集发送给每个客户端。因此，每个客户端都会拥有自己的私有数据集和一个共享的数据集。最后，我们借助差分隐私技术对隐私泄露情况给出了定量的衡量。
实验结果与分析
FedFed 可以作为插件部署在现有联邦学习框架下，为了验证 FedFed 有效性，我们在四个广泛使用的数据集上进行了实验，并测试了不同客户端数量，不同 non-IID 程度，不同本地 epoch 次数以及几种主流的 FL 算法，包括 FedAvg、FedProx、FedNova 和 SCAFFOLD。实验结果表明 FedFed 在提升模型性能和收敛速度具有显著效果。
▲ 图2. FedFed在CIFAR-10数据集下的收敛速度比较和准确率测试
在 CIFAR-10、CIFAR-100、FMNIST 和 SVHN 数据集上的实验结果分别在表 1、表 2、表 3 和表 4 中展示。可以看出，FedFed 在各种实验设置下都能显著提高模型准确率。此外，FedFed 可以加快不同联邦学习算法的收敛速度。
不同异构划分方式：
除此之外，还对 FedFed 在不同 non-IID 划分方式下的结果进行了实验，表 5显示，其他两种异构划分方式导致的性能下降比 LDA (α=0.1) 更为严重。即使这种情况下，FedFed 依旧显著地提高了模型的性能，表明其对异构划分方式的鲁棒性。
隐私保护验证：
▲ 图3(a)全局分享被保护的性能敏感特征；(b)模型逆向攻击还原(a)中特征的结果
除了理论上的保证，我们还从实验的角度借助隐私攻击验证了FedFed对隐私的保护效果。我们采用了模型逆向攻击方法，该方法被广泛用于重构数据。图3中的结果表明，FedFed 能够保护全局共享的数据。
结论与展望
我们重新思考了联邦学习中的信息共享策略的初衷，提出了分享数据中部分特征的信息共享策略，并将其设计为一个即插即用的模块。大量实验显示引入该模块能够有效地缓解数据异构性问题。我们期望能将特征蒸馏应用在联邦学习中的不同任务和不同场景下，为联邦学习在现实场景中的所遇到的各类复杂问题提供一个新的解决思路。
篇幅原因，我们在本文中忽略了诸多细节，更多细节可以在论文中找到。感谢阅读！
参考文献
[1] McMahan et al. Communication-efficient learning of deep networks from decentralized data. In AISTATS, 2017. 
[2] Karimireddy et al. Scaffold: Stochastic controlled averaging for federated learning. In ICML, 2020. 
[3] Zhang et al. CausalAdv: Adversarial Robustness Through the Lens of Causality. In ICLR, 2022.
更多阅读
#投 稿 通 道#
 让你的文字被更多人看到 
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected] 
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·
继续阅读
阅读原文