摘要
近年来，在大数据的迅速积累和硬件设备的飞速发展下，人工智能在许多应用领域取得令人瞩目的成绩。但是，现行的基于神经网络结构的监督学习模型无法摆脱对大量数据和优质标签的依赖。在现实生活中，特别是物联网日益发展壮大的当下，可用于收集数据的硬件终端数量增加，但是对于每一个个体用户端，能够访问的数据规模小，且数据分布不均衡、信息含量少，因此不足以训练出鲁棒性和泛化能力充足的模型，这大大限制了AI技术在真实场景中的部署。为了能更好地利用这些数据，联邦学习技术作为人工智能物联网、分布式处理等场景下的解决方案受到了越来越多的关注，已经成为学术热点。本文首先介绍联邦学习技术提出的背景及基本概念，再讨论联邦学习模型在医学图像处理领域中的四个应用实例。
背景介绍
近年来，在大数据的迅速积累和硬件设备的飞速发展下，人工智能（Artificial Intelligence, AI）在许多应用领域取得广泛成绩。但是，现行的基于神经网络结构的监督学习模型无法摆脱对大量数据和优质标签的依赖。在现实生活中，特别是物联网日益发展的当下，收集数据的硬件终端数量增加，但是对于每一个个体用户端，能够访问的数据规模小，且数据分布不均衡、信息含量少，因此不足以训练出鲁棒性和泛化能力充足的模型，这大大限制了AI技术在真实场景中的部署。
虽然通过数据终端之间数据的共享可以解决上述困境，但是受到实际部署和隐私性的限制，数据共享通常是比较困难的。特别是在医学图像处理领域中，上述困难更为普遍和严重，原因如下：由于医疗数据隐私条例，机构往往不能够公开病人的数据。即使隐私限制可以放宽，医学数据本身也是医疗机构和研究组织的知识产权的一部分，要求医院共享数据难度大。在这种包含数据私密性需求下，2016年，谷歌提出了一种分布式训练机器学习模型的框架——联邦学习（Federated Learning, FL）。该架构实现的本质上是一种加密的分布式机器学习技术，各个参与方可在不披露底层数据和其加密形态的前提下共建模型。在该框架下不需要共享数据，仅需共享各自模型的参数，通过在中央服务器进行参数加聚，可以训练出稳定、准确的模型。联邦学习框架能够在保证数据隐私安全性的基础上，帮助用户实现共同建模，提升AI模型的效果。
联邦学习技术作为人工智能物联网、分布式处理等场景下的解决方案受到了越来越多的关注，已经成为学术热点。2021年3月，IEEE标准协会正式发布了联邦学习国际标准。联邦机器学习是一种分布式系统学习，其主要优势在于数据能够保留在其所有者那里，同时仍然能够对数据进行算法训练。并且不需要持续的线上可用性，因为训练可以在离线状态下进行，完成后返回结果到中央服务器。因此，无论是在工业还是医疗AI应用中，联邦学习方法可以说已经成为最广泛应用的下一代隐私保护技术。
图1 Google AI联邦学习在线漫画[1]
作为一个新的热门研究课题，联邦学习在医疗保健领域得到了广泛探索。许多报告已经证明了将联邦学习应用于现实世界医学成像的可行性。2018年，英特尔与宾夕法尼亚大学生物医学图像计算和分析中心合作，评估联邦学习在脑图像分割中的应用[2]。2018年脑瘤分割挑战的公开数据集也在几项研究中得到了应用[3-6]，这些数据是来自胶质瘤患者的多机构、多模式磁共振成像(MRI)脑扫描的集合。系统环境中部署了server-client联邦学习算法来训练和执行模型验证。同时，创建了多个虚拟机构来模拟独立的客户。BraTS实验表明，联邦语义分割模型在脑磁共振扫描上的性能得分与在完整数据集上训练的模型的性能得分相似。NVIDIA与伦敦国王学院合作，在MICCAI 2019会议上介绍了相关工作。联邦学习在英伟达Clara Train SDK上进行训练。在BraTS 2018数据集下，他们尝试在联邦学习设置下应用差异隐私技术来保护患者数据。在与其他客户共享信息之前，这项技术先对每个患者的数据进行编码，使用复杂的数学算法来防止原始数据集的逆向工程和恢复。最终，英伟达能够在不直接共享机构数据的情况下，使用联邦学习模式实现性能相当的分割任务。
联邦学习模型在医学图像处理领域中的应用实例
1.Style normalization in histology with federated learning
组织病理学（histopathology）是指病理专家（pathologist）在显微镜下观察研究组织切片的科学，被认为是临床上肿瘤诊断的金标准，对早期筛查和治疗预后有着决定性的作用。病理图像尺寸庞大、信息丰富、诊断困难。通常情况下每位患者的送检标本可能包含数张到数十张的切片，而单张切片就需要病理医师在显微镜下仔细检查一小时甚至更久才能得出病理诊断报告。由于其诊断复杂性，近年来成为深度学习在医学图像上的研究热点。区别于其他医学图像，染色是组织病理图像不可缺少的预处理阶段，其中苏木精和依红（H&E）是最常见的染色方法。但是，不同机构的数据极有可能采用不同的染色方法，这种染色风格的差异可能会降低深度学习模型的性能。因此，染色归一化是非常必要的，事实上之前的研究表明，在没有颜色归一化的预处理下，不同数据中心收集的数据训练出的分类器准确性比进行归一化后的准确性最高下降约20% 以上[7]。在聚合学习（Collaborative Learning，非联邦学习，不同的数据集被统一的收集后一同训练模型）设定下的颜色归一化已经被大量文献进行探讨[8]，但是在联邦学习（Federated Learning）[9] 设定下的颜色归一化还处于欠缺空白状态，限制了癌症图像在多机构中心的广泛应用。
由上海交通大学和壁仞研究院的Jing Ke，Yiqing Shen和Yizhou Lu发表于International Symposium on Biomedical Imaging (ISBI) 2021的一篇论文Style Normalization in Histology with Federated Learning中首先提出了一个全新的联邦学习框架，用以解决染色风格差异和数据隐私安全的问题[10]。传统的染色转移技术严重依赖于专家选定的染色模板。与之不同的是，该篇文章采用了条件对抗生成网络(conditional Generative Adversarial Network, cGAN)[11]模型，使其动态地从数据分布中生成一个自适应的染色风格，以用于染色归一化。
图2 带有染色风格转移cGAN的联邦学习框架的工作流程[5]
在该工作提出的联邦学习框架中，中央服务器配备一个全局的生成器，以组织学图像作为输入保持结构的归一化后的组织学图像，每位用户配备一个分布式的判别器。每个用户都会训练一个本地判别器，计算出模型的更新信息并将其上传至中央服务器，而中央服务器则对每位用户进行汇总，并更新全局生成器。具体的工作流程如下：
①每位用户从中央服务器下载全局生成器的参数至本地；
②每位用户在本地训练，更新本地的判别器和生成器；
③每位用户将本地生成器的参数上传至中央服务器；
④中央服务器对每位用户上传的参数进行汇总，并更新全局生成器。
该方法与传统cGAN的不同之处在于，该模型不针对数据集群中的任何现有风格。在作者创新性的设计中，模型自适应地针对
个数据集中染色风格分布，使得位于中央服务器的生成器产生的染色风格分布能够自适应产生基于不同数据中心染色分布的“插值”归一化染色。一个重要的创新点在于，这种染色归一化风格是不需要染色模板图像（template image）的，保证了归一化后的风格是去中心化的。模型的训练是通过优化加权平均的对抗性损失函数进行的，对生成器
和分别位于
数据中心的
个判别器进行联邦学习训练，模板函数如下：

汇总了各用户的本地更新以后，模型采用生成器
(
是其所有可训练的参数)来生成目标自适应染色风格插值。每个用户拥有一个独立的判别器
，其中
是其对应的参数，
。然后，对于任意组织病理学输入
，作者将染色归一化问题转化为风格迁移问题。每个判别器
在特定染色风格s上训练，以判别从真实世界图像中生成的目标。用户s通过标准对抗性损失函数在本地训练
。每一个数据中心优化的损失函数与cGAN中的定义的损失一致，具体形式为：
作者在公开数据集TCGA（数据集地址：https://portal.gdc.cancer.gov）提供的结直肠癌的子数据集上进行了模型的验证。该数据集包含100,000张224×224大小的图像，其中80%的数据按照比例分成8个独立用户端，并且在每个用户端进行颜色归一化，端与端之间模拟联邦学习；剩余的20%的数据则用于测试联邦学习的中央模型的性能。相比于其他三种传统算法[12-14]，本文提出的算法在数据集分布并且保持无交互的设定下（即联邦学习的设定下）达到了与非联邦学习相近的SSIM(Structural Similarity Index)，意味着可以在实际应用中推荐组织学图像处理的联邦学习算法。
图3 利用联邦学习实现不同机构的染色归一化方法得到的图像示例：(a) 原图；(b) Reinhard等提出的color correction算法[12]；(c) Macenko等提出的stain quantization算法[13]；(d) Vahadane等提出的SPCN算法[14]；(e) 文中提出的算法。该文提出的算法在SSIM性能上优于现有的算法。
2.Privacy-preserving federated brain tumour segmentation
在现有的联邦学习的FedAvg框架下，用户们将各自模型的参数更新量
上传至中央服务器，由中央服务器将各用户的模型参数更新信息进行汇总、融合，便可训练出一个稳定、准确的模型。但是，由于存在模型逆向攻击(model inversion attack)等方法[15]，训练样本有可能被重构，导致数据面临着泄露的风险。
图4 第一行为MNIST数据集中的训练集样本，第二行为被重构的数据样本[9]
Li W, Milletarì F, Xu D等人在International Workshop on Machine Learning in Medical Imaging中发表论文Privacy-preserving Federated Brain Tumour Segmentation构建了一个脑肿瘤分割联邦学习系统[16]。针对基于动量的优化设计和不平衡的训练节点问题，作者比较了各个层面的联邦平均算法。为了提供强力的隐私保护，作者研究了稀疏向量技术(SVT)在隐私保护上的应用。
为了防止模型逆向攻击从
中提取到病人数据等敏感信息，作者采用选择性参数更新方法和SVT方法，以保护隐私、对抗数据泄露。选择性参数更新方法能够限制用户分享的信息量，包括：(1) 只上传本地模型的参数更新量
的一部分：
的值超过阈值
时才会被共享，否则置零；(2) 将
映射到固定区间
内；(3) 梯度裁剪(gradientclipping)，以预防过拟合。为了进一步改进选择性参数更新方法，作者设计了一个差分隐私模块(differential privacy module)。在该模块中，作者使用SVT方法，对每个共享的权重加以一个拉普拉斯分布下的噪声，再对其进行映射。
作者在BraTS 2018数据集上进行了实验。该数据集包含285名脑肿瘤受试者的术前MRI扫描，每个样本都有 "整个肿瘤"、"肿瘤核心"和 "增强肿瘤"的体素级标注。作者将训练集分成13份，以模拟联邦学习及现实生活中数据分布不均衡的情况。
图5 左图为联邦学习与非联邦学习训练的性能比较；右图为部分模型共享参数之间的性能比较[15]
实验结果如图5，与数据集中式训练相比，联邦学习的分布式训练的收敛速度更慢，但最终效果可以与聚合训练媲美。差别化隐私模块在保护数据的同时，也对训练结果产生了一定的负面影响，即减缓了模型收敛速度以及降低了模型的准确率，需要用户在数据隐私和模型效果中作出权衡。
3.Secure, privacy-preserving and federated machine learning in medical imaging
目前，由于缺乏标准化的电子病历，以及严格的法律和伦理来保护患者隐私，用于训练和测试神经网络模型的数据集数量受限，人工智能技术在医学领域的广泛应用受到阻碍。在医学影像方面，如数字影像、医学通信等的统一数据交换格式和电子数据存储是标准，这部分解决了第一个问题，但数据隐私保护的问题尚未得到解决。为了防止患者隐私泄露、促进科学研究发展，同时解决数据保护和利用的问题是十分必要的。在慕尼黑工业大学于Nature Machine Intelligence期刊上发表的一文[17]，以医学影像作为应用重点，概述了当前和下一代联邦、安全和隐私保护的人工智能方法，同时介绍了医学影像及其他领域的潜在攻击载体和未来前景。依靠着大量精心准备的数据集，AI在许多领域展现出了惊艳的性能。但是，在医学图像领域，难以获取及利用数据等问题正在阻碍AI应用的发展，原因如下：(1) 缺乏标准化的电子病历；(2) 对患者数据的严格规范及对其保护的要求。安全和隐私保护的AI领域为帮助跨越个人数据保护和数据利用之间的障碍而提供了相应的技术，用于研究和临床常规。本文中，作者概述了当前新兴的隐私保护技术，重点介绍了它们在医学影像中的应用，讨论了它们的优点、缺点和技术实现，以及潜在的弱点和旨在破坏隐私的攻击点。
图6 安全和隐私AI领域中，数据、算法、行为者和技术之间的关系和相互作用 [17]
文中同时提出了匿名化和假名化两种医疗数据集中最常用的隐私保护技术，其最主要的优点在于方便、简单。匿名化，指删减记录中的私人数据；假名化，指用人工生成的内容替换含敏感信息的内容。目前，大部分临床数据归档系统都自带匿名化软件。假名化则更复杂些，因为它需要系统保管查询表，以通过假名逆向还原真名。因此，若假名化的存储不安全，它就承担着数据失窃的风险。此外，技术上的错误会使保护失效，并有可能使整个数据集被识别。去身份识别技术通常被用作数据传输或共享的准备方法。对去身份识别过程的要求因图像数据集的类型而异：腿部的X光片比头部的CT扫描更难与个人联系起来，因为后者的面部轮廓可以直接从图像中重建。这样的重新识别攻击在表格数据和医疗图像数据上都取得了很高的成功率[18]，因此，更容易被识别的数据集必须被更严格地处理。例如从图像中去除脸部或头骨区域这样的关键操作。据报道，大规模的重新识别攻击和出售重新识别的医疗记录已经成为数据挖掘公司的一种商业模式[19]。因此，仅靠简单匿名化或假名化的去身份识别，在技术上已不足以防止身份推断。
尽管联邦学习很灵活，解决了数据管理和所有权问题，但它本身并不能保证安全和隐私，除非与下面描述的其他方法相结合。缺乏加密可以让攻击者直接从节点上窃取个人身份数据或干扰通信过程。这种通信要求对于大型机器学习模型或数据量来说可能是个负担。如果本地算法没有被加密，或者更新没有被安全地汇总，数据就会泄露，或者算法会被篡改、重构或偷窃，从知识产权、专利限制或资产保护的角度来看，这是不可接受的。此外，神经网络代表了一种记忆机制，其权重中存储着训练数据的压缩表示。因此，仅凭一个分散的节点也有可能从算法权重本身重构部分训练数据。这种模型逆向或重构攻击会造成灾难性的数据泄漏：有研究表明，原始训练图像已经能够以极高的准确率进行重构，即使是微小的细节也能通过可视化展现出来[20]。
4.Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data
2020年，Intel 公司加州部门的Micah J. Sheller等研究人员联合美国多家大学和癌症图像机构，在Scientific Report-Nature上发表论文[21]，探讨在联邦学习下跨协作机构的数据分布对模型质量和学习模式的影响。通过对10家不同医疗机构的数据分析得出，通过多机构协作增加私有数据访问的形式，可达到中心化数据处理模型性能的99%。联邦学习的临床应用有望产生在规模空前的数据集上训练的模型，从而对精确/个性化医学产生积极推动作用。
实验得出，联邦学习FL的方式与数据共享CDS的模式性能表现相当。具体来说，对于LOO（Leave-one-out）结果，协作方法是与一个不参与训练的机构一起进行的，不经过训练的数据将用作结果模型的测试集。全局验证Dice图表明FL训练相对较快地收敛到与CDS训练相同的性能。一个CDS epoch是指在共享数据上完整训练的过程，而一个FL epoch指所有机构对其自身数据并行训练的过程。平均而言，对单个机构训练更新(即FL)的epoch效率不如CDS将机构的数据集混合在一起的训练过程高，但两种方法最终会收敛到相同的性能。测量结果显示，FL最终模型平均需要训练迭代数量为CDS所需迭代数量的2.26倍。
图7 联邦学习与数据共享模式在训练分割任务中的Dice指标的比较[21]
结语
现行的基于神经网络结构的监督学习模型依赖于大量数据和优质标签。虽然通过数据终端之间数据的共享可以解决上述困境，但是受到实际部署和隐私性的限制，数据共享通常是比较困难的。特别是在医学图像处理领域中，由于医疗数据隐私条例，上述困难更为普遍和严重。联邦分布式学习可以在隐私保护的前提下，使用来自多个机构的真实的患者数据进行模型训练，增强模型性能，这项技术的应用将在医疗领域发挥越来越重要的作用。
参考文献
1.https://federated.withgoogle.com
2.Bakas S, Akbari H, Sotiras A, et al. Segmentation labels and radiomic features for the pre-operative scans of the TCGA-GBM collection[J]. The Cancer Imaging Archive. DOI:  10.7937/K9/TCIA.2017.KLXWJJ1Q
3.Bakas S, Akbari H, Sotiras A, et al. Segmentation labels and radiomic features for the pre-operative scans of the TCGA-LGG collection[J]. The Cancer Imaging Archive. DOI:  10.7937/K9/TCIA.2017.GJQ7R0EF
4.Li W, Milletarì F, Xu D, Rieke N, Hancox J, Zhu W. Privacy-preserving federated brain tumour segmentation. International Workshop on Machine Learning in Medical Imaging. Springer, 2019.
5.Konečný J, McMahan H B, Yu F X, et al. Federated learning: Strategies for improving communication efficiency[J]. arXiv preprint arXiv:1610.05492, 2016. 
6.Li X, Zhang S, Zhang Q, et al. Diagnosis of thyroid cancer using deep convolutional neural network models applied to sonographic images: a retrospective, multicohort, diagnostic study[J]. The Lancet Oncology, 2019, 20(2): 193-201.
7.Ciompi F, Geessink O, Bejnordi B E, et al. The importance of stain normalization in colorectal tissue classification with convolutional networks[C]//2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017). IEEE, 2017: 160-163. 
8.Onder D, Zengin S, Sarioglu S. A review on color normalization and color deconvolution methods in histopathology[J]. Applied Immunohistochemistry & Molecular Morphology, 2014, 22(10): 713-719.
9.McMahan H B, Moore E, Ramage D, et al. Federated learning of deep networks using model averaging[J]. arXiv preprint arXiv:1602.05629, 2016.
10.Ke J, Shen Y, Lu Y. Style Normalization In Histology With Federated Learning[C]//2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI). IEEE, 2021: 953-956.
11.Mirza M, Osindero S. Conditional generative adversarial nets[J]. arXiv preprint arXiv:1411.1784, 2014.
12.Reinhard E, Adhikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer graphics and applications, 2001, 21(5): 34-41.
13.Macenko M, Niethammer M, Marron J S, et al. A method for normalizing histology slides for quantitative analysis[C]//2009 IEEE International Symposium on Biomedical Imaging: From Nano to Macro. IEEE, 2009: 1107-1110.
14.Vahadane A, Peng T, Sethi A, et al. Structure-preserving color normalization and sparse stain separation for histological images[J]. IEEE transactions on medical imaging, 2016, 35(8): 1962-1971.
15.Hitaj B, Ateniese G, Perez-Cruz F. Deep models under the GAN: information leakage from collaborative deep learning[C]//Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 603-618. 
16.Li W, Milletarì F, Xu D, et al. Privacy-preserving federated brain tumour segmentation[C]//International Workshop on Machine Learning in Medical Imaging. Springer, Cham, 2019: 133-141.
17.Kaissis G A, Makowski M R, Rückert D, et al. Secure, privacy-preserving and federated machine learning in medical imaging[J]. Nature Machine Intelligence, 2020, 2(6): 305-311.
18.Schwarz C G, Kremers W K, Therneau T M, et al. Identification of anonymous MRI research participants with face-recognition software[J]. New England Journal of Medicine, 2019, 381(17): 1684-1686.
19.Tanner A. Our bodies, our data: how companies make billions selling our medical records[M]. Beacon Press, 2017.
20.Fredrikson M, Jha S, Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015: 1322-1333.
21.Sheller M J, Edwards B, Reina G A, et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data[J]. Scientific reports, 2020, 10(1): 1-12.
     往期推荐
1、擎天柱: 训练超大模型的高效二维方法
2、科学计算领域的低数值精度加速问题
3、条件随机场在病理图像分析中的应用
关于壁仞科技研究院
壁仞科技研究院作为壁仞科技的前沿研究部门，旨在研究新型智能计算系统的关键技术，重点关注新型架构，先进编译技术和设计方法学，并将逐渐拓展研究方向，探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则，将积极投入各类产学研合作并参与开源社区的建设，为相关领域的技术进步做出自己的贡献。
扫码关注我们
继续阅读
阅读原文
关键词
联邦学习
方法
问题
数据
算法