中山大学开源VeryFL：基于区块链的联邦学习实验框架

©作者 | GTML-Lab

隐私计算、区块链已成为数据要素市场中的重要基础设施，2023年11月23日，国家数据局提出 “以数据空间、区块链、高速数据网为代表的数据流通设施打通数据共享流通堵点，以隐私计算、联邦学习等为代表的数据安全设施保障数据的安全。

VeryFL的诞生背景

联邦学习允许多个参与方在保护隐私的前提下共同训练一个全局模型，但存在单点故障、数据伪造、中心欺诈等可靠性问题，此外也存在模型窃取，盗用等侵犯训练者知识产权的行为。

学界将区块链与联邦学习结合，希望借助区块链的去中心化特性，设计可靠联邦学习算法来解决上述问题。然而，由于目前基于区块链的联邦学习实验框架缺失，许多算法难以在真实区块链环境下进行验证。同时在产业界，联合训练数据的联邦学习与促进价值流通的区块链网络也逐渐成为发挥数据价值，推进数据流通性的重要技术路径。

VeryFL简介

VeryFL (A Verifiable Federated Learning Framework Embedded with Blockchain) 是中山大学·InPlusLab·陈川课题组在上述背景下开源的一套区块链联邦学习框架，VeryFL实现了联邦学习训练的一般流程，并通过内置区块链网络为相关实验提供运行环境。

VeryFL可以快速开启一次普通的联邦学习实验流程，同时也支持智能合约的区块链开发，为区块链联邦学习的研究者提供快速测试的环境。在区块链参与的联邦学习中，区块链为联邦学习提供全流程可验证的信息记录以消除各计算节点之间的信用成本。VeryFL提供结合模型水印算法的链上模型确权作为示例，在为区块链联邦学习提供支持的同时，提出一种区块链与联邦学习结合的新思路。

VeryFL功能

在项目的github页面提供了快速启动一次联邦学习实验的示例，下面介绍该框架所实现的功能。

3.1 联邦学习建模

和其他常见的联邦学习框架一样，VeryFL框架也提供诸如FedAvg，FedProx，Moon等多种联邦学习算法和CIFAR10，CIFAR100等基准图像分类数据集，通过内置的Benchmark模块，实验者可以调整一次实验的基本参数或是直接缺省的导入参数开始一次联邦学习训练。

3.2 区块链链上算法

VeryFL框架可通过智能合约快速部署验证区块链链上算法，借助Brownie SDK，框架向上为调用者提供了可以融合PyTorch的python接口。除了在设计链上算法时需要借助Solidity实现智能合约以外，在实验环境的任何地方，都可以使用Python接口与区块链（智能合约）进行交互。区块链模块为实验者提供了一个实现链上算法的环境，通过省去区块链搭建，网络配置等繁琐操作，使得研究人员可以将重心放在链上算法的开发上。

3.3 模型确权与交易

作为区块链结合联邦学习的例子，框架基于区块链的特点与FedIPR模型水印算法实现了代币化模型的流程。通过将唯一确定训练者模型的水印信息作为Token存储在智能合约中，网络中的训练客户端可以随时确定模型的所有权（即：模型是由谁训练出来的），并在交易双方协商后进行模型所有权的交易。将AI模型代币化上联也是释放模型价值，提高参与各方积极性的重要手段。

VeryFL的架构设计

VeryFL底层基于PyTorch与Ethereum，并向上提供统一的Python接口。在联邦学习侧将训练流程模块化，方便后续拓展。在区块链侧通过智能合约与区块链交互。

▲ 图1. VeryFL的架构设计

VeryFL提供了详细的用户使用文档，如下图所示。

▲ 图2. VeryFL开源文档Github页面

VeryFL的特点

集成了区块链的联邦学习实验环境

VeryFL是搭载了区块链的联邦学习实验环境，在传统的联邦学习框架的基础上，增加了区块链的支持为相关实验提供帮助。

易于深度学习研究者调用的接口

VeryFL在与区块链的交互上仍然保持了python接口，这使得它可以与PyTorch框架共同工作。

易于扩展的模块化设计

VeryFL的各个组件间的耦合性较弱，在最大化复用代码的基础上，方便了各种联邦学习算法的扩展。

未来版本

V1.0 实现了基本的联邦学习算法与链上的智能合约策略，后续版本将把重点放在区块链智能合约端算法的实现以及区块链端的可视化上，同时会逐步增加更多经典的联邦学习算法。如果您愿意将您的联邦学习算法实现在VeryFL上，可以在Github页面上提出issue交由我们实现，或是直接提PR将您的实现merge到本项目中。