深度学习模型的对抗鲁棒防御算法
人工智能在推动技术革命和产业进步的同时,其存在的安全风险往往被人忽视。当前广泛使用的深度学习模型在一些数据的自然变化的条件存在模型脆弱性的不足,受到人眼不可见的对抗样本欺骗,导致模型判断失准。为了提升深度学习模型的鲁棒性,发展安全可靠的新一代深度学习模型,本擂台赛面向图像分类任务,开发更加高效的对抗防御算法,提升计算机视觉模型在对抗攻击下的鲁棒性。

背景意义
近年来,以机器学习尤其是深度学习为代表的人工智能技术的迅速发展正在深刻改变人类的生产和生活方式,在机器人、虚拟助手、自动驾驶、智能交通、智能制造、智慧城市等各个行业,人工智能正在发挥越来越大的作用。但是人工智能在推动技术革命和产业进步的同时,其存在的安全风险往往被人忽视。研究发现,许多在数据集上表现良好的算法非常容易被人眼不可见的对抗样本所欺骗,导致AI系统判断失准。如图1所示,可以通过对图像添加微小的扰动,构造对抗样本,从而高概率地欺骗在正常样本上工作良好的深度学习图像分类模型。此外,深度学习模型在一些数据的自然变化(如图片旋转、平移、高斯噪声等)下也表现出了一定的脆弱性。
图1 对抗样本示例
为了提升深度学习模型的鲁棒性,发展安全可靠的新一代深度学习,近些年来研究者们提出了多种防御方法。本次挑战赛面向图像分类任务,旨在发掘更加高效的对抗防御技术,提升计算机视觉模型在对抗攻击下的鲁棒性。
此外,随着不同的视觉模型架构以及预训练技术的发展,对模型鲁棒性也带来了一定的提升,本次比赛也期望探索面向模型鲁棒性的高效网络架构和训练技术,研究包括ViT等视觉大模型的鲁棒性。
具体而言,本次比赛选取学术界使用较为广泛的ImageNet数据集,对选手提交的模型通过典型的对抗攻击算法计算模型在攻击下的准确率,作为主要的评估指标,研究卷积神经网络、ViT模型等深度学习模型的鲁棒性提升技术。
赛题内容
比赛分为两个阶段:初赛和决赛。
初赛内容
在初赛中,主办方采用固定的K种攻击方法(K≤5,如PGD等)对选手提交的模型进行白盒攻击。为了更加全面地评估模型的对抗鲁棒性,扰动ϵ范围分别设置为0、2、4和8进行测试,最终的分数利用加权平均的形式计算出来。
决赛内容
在决赛中,主办方将采用隐藏数据集、更多的M种对抗攻击方法进行鲁棒性测试,另外扰动范围ϵ的设置也会有所调整,计算规则与初赛一致。
数据集说明
01
比赛所采用ImageNet数据集是计算机视觉系统识别任务所采用的经典数据集,由斯坦福大学的李飞飞教授带领创建。本比赛推荐使用数据集为ImageNet的分类任务的子集,是每年举办的ILSVRC图像识别大赛所采用的标准训练、测试数据。ImageNet数据集和ILSVRC竞赛对计算机视觉技术以及深度学习模型的发展具有重要意义,本大赛期望在经典的图像分类任务上进一步探究深度学习模型在大型数据集上的鲁棒性。
02
比赛训练数据采用ImageNet-1K中的标准训练数据,包含1000个类别的总计1,281,167张图像,选手可以自行添加额外数据集,例如ImageNet-21K等,比赛也会提供相应的pretrain模型。初赛中,比赛的测试数据采用ImageNet validation数据集,包含1000个类别的总计50000张图像;决赛中,比赛的测试数据采用以ImageNet validation为基础的大规模扩展测试集。
03
训练数据集ImageNet-1K标注采用标准形式,即文件所在目录名为类别名称(例如,n15075141_2837.JPEG所在类别n15075141也是图像文件所在目录的名称),类别名称与标注label之间的关系包含在label.txt中,逐行给出类别的数字标签。
另外,对抗样本生成可以利用开源工具ARES实现:https://github.com/thu-ml/ares
比赛时间
大赛分为初赛和决赛两个比赛环节。
初赛时间:2022年8月初-10月07日
决赛时间:2022年11月1日-11月15日
参赛详情将于开赛前在大赛官网及官方公众号发布,敬请关注。
继续阅读
阅读原文