下面两张图中，人工智能模型分别给出了不同的识别结果，但画面似乎没什么区别？
对人眼来说，都是普通的街道及行驶的车辆。但其实，右边这张图是在左图的基础上，添加了人眼无法察觉的干扰信息，导致一个普通的人工智能模型，在左图中会识别出道路中间的车辆，在右图中却忽略了车辆，误识别为行人。
通过对抗攻击，在原图上叠加上非常小的扰动，虽然人眼看起来图片没有变化，但普通的AI模型会不再能“看见”路中的车辆，反而在前方误识别为行人

通过在数据上增加人类难以识别的细微改变，让AI模型接受并做出错误的判断，这就是深度神经网络中常见的对抗样本攻击。
不要小瞧这种细微的差别。如今，AI模型已经开始应用于智慧城市、智能驾驶等领域，如果因为对抗样本攻击，而让自动驾驶的汽车误将红灯识别为绿灯，将路障识别为可通行标志，后果将不堪设想。
构建安全、鲁棒的AI模型，区分开放世界场景下的干净样本和对抗样本，在人工智能领域日趋重要。
然而，当前很多AI模型是在封闭数据集下进行训练，无法适应开放世界场景，多样性的噪声数据将会给模型案例及鲁棒性带来极大挑战。
商汤科技作为人工智能软件公司，长期投入于原创技术研究，对AI安全、伦理等问题很早就开始布局。针对日益重要的对抗安全、模型鲁棒性以及隐私保护问题，商汤正在建立和完善AI安全平台技术体系，打造覆盖全行业云边端平台更安全的“盾”。
为了加速开放世界场景下的鲁棒模型研究，推动新的以数据为中心的算法开发，商汤科技联合北京航空航天大学刘祥龙教授团队，联合举办面向复杂场景的鲁棒机器学习大赛——Robust Models towards Open-world Classification。比赛还得到了OpenI启智新一代人工智能开源开放平台的资源协助和支持。
刘祥龙教授团队多年来深耕人工智能安全领域，不断探索可信赖人工智能前沿技术，在对抗攻防、模型评测和可解释理论方面成果丰硕，在国内外均有一定影响力。
本次大赛依托“CVPR2022 Workshop：The Art of Robustness: Devil and Angel in Adversarial Machine Learning”展开，希望鼓励研究者开发面向开放世界的对抗防御算法，在多样化的对抗攻击算法，复杂的真实世界场景，及测试类别不确定等因素下，探究鲁棒模型的生产方式，促进鲁棒防御模型的发展。
此外，比赛获奖队伍还将受邀在workshop中做分享，讲解自己的技术方案。大赛已经正式启动，查看文末网址或点击阅读原文，即刻报名参与。

▎双赛道对抗竞赛，聚焦开放世界场景

这次比赛分为两个赛道。
Track 1：分类任务防御模型竞赛 
第一赛道的目标是获得鲁棒性好的模型，可以适应各种各样的攻击样本，分为初赛和复赛两个阶段。
初赛阶段，比赛会分别释放训练集和测试集，参赛者仅能使用该阶段释放的训练集训练鲁棒模型。训练集为正常的分类数据，测试集包含正常分类数据和攻击样本。
第一赛道的攻击样本包括但不限于通过对抗攻击产生的对抗样本。选手需要得到足够鲁棒的防御模型，能够对干净样本和对抗样本进行正确分类。初赛阶段选手需要将给定测试集的预测结果提交。
复赛阶段，参赛者同样仅能使用该阶段释放的训练集训练鲁棒模型。但与初赛不同的是，参赛者需要提交训练好的原始模型，平台将对提交的模型进行评测。数据集的构成上，初赛为20类，复赛为100类。
Track 2：OpenSet对抗噪声检测模型 
第二赛道的目标是对对抗攻击产生的对抗样本做区分。在第二个赛道中测试集为开放类别，即与训练集合的类别没有交集，同样分为初赛和复赛两个阶段。
初赛阶段，比赛会分别释放训练集和测试集，参赛者仅能使用该阶段释放训练接做训练，得到可以区分正常样本和对抗样本的模型。
在复赛阶段，选手同样需要提交模型到平台进行验证。
▎比赛时间
3月11日-5月21日
▎比赛奖励
本次比赛总奖池1.5万美元。
其中，Track1总奖金池8000美元，取前6名，前六名奖金分别为3000、2000、1500、800、500、200美元；
Track2总奖金池7000美元，取前3名，前三名奖金分别为4000、2000、1000美元。
具体比赛规则及介绍，请前往官网。欢迎对AI模型安全感兴趣的朋友，踊跃报名参加~
比赛报名官网：
aisafety.sensetime.com
Workshop地址：
artofrobust.github.io
北航刘祥龙教授团队介绍：
xlliu-beihang.github.io
Openi启智社区：
openi.org.cn
相关阅读，戳这里 
《全球首届AI球球大作战：Go-Bigger多智能体决策智能挑战赛开启》
《66篇CVPR论文再续辉煌，探寻商汤创新之源》
继续阅读
阅读原文