海归学者发起的公益学术平台
分享信息，整合资源

交流学术，偶尔风月
在最新发表于《国家科学评论》（National Science Review, NSR）的研究中，西北核技术研究所的张俊杰博士和西安交通大学的孟德宇教授共同揭示了神经网络在系统攻击中存在的脆弱性，并提出了一种量子力学启发式的分析方法，为理解神经网络的安全性本质和构建新型鲁棒深度学习技术打开了新的大门。
随着人工智能在图像识别、语音识别、蛋白质结构预测、策略规划等多个领域的广泛应用，神经网络的安全性成为了科研人员关注的焦点。攻击者可以利用神经网络损失函数关于输入的梯度（即输入的共轭变量）信息对网络进行轻微调整，从而在不知不觉中破坏、甚至操控预测结果。这种对输入共轭变量的攻击暴露了网络结构内在的薄弱性。
为揭示这一问题的本质，该研究采用了新颖的研究思路，将量子力学中不确定性原理的数学框架应用于神经网络的脆弱性分析，阐明了在系统攻击中输入共轭变量的重要作用。通过深入分析，研究团队发现神经网络在面对微小非随机扰动时表现出的脆弱性，与量子物理中的不确定性原理在数学上有着令人惊讶的一致性。这一发现不仅指出了目前深度学习网络的内在脆弱性本质，也为未来理解这些所谓的“黑箱”网络系统提供了新的交叉学科视角。
在该研究中，作者还尝试建立了一个神经网络模型f(X,θ)，其中θ代表网络参数，X代表网络的输入变量。他们观察到，网络无法同时以高精度解析（或拟合）共轭变量∇X l(f(X,θ),Y)（其中Y代表X的真实标签，l为网络的损失函数）和输入X的全部特征，导致网络的准确性和鲁棒性之间出现了相互制衡的实验现象（如下图所示）。这种现象正类似于量子物理中著名的不确定性原理，在这一视角下，提供了对神经网络局限性的新型理解方式。
三层卷积神经网络在MNIST数据集上训练50个周期的∆X和∆P可视化效果。(A)神经网络最终训练结果的类别预测区域。这些区域以阴影形式标出，而点的颜色则代表了相应测试样本的真实标签，可以看出网络模型的预测与真实情况之间较为匹配。在(B)中，所有测试样本都经历了梯度攻击，因此扰动后的样本点从它们原本应该所属的类别区域明显偏移，从而导致网络模型的分类错误。(C)聚焦于数字'8'的预测区域随着训练周期（第1、21和41周期）的变化。阴影区域颜色越深，表示网络对其预测的信心越强。(D)与(C)相似，但显示的是受攻击图像的对抗性预测点。可从图看出，随着训练的进行，攻击点分布的有效半径增加，表明随着网络对输入特征的精确度提高，它对攻击的脆弱性也随之增加。
此外，神经网络展现出的內禀不确定性原理在不同类型的网络结构中也有所体现（如下图所示）。无论是简单的卷积网络还是复杂的残差网络，都可观察到精度与鲁棒性之间存在相互制衡的实验现象，并且相比针对像素的攻击，这一制衡关系在对输入特征的攻击中体现的更为明显。
三种不同类型神经网络的测试结果，表明即使在更复杂的网络结构中，不确定性原理仍然起着关键作用。其中(A)、(C)、(E)、(G)、(I)和(K)子图显示了测试准确性和鲁棒准确性，鲁棒准确性是在由PDG攻击方法扰动的图像上评估得出的。而(B)、(D)、(F)、(H)、(J)和(L)子图揭示了精度和鲁棒性之间的相互制衡现象。
未来，关于神经网络的准确性与鲁棒性的相互制衡内涵，以及基于其最优制约关系而对神经网络架构进行合理设计的研究问题，值得科研人员更为深入的挖掘与探索。尽管该研究尝试为量子物理与深度学习之间的联系提供了新视角，搭建了两者内在关联的桥梁，但要全面理解这些原理如何应用于神经网络的应用任务，特别是如何基于该原理对神经网络架构进行科学设计与制约分析，还需要更多的跨学科交叉研究工作。
总之，应该相信将物理学原理应用于解释AI系统的内部机制，不仅有助于加深领域对网络复杂结构作用的本质理解，阐明深度学习有效泛化应用能力的边界，更有助于将丰富、成熟、体系性的物理学知识原理实质性融于理论根基尚不牢固的AI领域，对开拓深度学习机理分析的新型理论架构可能将具有深远的意义与价值。
点击“阅读原文”阅读原文。
扩展阅读
破译沸石咪唑酯骨架相变的控制因素 | NSR
深部碳循环、半导体纤维、电催化脱硝、富氢超导、生殖免疫学 
细菌感染微环境响应自激活按需抗菌水凝胶治疗感染运动创面研究取得新进展
NSR | 分子转一转，容量增一半：神奇的空间位阻效应
本文系网易新闻·网易号“各有态度”特色内容
媒体转载联系授权请看下方
继续阅读
阅读原文