今天，我们很高兴地宣布美国能源部太平洋西北国家实验室（PNNL）[1]与Graphcore成立合作伙伴关系，这一合作关系开启了在多个学科中推进使用人工智能进行科学研究的新时代。PNNL是在化学、数据分析、地球和生命科学等领域内从事科学发现以及在可持续能源和国家安全领域进行技术创新的领先中心。这一合作关系已经开始在一些令人兴奋的应用领域加速深度神经网络开辟新天地。
Graphcore的IPU系统帮助PNNL的研究人员将在计算化学和网络安全领域训练人工智能模型的时间从几天缩短到几小时。除了在基于Transformer的模型上展示出显著的性能优势外，IPU-POD系统还在推动例如计算图神经网络等新兴模型架构的创新边界。这有助于PNNL以有意义的方式将开创性的机器学习工具用于研究任务。
“我们太平洋西北国家实验室[2]正在突破机器学习和计算图神经网络的界限，解决现有技术在计算上具有挑战性的科学问题。”PNNL计算与理论化学研究所[3]副总监Sutanay Choudhury[4]表示，“例如，我们正在寻求在计算化学[5]和网络安全领域里的应用[6]。我们与Graphcore的合作使我们能够将这些应用程序的训练和推理时间从几天显著缩短到几小时。这种加速表明，以有意义的方式将机器学习工具用于我们的研究任务是大有可为的。我们期待着就这一最新一代技术与Graphcore开展合作。”
加速用于量子化学应用程序的神经网络
诸如监督学习和生成模型的机器学习技术在化学中的应用是一个活跃的研究领域。机器学习驱动的化学特性预测和具有定制特性的分子结构生成已成为有吸引力的替代方案，可以替代昂贵的计算方法。提高训练这些机器学习模型的可扩展性对于加速科学发现至关重要，并且分子数据集具有独特的计算特性，可以处理数百万具有广泛变化的尺寸和稀疏特性的小型计算图。PNNL和Graphcore合作证明，IPU的细粒度并行性与将多个小型计算图打包到单个训练样本中的新颖方案相结合，可以实现最先进的准确性，而且与之前报告的结果相比，将训练时间缩短了几个数量级。
图 1 - 在使用PyTorch Geometric的QM9数据集上使用Graphcore IPU-Pod经典系统训练的SchNet 模型
IPU 上的网络安全应用
机器学习技术越来越多地用于网络安全领域，以提高软件抵御安全攻击的韧性，并预测任何潜在的隐患区域。将已知CVE（常见隐患和暴露）分类或映射到CWE（常见隐患列举）提供了一种识别和缓解隐患的方法。
PNNL和他们的学术合作者已经确定了一种新的基于Transformer的学习框架，称为V2W-BERT[7]框架。它使用来自自然语言处理、链接预测和迁移学习的概念来更准确地对隐患进行分类，并更有效地将弱点映射到漏洞利用。来自普渡大学、PNNL和Graphcore的合作者齐聚一堂，展示了IPU出色的吞吐量/收敛结果以及从16到128个IPU-Pod经典系统的可扩展性。
图 2 - Graphcore IPU-Pod 经典系统（16、64 和128个IPU）上每秒处理的序列数，用于BERT-V2W-Large预训练，序列长度为128个标记。该数据集由137,225个序列组成，在16个IPU上的时期（epoch）时间为91 秒，在64个IPU上为27秒，在128个IPU上为 17 秒。
V2W-BERT框架的通用性和可扩展性将有利于新型网络防御解决方案和隐患分类的理论发展和实际部署。
未来，PNNL和Graphcore的合作伙伴关系将扩展到其他几个领域，以进一步推动基于人工智能的技术在科学研究中的使用。我们期待着探索利用人工智能进行科学研究的新领域。
[1]https://www.pnnl.gov/
[2]https://www.pnnl.gov/
[3]https://www.pnnl.gov/projects/computational-and-theoretical-chemistry-institute
[4]https://www.linkedin.com/in/sutanay/
[5]https://www.pnnl.gov/news-media/opening-black-box-neural-networks
[6]https://www.pnnl.gov/news-media/v2w-bert-recognized-best-application-paper-award-dsaa-2021
[7]https://www.osti.gov/doecode/biblio/70430
本篇博客作者：
Mike Kraus、Daniele Terdina、Lakshmi Krishnan 
获取更多Graphcore资讯，阅读深度技术文章，并与其他创新者们一起交流，请至中国官网graphcore.cn，以及关注Graphcore微信、微博和知乎创新社区。
Graphcore中国官网
Graphcore官方微信
Graphcore微博创新社区
Graphcore知乎创新社区
继续阅读
阅读原文