系统制造商和人工智能从业者希望利用较低精度的数字表示法所带来的性能和效率的提升。因此,Graphcore正在牵头呼吁将用于人工智能的8位浮点计算作为行业标准。
Graphcore创造了一种专为人工智能设计的8位浮点格式。我们建议负责定义用于机器学习的新二进制算术符号的IEEE工作组[1]采用这种格式。
为了便于采用和大力支持共同标准,我们认为采用这个开放的、可自由许可的标准最有利于人工智能计算。在IEEE正式确定标准前,我们也在向其他的行业参与者提供该规范。
Graphcore联合创始人兼CTO Simon Knowles表示:“8位浮点的出现为人工智能计算提供了巨大的性能和效率优势。这也是一个机会,让行业确定一个单一的、开放的标准,而不是陷入各种格式互相竞争的混乱局面。”
AMD全球院士兼首席GPU架构师Mike Mantor表示:“这种8位浮点格式将使AMD能够为许多类型的人工智能模型提供大幅改善的训练和推理性能。作为行业标准的坚定支持者,AMD正在倡导将其作为8位浮点符号的新标准与IEEE一起采用。
高通技术公司产品管理高级总监John Kehrli表示:“这一提议的格式已经成为8位浮点计算的一个引人注目的格式,为推理提供了显著的性能和效率提升,并可以帮助降低云和边缘的训练和推理成本。我们支持Graphcore将8位浮点作为相关应用的行业标准的提议。”
设定标准
在计算中使用低精度和混合精度符号如16位和32位的混合符号 ,在人工智能中很常见,可以在提供效率的同时保持高准确度,有助于对抗摩尔定律和登纳德缩放比例定律的影响力的不断减弱。
随着向8位浮点的转移,所有参与推进人工智能的人都有机会集合在一个标准周围,这个标准是人工智能原生的,将允许各系统在训练和推理方面的无缝互操作。
您可以在我们发表的一篇关于8位浮点格式的论文[2]中找到有关该提议的更多信息。
在行业标准制定之前,任何对这项技术许可感兴趣的公司都可以通过以下方式与Graphcore联系:
我们鼓励行业内的各家供应商也做出贡献,加入这一标准化工作。
[1]https://standards.ieee.org/ieee/3109/10698/
[2]https://arxiv.org/abs/2206.02915
获取更多Graphcore资讯,阅读深度技术文章,并与其他创新者们一起交流,请至中国官网graphcore.cn,以及关注Graphcore微信、微博和知乎创新社区。
Graphcore中国官网
Graphcore官方微信
Graphcore微博创新社区
Graphcore知乎创新社区
点击阅读原文,查看英文blog。
继续阅读
阅读原文