英伟达NVLink技术深度分析
NVIDIA NVLink已成为高性能计算(HPC)和人工智能领域的关键技术。本文深入探讨了NVLink的复杂性,并介绍NVSwitch芯片、NVLink服务器和NVLink交换机,以揭示其在不断演进的先进计算领域中的重要性。
关于CPU、服务器和存储详细技术,请参考“服务器基础知识全解(终极版)”,“2023年服务器计算机CPU行业报告”、“2023年机架式服务器行业洞察”、“2023~2025服务器CPU路线图”、“2023服务器产业链及市场竞争格局”、“存储系统关键技术全解(终极版)”、“更新下载:存储系统基础知识全解(终极版)”、“存储芯片技术基础知识介绍(2023)”等等。
什么是NVIDIA NVLink
NVLink是一种解决服务器内GPU之间通信限制的协议。与传统的PCIe交换机不同,NVLink带宽有限,可以在服务器内的GPU之间实现高速直接互连。第四代NVLink提供更高的带宽,每条通道达到112Gbps,比PCIe Gen5通道速率快三倍。
NVLink旨在为GPU直接互连提供简化、高速、点对点的网络,相比传统网络减少了开销。通过在不同层次提供CUDA加速,NVLink减少了与通信相关的网络开销。NVLink随着GPU架构的演进不断发展,从P100的NVLink1到H100的NVLink4,如图所示。NVLink 1.0、NVLink 2.0、NVLink 3.0和NVLink 4.0之间的关键区别在于连接方式、带宽和性能。
NVSwitch芯片
NVSwitch芯片是一种物理芯片,类似于交换机ASIC,可通过高速的NVLink接口连接多个GPU,提高服务器内的通信和带宽。第三代NVIDIA NVSwitch可支持以900 GB/s的速率互连每对GPU。
NVSwitch3芯片具有64个NVLink4端口,提供总共12.8 Tbps的单向带宽或3.2 TB/s的双向带宽。NVSwitch3芯片的独特之处在于其集成了SHARP功能,对多个GPU单元的计算结果进行聚合和更新,减少网络数据包并提高计算性能。
NVLink服务器
NVLink服务器采用NVLink和NVSwitch技术连接GPU,通常可在英伟达(NVIDIA)的DGX系列服务器或具有类似架构的OEM HGX服务器中找到。这些服务器利用NVLink技术,提供出色的GPU互联性、可扩展性和高性能计算能力。2022年,英伟达(NVIDIA)宣布推出第四代NVIDIA® DGX™系统,这是世界上首个采用新的NVIDIA DGX H100服务器构建的AI平台。
因此,NVLink服务器在科学计算、人工智能、大数据处理和数据中心等关键领域已经变得不可或缺。通过提供强大的计算能力和高效的数据处理,NVLink服务器不仅满足了这些领域的严格要求,还推动了这些领域的进步和创新。
NVLink交换机
2022年,英伟达(NVIDIA)将NVSwitch芯片独立出来,并制作成NVLink交换机,用于连接主机之间的GPU设备。它采用了1U尺寸设计,具有32个OSFP端口;每个OSFP端口包含8个112G PAM4通道,每个交换机内置2个NVSwitch3芯片。
NVLink网络
NVSwitch物理交换机将多个NVLink GPU服务器连接成一个大型Fabric网络,即NVLink网络,解决了GPU之间的高速通信带宽和效率问题。每个服务器都有独立的地址空间,为NVLink网络中的GPU提供数据传输、隔离和安全保护。当系统启动时,NVLink网络通过软件API自动建立连接,并可以在运行过程中更改地址。
该图比较了NVLink网络与传统以太网网络,演示了如何创建独立于IP以太网并专用于GPU服务的NVLink网络。
InfiniBand网络 VS NVLink网络
InfiniBand网络和NVLink网络是在高性能计算和数据中心应用中使用的两种不同的网络技术。它们有以下区别:
架构和设计:InfiniBand网络是一种采用多通道、高速串行连接的开放标准网络技术,支持点对点和多播通信。NVLink网络是由英伟达(NVIDIA)开发的专有技术,旨在实现GPU之间的高速直连。
应用场景:InfiniBand网络广泛应用于高性能计算集群和大规模数据中心。NVLink网络主要用于大规模GPU集群、HPC、人工智能等领域。
带宽和延迟:InfiniBand网络提供高带宽和低延迟的通信,提供更高的吞吐量和更短的传输延迟。NVLink网络为GPU之间提供更高的带宽和更低的延迟,以支持快速数据交换和协同计算。以下是使用NVLink网络的H100和使用InfiniBand网络的A100之间的带宽比较。
结论
NVIDIA NVLink作为一项开创性的技术,彻底改变了高性能计算和人工智能领域。它能够增强GPU之间的通信,提高性能,并实现无缝的并行处理,成为众多高性能计算和人工智能应用中不可或缺的组成部分。随着先进计算领域的不断发展,NVLink的重要性和影响力将不断扩大,推动技术创新。
相关阅读:
Arm架构升级,v9与v8版本有何差异? 从X86到ARM,跨越CPU架构鸿沟 走进芯时代:AI算力GPU行业深度报告 高性能计算:RoCE技术分析及应用 高性能计算:谈谈被忽视的国之重器 高性能计算:RoCE v2 vs. InfiniBand网络该怎么选? 高性能网络全面向RDMA进军
转载申明:转载本号文章请注明作者和来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解(终极版)”pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价399元)。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。