英伟达L40S GPU架构及A100、H100对比

来源参考“英伟达发布L40S GPU，中高速光模块或将受益”。在SIGGRAPH 2023上，NVIDIA宣布推出全新的NVIDIA L40S GPU以及搭载L40S的NVIDIA OVX服务器。L40S GPU和OVX服务器主要针对生成式人工智能模型的训练和推理环节，有望进一步提升生成式人工智能模型的训练和推理场景下的计算效率。

L40S基于Ada Lovelace架构，配备有48GB的GDDR6显存和 846GB/s 的带宽。在第四代 Tensor 核心和 FP8 Transformer 引擎的加持下，可以提供超过 1.45 PFLOPS 的张量处理能力。根据英伟达给出的数据，在微调（Fine-tune）和推理场景的测试用例下，L40S 的计算效率较 A100 均有所提高。

相比于 A100 GPU，L40S 在显存、算力等多方面有所差异：

（1）L40S采用较为成熟的GDDR6显存，相比A100与H100使用的 HBM 显存，在显存带宽上有所降低，但技术更成熟，市场供应较为充足。

（2）L40S 在 FP16 算力（智能算力）上较 A100 有所提高，在 FP32 算力（通用算力）上较 A100 提高明显，更适应科学计算等场景。

（3）L40S 在功率上较 A100 有所降低，有利于降低数据中心相关能耗。

（4）根据 Super Micro 的数据，L40S 在性价比上较 A100 更有优势。

与A100 类似，L40S 通过 16 通道的 PCIe Gen 4 接口与 CPU进行通信，最大双向传输速率为 64 GB/s。相比之下，NVIDIAGrace Hopper 通过 NVLink-C2C 技术将 Hopper 架构的 GPU 与Grace 架构的 CPU 相连，在 CPU 到 GPU、GPU 到 GPU 间实现900 GB/s 的总带宽，较 PCIe Gen 5 快 7 倍。

基于Ada Lovelace架构的L40S，配备有48GB的GDDR6显存和846GB/s的带宽。在第四代Tensor核心和FP8 Transformer引擎的加持下，可以提供超过1.45 PetaFLOPS的张量处理能力。

对于算力要求较高的任务，L40S的18,176个CUDA核心可以提供近5倍于A100的单精度浮点（FP32）性能，从而加速复杂计算和数据密集型分析。

此外，为了支持如实时渲染、产品设计和3D内容创建等专业视觉处理工作，英伟达还为L40S 还配备了142个第三代RT核心，可以提供212TFLOP的光线追踪性能。功耗同时也达到了350瓦。

对于具有数十亿参数和多种模态的生成式AI工作负载，L40S相较于A100可实现高达1.2倍的推理性能提升，以及高达1.7倍的训练性能提升。

在L40S GPU的加持下，英伟达还针对数据中心市场，推出了最多可搭载8张L40S的OVX服务器。英伟达方面宣布，对于拥有8.6亿token的GPT3-40B模型，OVX服务器只需7个小时就能完成微调；对于Stable Diffusion XL模型，则可实现每分钟80张的图像生成。

L40S = 两个L40 用准先进封装（非CoWoS），利好国内先进封装，毕竟高端2.5D~3D不行，给国内2.2D封装指了一条明路，面对日益高涨的AI需求，分析与判断如下：

（1）由于PCIe Gen4接口的限制，L40S在GPU网络计算上的应用有所限制，因此对目前800G光模块的需求量影响有限。

（2）相较于A100，L40S在部分面向生成式人工智能模型的应用场景下有计算效率上的优势，且更具性价比。

（3）相较于A100，L40S使用GDDR6等相对成熟技术，有助于确保上游供应的稳定。

（4）L40S的前述优势可能促使下游云厂商加大采购，或将为以200G和400G光模块为代表的中高速光模块带来新的增长空间。

近日，英伟达公布 FY2024 第二季度财报。报告期内：英伟达营收为 135.1 亿美元，创历史新高，同比增长 101%，环比增长88%；毛利润为 94.6 亿美元，同比增长 225%，环比增长104%，毛利率达到 70%；净利润为 61.9 亿美元，同比增长843%，环比增长 203%。

在数据中心业务方面，受益于生成式人工智能训练和推理需求的强劲增长，英伟达在 FY2024Q2 实现收入 103.2 亿美元，同比增长 171%，环比增长 141%。英伟达方面表示，针对生成式人工智能场景、采用 Grace Hopper 架构的 GH200 芯片已全面生产，CY2023Q3 有望推出搭载 GH200 芯片的 OEM 服务器。同时，英伟达针对生成式人工智能模型微调场景推出了 L40S 服务器，并与惠普、戴尔、联想等系统制造商展开合作，L40S 服务器未来有望在全球企业中得到部署。