海外自2022年OpenAi发布的ChatGPT将大型语言生成模型和Al推向新高度以来,全球各大科技巨头纷纷拥抱AIGC。大模型通常包含数亿级的参数,需要消耗大量算力。服务器作为算力的发动机,算力需求的增长将迎来Al服务器及服务器需求的快速增长。
Al服务器产业链包括芯片CPU、GPU,内存DRAM和内存接口及HBM,本地存储SSD,NIC、PCle插槽、散热和等。服务器CPU架构包括X86、ARM、MIPS和RISC-V等。
Al芯片是Al服务器算力的核心,专门用于处理人工智能应用中的大量计算任务,Al芯片按架构可分为GPU、FPGA、ASIC和NPU等。HBM作为内存产品的一种,已经成为高端GPU标配,可以理解为与CPU或SoC对应的内存层级,将原本在PCB板上的DDR和GPU芯片同时集成到SiP封装中,使内存更加靠近GPU,使用HBM可以将DRAM和处理器(CPU,GPU以及其他ASIC)之间的通信带宽大大提升,从而缓解这些处理器的内存墙问题。
服务器本地存储的选择方案则包括HDD和SSD,SSD的主要硬件组件包括NAND Flash、主控芯片和DRAM,核心软件为企业级SSD的固件,数据中心级SSD已不再是一个硬盘,而是一个具备处理、缓存、计算、安全保护的小型系统,SSD渗透率有望逐渐提升。
从服务器和Al服务器构成看,芯片和存储都是核心,决定着Al服务器的算力和宽带大小。传统的通用型服务器中,售价10424美金的2xIntel Sapphire Rapids Server,CPU的成本占比约17.7%,内存和硬盘占比超过50%。而Al服务器,售价为268495美金的Nvidia DGXH100中,CPU占比仅1.9%,GPU占比高达72.6%。内存价值量提升,但占比下降至4.2%左右。
相关阅读:
相关阅读:
更新提醒:“存储系统基础知识全解(终极版)”和“服务器基础知识全解(终极版)”已经更新发布,还没有获取的读者,请在点击“原文链接”在微店留言获取PDF阅读版本)。
转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。
推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价439元)。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情

继续阅读
阅读原文