本文详细介绍了服务器构成及市场情况、AIGC带来服务器变革、训练&推理带来服务器增量需求、AI服务器市场迎来高速发展机遇、AI服务器产业链解析、AI服务器竞争格局。
服务器主要硬件包括处理器、内存、芯片组、I/O (RAID卡、网卡、HBA、硬盘、机箱 (电源、风)。以一台普通的服务器生产成本为例,CPU及芯片组大致占比50% 左右,内存大致占比 15% 左右,外部存储大致占比10%左右,其他硬件占比25%左右。
服务器的逻辑架构和普通计算机类似。但是由于需要提供高性能计算,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
逻辑架构中,最重要的部分是CPU和内存。CPU对数据进行逻辑运算,内存进行数据存储管理。
服务器的固件主要包括BIOSUEFIBMCCMOSOS包括32位和64位。
服务器市场规模持续增长。根据 Counterpoint 的全球服务器销售跟踪报告,2022年,全球服务器出货量将同比增长6%,达到 1380 万台。收入将同比增长 17%,达到1117 亿美元。根据IDC、中商产业研究院,我国服务器市场规模由2019年的182亿美元增长至2022年的273.4亿美元,复合年均增长率达14.5%,预计2023年我国服务器市场规模将增至308亿美元
竞争格局:根据IDC发布的《2022年第四季度中国服务器市场跟踪报告Prelim》,浪潮份额国内领先,新华三次之,超聚变排行第三,中兴通讯进入前五。
目前,AIGC产业生态体系的雏形已现,呈现为上中下三层架构:①第一层为上游基础层,也就是由预训练模型为基础搭建的AIGC技术基础设施层。②第二层为中间层,即垂直化、场景化、个性化的模型和应用工具。③第三层为应用层,即面向C端用户的文字、图片、音视频等内容生成服务。
回顾GPT的发展,GPT家族与BERT模型都是知名的NLP模型,都基于Transformer技术。GPT,是一种生成式的预训练模型,由OpenAI团队最早发布于2018年,GPT-1只有12个Transformer层,而到了GPT-3,则增加到96层。其中,GPT-1使用无监督预训练与有监督微调相结合的方式,GPT-2与GPT-3则都是纯无监督预训练的方式,GPT-3相比GPT-2的进化主要是数据量、参数量的数量级提升。
未来异构计算或成为主流
异构计算(Heterogeneous Computing)是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式,目前主要包括GPU云服务器、FPGA云服务器和弹性加速计算实例EAIS等。让最适合的专用硬件去服务最适合的业务场景。
CPU+GPU的异构计算架构中,GPUCPU通过PCle总线连接协同工作,CPU所在位置称为主机端 (host),而GPU所在位置称为设备端(device)。基于CPU+GPU的异构计算平台可以优势互补,CPU负责处理逻辑复杂的串行程序,而GPU点处理数据密集型的并行计算程序,从而发挥最大功效。
越来越多的AI计算都采用异构计算来实现性能加速。
阿里第一代计算型GPU实例,2017年对外发布GN4,搭载Nvidia M40加速器.,在万兆网络下面向人工智能深度学习场景,相比同时代的CPU服务器性能有近7倍的提升。
CPU 适用于一系列广泛的工作负载,特别是那些对于延迟和单位内核性能要求较高的工作负载。作为强大的执行引擎,CPU 将它数量相对较少的内核集中用于处理单个任务,并快速将其完成。这使它尤其适合用于处理从串行计算到数据库运行等类型的工作
GPU 最初是作为专门用于加速特定 3D 渲染任务的 ASIC 开发而成的。随着时间的推移,这些功能固定的引擎变得更加可编程化、更加灵活。尽管图形处理和当下视觉效果越来越真实的顶级游戏仍是 GPU 的主要功能,但同时,它也已经演化为用途更普遍的并行处理器,能够处理越来越多的应用程序
AI服务器作为算力基础设备持续增长
AI服务器作为算力基础设备,其需求有望受益于AI时代下对于算力不断提升的需求而快速增长。根据TrendForce,截至2022年为止,预估搭载GPGPU(General Purpose GPU)的AI服务器年出货量占整体服务器比重近1%,预估在ChatBot相关应用加持下,有望再度推动AI相关领域的发展,预估出货量年成长可达8%;2022~2026年复合成长率将达10.8%。
AI服务器是异构服务器,可以根据应用范围采用不同的组合方式,如CPU + GPU、CPU + TPU、CPU +其他加速卡等。IDC预计,中国AI服务器2021年的市场规模为57亿美元,同比增长61.6%,到2025年市场规模将增长到109亿美元,CAGR为17.5%。
AI服务器构成及形态
AI服务器主要构成:以浪潮NF5688M6 服务器为例,其采用NVSwitch实现GPU跨节点P2P高速通信互联。整机8 颗 NVIDIAAmpere架构 GPU,通过NVSwitch实现GPU跨节点P2P高速通信互联。配置 2颗第三代Intel® Xeon® 可扩展处理器(Ice Lake),支持8块2.5英寸NVMe SSD or SATA/SAS SSD以及板载2块 SATA M.2,可选配1张PCIe 4.0 x16 OCP 3.0网卡,速率支持10G/25G/100G;
可支持10个PCIe 4.0 x16插槽, 2个PCIe 4.0 x16插槽(PCIe 4.0 x8速率), 1个OCP3.0插槽;支持32条DDR4RDIMM/LRDIMM内存,速率最高支持3200MT/s,物理结构还包括6块3000W 80Plus铂金电源、N+1冗余热插拔风扇、机箱等。
目前按照GPU数量的不同,有4颗GPU(浪潮NF5448A6)、8颗GPU(Nvidia A100 640GB)以及16颗GPU(NVIDIA DGX-2)的AI服务器。
AI服务器核心组件包括GPU(图形处理器)、DRAM(动态随机存取存储器)、SSD(固态硬盘)和RAID卡、CPU(中央处理器)、网卡、PCB、高速互联芯片(板内)和散热模组等。
CPU主要供货厂商为Intel、GPU目前领先厂商为国际巨头英伟达,以及国内厂商如寒武纪、海光信息等。
AI服务器竞争格局
IDC发布了《2022年第四季度中国服务器市场跟踪报告Prelim》。从报告可以看到,前两名浪潮与新华三的变化较小,第三名为超聚变,从3.2%份额一跃而至10.1%,增幅远超其他服务器厂商。Top8服务器厂商中,浪潮、戴尔、联想均出现显著下滑,超聚变和中兴则取得明显增长。其中,浪潮份额从30.8%下降至28.1%;新华三份额从17.5%下降至17.2%;中兴通讯从3.1%提升至5.3%,位居国内第5。
联想降幅最为明显,从7.5%下降至4.9%。
据TrendForce集邦咨询统计,2022年AI服务器采购占比以北美四大云端业者Google、AWS、Meta、Microsoft合计占66.2%为最,而中国近年来随着国产化力道加剧,AI建设浪潮随之增温,以ByteDance的采购力道最为显著,年采购占比达6.2%,其次紧接在后的则是Tencent、Alibaba与Baidu,分别约为2.3%、1.5%与1.5%。
本文来自“GPGPU研究框架及算力分析(2023)”,GPGPU的核心壁垒是高精度浮点计算及CUDA生态。从高精度浮点计算能力来看,国内GPU产品与国外产品的计算性能仍或有一代以上差距;在软件和生态层面与英伟达CUDA生态的差距则更为明显。
AI计算GPU领域,国内壁仞科技发布的BR100产品在FP32单精度计算性能上实现超越NVIDIA A100芯片,但是不支持FP64双精度计算天数智芯推出的天垓100的FP32单精度计算性能实现超越A100芯片,但是在INT8整数计算性能方面却低于A100海光推出的DCU实现了FP64双精度浮点计算,但是其性能为A100的60%左右,大概相当于其4年前水平。因此,从高精度浮点计算能力来看,国内GPU产品与国外产品的计算性能仍或有一代以上差距。
但是,GPU不仅在硬件上需要提升算力,软件层面对于GPU的应用和生态布局尤其重要,英伟达凭借CUDA构建生态壁垒占领全球GPU市场90%的份额。目前国内企业多采用开源的OpenCL进行自主生态建设,但这需要大量的时间进行布局;
对比AMD从2013年开始建设GPU生态,近10年时间后用于通用计算的ROCm开放式软件平台才逐步有影响力,且还是在兼容CUDA的基础上。因此我们认为国内厂商在软件和生态层面与英伟达CUDA生态的差距较计算性能更为明显。
虽然目前国内产品的计算性能和软件生态实力与国际厂商还有差距,但是,国内厂商依然在奋起直追,努力实现GPGPU的国产化突破。 
长久来看,美国对中国高端GPU的禁售令反而给国产GPGPU和AI芯片厂商带来快速发展的机会。 短期来看,我们认为对高端通用计算GPU的禁令可能会影响英伟达和AMD的GPU产品在中国的销售,中国AI计算、超级计算和云计算产业进步受到一定的阻碍。可使用英伟达和AMD还没有被禁止的及国产厂商的中高计算性能CPU、GPU、ASIC芯片等替代
长期来看,国产CPU、GPU、AI芯片厂商受益于庞大的国内市场,叠加国内信创市场带来国产化需求增量,我们预期国内AI芯片的国产化比例将显著提升,借此机会进行产品升级,逐渐达到国际先进水平,突破封锁。对于国内厂商,建议重点关注实现自主创新,打造自主生态体系,国内企业:
  • 1)芯片:龙芯中科(国内PC CPU龙头,自主研发GPGPU产品)、海光信息(国内服务器CPU龙头,推出深度计算处理器DCU)、景嘉微(国内图形渲染GPU龙头)、寒武纪(国内ASIC芯片龙头)、澜起科技(国内服务器内存接口芯片龙头);
  • 2)PCB:胜宏科技、兴森科技、沪电股份;
  • 3)先进封装:通富微电、甬矽电子、长电科技、长川科技等。 
  • 海外企业:英伟达(全球GPU龙头)、AMD(全球CPU/GPU领先厂商)、英特尔(全球CPU龙头)、美光(全球存储芯片龙头)。

免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。
推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价439元)。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情

继续阅读
阅读原文