大模型算力:AI服务器异构计算分析
服务器随着场景需求经历通用服务器-云服务器-边缘服务器-AI服务器四种模式,AI服务器采用GPU增强其并行计算能力;AI服务器按应用场景可分为训练和推理,训练对芯片算力的要求更高,根据IDC,随着大模型的应用,2025年推理算力需求占比有望提升至60.8%;
AI服务器按芯片类型可分为CPU+GPU、CPU+FPGA、CPU+ASIC等组合形式,CPU+GPU是目前国内的主要选择(占比91.9%);AI服务器的成本主要来自CPU、GPU等芯片,占比25%-70%不等,对于训练型服务器其80%以上的成本来源于CPU和GPU。
据ARK Invest预测,Chat GPT-4参数量最高达15000亿个,由于参数量与算力需求间存在正比关系,所以可推算GPT-4算力需求最高达到31271 PFlop/s-day。随着国内外厂商加速布局千亿级参数量的大模型,训练需求有望进一步增长,叠加大模型落地应用带动推理需求高速增长,共同驱动算力革命并助推AI服务器市场及出货量高速增长。
美国对中国禁售英伟达高性能芯片A100和H100,英伟达特供中国的削弱互联带宽的版本A800或为当前可替代方案;
以海光信息、壁仞科技等为代表的国产GPU部分单卡指标接近英伟达,在推理场景中具有一定竞争力;国产AI服务器厂商全球份额超35%,浪潮信息位列榜首;国产AI服务器厂商各具优势,有望受到下游需求拉动。
本文来自“大模型算力:AI服务器行业(2023)”。关于CPU、服务器和存储详细技术,请参考“下载提醒:服务器基础知识全解(终极版)”,“2023年服务器计算机CPU行业报告”、“2023年机架式服务器行业洞察”、“2023~2025服务器CPU路线图”、“2023服务器产业链及市场竞争格局”、“存储系统关键技术全解(终极版)”、“更新下载:存储系统基础知识全解(终极版)”、“存储芯片技术基础知识介绍(2023)”等等。
关于CPU、服务器和存储详细技术,请参考“下载提醒:服务器基础知识全解(终极版)”,“2023年服务器计算机CPU行业报告”、“2023年机架式服务器行业洞察”、“2023~2025服务器CPU路线图”、“2023服务器产业链及市场竞争格局”、“存储系统关键技术全解(终极版)”、“更新下载:存储系统基础知识全解(终极版)”、“存储芯片技术基础知识介绍(2023)”等等。
相关阅读:
InfiniBand高性能网络设计概述 面向E级计算的4款高性能处理器概述 基于鲲鹏处理器的高性能计算实践 高性能计算关键组件核心知识 一文全解高性能制造仿真技术 高性能计算:RoCE技术分析及应用 高性能计算:谈谈被忽视的国之重器 高性能计算:RoCE v2 vs. InfiniBand网络该怎么选? 高性能网络全面向RDMA进军
转载申明:转载本号文章请注明作者和来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解(终极版)”pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价399元)。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。