随着大模型技术的迅猛发展，它已成为企业界广泛讨论的热门话题。尽管实现人工通用智能（AGI）的目标仍然遥远，但大模型的企业应用已经显现出其巨大潜力和广泛影响力。特别是在 AI Agent 和行业创新应用方面，我们看到了前所未有的探索和实践。而支撑这些应用的，是一个强大且不可或缺的基础设施层。为此，我们在 AICon 全球人工智能开发与应用大会暨大模型应用生态展，特别策划了“大模型基础设施构建”专题，邀请了四位业界顶尖专家，深入分享他们的经验和见解。

为确保听众能享受到无广告、高质量的内容体验，我们荣幸地邀请了蚂蚁集团 AI Infra 负责人张科，担任本次专题的出品人。下面是本专题论坛的演讲介绍：

精彩演讲

网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构

首先我们荣幸邀请到席永青，阿里巴巴的资深网络架构师，加入公司自 2014 年以来，他在 AI 训练和推理场景的高性能数据中心网络架构设计领域有着丰富经验。在即将到来的演讲中，他将深入分享《网络驱动大规模 AI 训练 - 阿里云可预期网络 HPN 7.0 架构》。通过他的演讲，您将能深刻理解 AI 计算对网络系统的核心诉求，包括为什么网络集群设计的关键要素至关重要，以及如何通过阿里云设计的 HPN7.0 架构系统，基于 Ethernet 构建超大规模、极致性能的网络互联，从而实现算力的规模扩展。他还将展望高性能数据中心网络系统的未来，让听众了解网络系统架构设计在 AI 基础设施构建中的重要性，以及网络集群设计和高性能系统能力的关键要求，为高效训练系统带来的价值。

GLake: 高效透明的大模型显存管理和优化

其次，还荣幸邀请到赵军平，蚂蚁集团的基础智能 -AI Infra 异构计算负责人，来分享他在异构算力集群优化与推理优化方面的深刻见解。赵军平在此领域拥有丰富经验，负责蚂蚁集团内大模型、搜索广告推荐等方面的异构计算优化，且持有 190+ 中 / 美技术专利。此次演讲将围绕《GLake: 高效透明的大模型显存管理和优化》进行，探讨大模型训练和部署过程中遇到的显存挑战，并介绍 GLake 这一高效、全局的显存优化方案如何无缝接入 PyTorch 框架，显著减少显存碎片，提高训练效率。赵军平将深入解析大模型的显存与传输挑战，并比较现有解决方案的优劣，特别是 GLake 在大模型训练及推理中的应用和效果，展现其如何在实际测试中节省高达 34% 的显存并将训练吞吐提高最高 4 倍。通过赵军平的分享，您将学会如何系统性地分析和优化显存与传输问题，掌握不同优化手段在各种场景下的优劣，并探讨未来软硬件结合的发展方向。

昇腾大模型推理最佳实践

第三位邀请到的嘉宾是王建辉，华为计算产品线昇腾推理的首席架构师，王建辉主要从事软硬件协同设计、系统性能优化以及实时计算等技术领域的研究和实践。在他即将进行的演讲 《昇腾大模型推理最佳实践》 中，将深入探讨 AI 技术特别是大模型技术的快速发展趋势，及其在 Scaling Law 作用下，模型参数的持续增长和响应速度的不断提升带来的挑战和机遇。王建辉将分享昇腾在大模型推理方向上的技术探索，包括昇腾提供的高性能大模型推理软硬件解决方案及其关键特性，以及如何在提升用户体验的同时降低推理成本，满足大模型规模落地的需求。此外，通过具体的应用案例，他将展示昇腾大模型推理技术的关键进展和实际成效，让听众深刻理解昇腾大模型推理关键特性。

构建兼容多元加速卡的大模型基础设施

最后，有幸邀请到了崔慧敏，中科加禾的创始人兼 CEO，她同时也是中科院计算所编程与编译方向的学术带头人和处理器芯片全国重点实验室副主任。崔慧敏长期致力于面向国产处理器芯片的编译软件研究，发表了 40 余篇包括 ASLPOS、MICRO、PLDI 等顶级会议和期刊的论文，是编译和系统领域的领军人物。在接下来的演讲中，崔慧敏将分享《构建兼容多元加速卡的大模型基础设施》。她将深入探讨通用大模型带来的高性能智算算力需求，以及如何突破现有智算生态中的厂商锁定和系统不兼容问题。崔慧敏将介绍如何通过多层次统一编译器 IR 和跨架构编译优化技术，为上层应用提供“性能 + 编程”的归一化抽象，实现对多种加速卡的兼容。

AICon

AICon 由极客邦科技旗下的 InfoQ 中国主办，是一个专为工程师、产品经理和数据分析师设计的技术盛宴。参与 AICon，您将有机会听取关于 AI Agent 探索与实践、RAG 检索与生成的落地策略、Copilot 应用构建、大模型训练、推理优化、基础设施建设、LLMOps、AI 前沿探索、多模态技术与应用，以及大模型在行业创新和国际化落地探索等一系列精彩主题的分享。这不仅是一个学习和交流的好机会，也是探索大模型如何为您的业务创造价值的绝佳平台。

参与方式和价值

AICon 2024 将于 5 月 17 日至 18 日举行，现正处于 9 折早鸟票购买期。原价 6800 元的门票，现特价降至 4800 元，并享受额外 9 折优惠。如果您的团队对大模型开发和应用充满热情，欢迎加入我们，共襄盛举。报名及更多信息，请联系我们的小助手（手机 / 微信：13269078023）。

参与人员

经过广泛调研，我们发现对大模型感兴趣的用户群体非常广泛，包括以下：

技术和管理层：追求了解大模型的战略价值和技术趋势，关心其在企业应用和创新潜力方面的影响。
技术专业人员：探索大模型的架构、算法等细节，寻找优化方法和实践案例。
业务负责人和产品经理：研究大模型如何推动业务创新，探索其在特定场景下的应用。
市场和营销专业人员：分析大模型如何影响市场营销策略和品牌形象。
创新驱动者和独立开发者：寻求创新的应用案例和技术应用，探索成本控制和资源优化

内容推荐

跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI 前线」公众号，回复「开发者洞察」领取。