顶尖科学家如何玩转AI?DeepSpeed4Science:利用先进的AI系统优化技术实现科学发现
新智元报道
新智元报道
编辑:LRS 好困
【新智元导读】AI助力科学发现,DeepSpeed4Science计划引领新时代技术突破!
在接下来的十年中,深度学习可能会彻底改变自然科学,增强我们对自然现象进行建模和预测的能力。
这可能预示着科学探索的新时代,为从药物开发到可再生能源的各个领域带来重大进展。
对此,微软DeepSpeed团队启动了一个名为DeepSpeed4Science的新计划,旨在通过AI系统技术创新帮助领域专家解锁当今最大的科学之谜。
DeepSpeed系统是由微软开发的业界领先的开源AI系统框架,它为各种AI硬件上的深度学习训练和推理提供了前所未有的规模和速度。
图1:DeepSpeed4Science方法概述:专为加速科学发现和应对其复杂性而量身定制的AI系统技术开发。
图1展示了我们对DeepSpeed4Science这一新计划的基本方法。
通过利用DeepSpeed当前的技术方案(训练、推理和压缩)作为基础技术推动器,DeepSpeed4Science将创建一套专为加速科学发现而量身定制的AI系统技术,以应对其独特的复杂性,超越用于加速通用大型语言模型(LLMs)的常见技术方法。
在这篇博客中,我们展示了DeepSpeed4Science如何帮助解决结构生物学研究中的两个关键AI系统挑战:
(1)解决了以Evoformer为中心的蛋白质结构预测模型中的内存爆炸问题,以及
(2)为更好地理解引发大流行的病毒的进化提供AI模型长序列支持。
我们的初期主要合作者
内部合作伙伴
科学基础模型(Scientific Foundation Model,SFM),微软研究院AI4Science
ClimaX,微软研究院AI4Science
AI驱动的第一性原理分子动力学(AI Powered Ab Initio Molecular Dynamics,AI2MD),微软研究院AI4Science
微软天气,微软WebXT/Bing
外部合作者
合作展示
展示(I): DeepSpeed4Science通过DS4Sci_EvoformerAttention消除以Evoformer为中心的结构生物学模型的内存爆炸问题
图7:在OpenFold中,对多序列比对(MSA)Attention内核(包含偏差)变体的训练峰值内存需求。(左)使用在AlphaFold2中的EvoformerAttention的原始OpenFold实现。对于这些类型的蛋白质结构预测模型,在训练/推理中的内存爆炸问题是常见的。最先进的FlashAttention无法有效支持这样的Attention变体。(右)DeepSpeed4Science的一种新解决方案DS4Sci_EvoformerAttention在不影响模型品质的条件下显著地减少了OpenFold的训练峰值内存需求(最多13倍)。
展示(II): DeepSpeed4Science通过系统和算法方法为基因组基础模型(例如,GenSLMs)提供长序列支持
图9:由不同框架在不同规模下支持的两个GenSLMs模型的最大序列长度。使用NVIDIA DGX,每个节点有八个40G A100 GPU
转载自微软DeepSpeed组官方知乎账号:
zhihu.com/people/deepspeed
关键词
模型
技术
方法
语言模型
任务
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。