本期的主角是——Virtuoso。
半导体行业中使用范围最广的EDA应用之一。
1991年Virtuoso技术正式发布,最初作为掩模设计师的版图工具,是Opus平台的一部分,主要功能包括电路设计与仿真、版图设计、设计验证,以及模拟/数字混合设计等。
近30年来,Virtuoso产品已和最初有很大不同,但其核心仍然是版图编辑器。
应用工具层面。Cadence一直致力于优化EDA应用算法和性能,提高自动化水平,将Virtuoso逐渐升级和扩展为集合多项新技术的系统设计平台。
从应用到云资源层,就由我们来发挥了
我们针对EDA应用云原生适配,为IC研发设计人员提供一整套即开即用,快速上手的IC研发设计环境,系统性大幅提升研发效率
我们到底是怎么做到的?
研发效率具体提高在哪些方面?
什么是即开即用的IC研发设计环境?好用吗?改变原来习惯吗?
以下是今天的正文:
用户需求
某芯片设计公司做数模混合芯片,经常使用Virtuoso调用Spectre完成仿真任务,需要赶MPW shuttle,即将面临多项目同时进行、项目关键时间节点相同的困境。
公司CEO并不想单纯靠增加本地机器来解决目前问题,一方面考虑到会对企业造成比较大的现金流压力,另一方面公司并没有专门的IT和CAD团队。他对能不能用云解决现有问题十分重视,也直接和云厂商交流过,对我们的云上自动化和Auto-Scale功能很感兴趣。
实证目标
1、fastone平台是否支持在云端使用Virtuoso运行仿真任务?
2、通过平台使用Virtuoso和本地差别大吗?
3、Auto-Scale自动化伸缩具体怎么实现的?
4、Slurm调度器行不行?
实证参数
平台:
fastone企业版产品
应用:
Cadence Virtuoso
适用场景:
数模混合电路设计及仿真
云端硬件配置:
Spectre仿真主要需要的是计算密集型CPU,所以平台推荐的是计算优化型云端实例
调度器:
Slurm(关于调度器,下文会详细讲解)
技术架构图:
一整套即开即用的IC研发设计环境
操作像吃了德芙般顺滑
用户对于在本地单机使用Virtuoso运行仿真任务,已经非常熟悉。
而对于在云上跑,用户依然有以下疑问:
什么叫一整套?从哪一步到哪一步?
云上使用Virtuoso,操作方式会改变吗?会不会很麻烦?
我们为用户提供的产品,从登录桌面、打开应用、配置仿真、提交任务、自动上云开机运行任务并自动关机、查看结果进行调试……用户所需要的操作与本地几乎完全一致,每一步只需在平台上使用鼠标简单点选即可完成。
我们说的“一整套”,就是这个意思。
至于操作方式会不会改变?
拿访问集群举例。
用户访问集群,既可以通过命令行,也可以通过WebVNC图形界面方式直接访问。

手动模式访问集群,一共有五步,往往还需要请IT先配置环境
1、在云端开一台机器;
2、在云端安装VNC服务并进行配置,有几个用户使用就需要配置几个账号;
3、在本地安装VNC服务并进行配置;
4、在云端开启VNC服务;
5、用户使用各自账号登录客户端VNC访问云端。

我们为所有用户免费提供WebVNC功能,自动化创建到访问集群
1、通过Web浏览器登录fastone平台;
2、在Web界面新建集群、配置资源;
3、在已创建的集群点击WebVNC远程桌面图标(同时提供WebSSH远程命令行功能);
4、跳转到虚拟桌面,可在该桌面中操作Virtuoso。
我们还提供了统一的用户认证,不同用户可以直接访问VNC,无需重新配置。
这种操作方式给用户提供了熟悉的操作环境,使其能够快速地远程自动化访问集群,避免了大量的手动部署,使用体验更好。
在数据传输上,我们同样为用户提供了不改变操作习惯的DM工具,用户无需在多套认证系统之间切换,使用统一的身份认证即可传输数据,并自动关联云端集群进行计算,具体看这里《CAE云实证Vol.8:LS-DYNA求解效率深度测评 │ 六种规模,本地VS云端5种不同硬件配置
当然,好处远远不止这些。
Auto-Scale自动伸缩就像仙女棒
变大变小变漂亮
fastone通过Auto-Scale功能实现自动化创建集群的过程,可以实现自动监控用户提交的任务数量和资源的需求,动态按需地开启所需算力资源,在提升效率的同时有效降低成本。
怎么让仙女棒发挥作用?
先来设置一下:
下图就是开启Auto-Scale功能后,用户某项目一周之内所调用云端计算资源的动态情况。
其中橙色曲线为OD实例的使用状况,红色曲线为SPOT的使用状况。
OD:On-Demand,按需实例。针对短期弹性需求,按小时计费,但价格比较高。
SPOT:可被抢占实例,又称竞价实例。价格最低可达到按需实例价格的10%,相当于秒杀,手快有手慢无,随时可能被抢占中断,需要有一定的技术实力才能使用。
两个重点:
第一、从图中可以看到整个阶段算力波峰为约3500核,而波谷只有650核左右。用户使用资源是存在明显的波峰波谷周期的。Auto-Scale功能可以根据任务运算情况动态开启云端资源,并在波峰过去后自动关闭,让资源的使用随着用户的需求自动扩张及缩小,最大程度匹配任务需求。
当然,用户也可以选择自己对最大最小值进行设置,加以限制。
这一方面节约了用户成本,不需要时刻保持最高峰使用资源;
另一方面也最大限度保证了任务最大效率运行。
比如跑100个corner的仿真,以前只能同时跑10个,要花10天,现在可以同时跑100个,只要1天就可以完成。这两种方式成本相同,为用户节约出了显著的时间差大大缩短了任务运行周期,提升了研发效率。
第二、我们的Auto-Scale功能支持对不同计费模式(OD、SPOT)实例进行自动伸缩OD按需实例价格通常为SPOT实例的3-10倍。
Auto-Scale功能可以根据不同的用户策略,比如成本最优还是时间优先,自动化跨区、跨类型为用户调度云资源,完成计算任务
至于不同策略具体怎么落地执行?相比时间优先策略,成本优先怎么做到降低成本最多达67%-90%?在这篇实证《生信云实证Vol.3:提速2920倍!用AutoDockVina对接2800万个分子》里体现得十分明显。
不仅限于运行任务期间,其实早在创建集群的时候,自动化Auto-Scale过程就已经开始了。
在这篇Bladed实证里,fastone平台在任务的不同阶段采取不同的策略应对,除任务运行时间内全部云资源满负荷运作以外,在数据处理和结果数据上传阶段均只开启了1-2台机器,而其他准备过程不需要开启机器。
习惯了LSF/SGE
Slurm调度器到底行不行?
为什么选择Slurm调度器?
Virtuoso应用原生支持的调度器有LSF和SGE。
LSF作为商业软件,由IBM提供商业支持,是半导体行业最常用的调度器软件。曾经衍生出的开源版Openlava在2016后IBM发起的版权诉讼之后,2018年正式被禁用。
SGE商业版在去年已经随Univa被Altair收购。类似的,免费开源版已经长期无维护和更新,也存在版权风险。
LSF和SGE均按核时收费,价格不菲,如果在云端大规模使用,价格惊人,而且都需要购买单独的Resource Connector或Navops Launch产品才能支持在云上使用。
Slurm作为调度器四大流派里唯一的纯开源派,就不受规模和费用的限制了。而且Slurm拥有容错率高、支持异构资源、高度可扩展等优点,每秒可提交超过1000个任务,且由于是开放框架,高度可配置,拥有超过100种插件,因此适用性相当强。
所以我们优先选择Slurm。
关于这四家主流调度器:LSF/SGE/Slurm/PBS以及它们的9个演化版本,可以看这篇文章《亿万打工人的梦:16万个CPU随你用》,我们进行了整体梳理和盘点,尤其是对云的支持方面划了重点。
我们是怎么实现的?
答案是:SGE Wrapper。
Wrapper是什么呢?
可以看看下图,可以看到同样的命令在不同的调度器之间有不同的实现方式:
而Wrapper就像不同调度器命令语言中的翻译器,我们相当于通过这个翻译器,把Slurm语言翻译成了Virtuoso听得懂的SGE语言,于是应用就能正常运行啦。
关于不同调度器的使用效果。
我们曾经在Proteus™OPC实证场景四中分别使用SGE和Slurm在云端和本地分别调度2000核/5000核运行相同OPC任务。
结论是:对于计算结果无影响。
关于调度器如何在多机器多任务的情况下提升资源利用率,并进行自动化管理,可以看这篇《EDA云实证Vol.7:揭秘20000个VCS任务背后的“搬桌子”系列故事
任务监控还能搞出省钱大招?
根据我们对整个任务消耗资源状态的监控,发现运算该组任务所使用的内存大部分时间在5G以下,但会有极短的一段时间(不超过半小时)达到17.5G。
从上图中可以看到,Swap剩余量在短时间内从8.6G跌到了7.1G,随后很快回升到了8.38G,也就是说如果没有Swap,运行内存的瞬时缺口约为1.5G,势必造成任务失败。
Swap,交换分区,就是在内存不够的情况下,操作系统先把内存中暂时不用的数据,存到硬盘的交换空间,腾出内存来让别的程序运行。
如果配置16G的内存,任务最后会因此失败。
但如果选择配置32G内存,着实有点浪费,毕竟也就超了一点点。
而同等CPU资源下,配备32G内存的价格普遍要比16G贵1.4-1.9倍
正是由于完备的监控和任务性能评估机制,我们建议用户在云端运算时配备16G内存,同时使用Swap功能渡过这段内存波峰,以达到最高的性价比。
实证小结
1、fastone平台支持在云端使用Virtuoso调用Spectre运行仿真任务;
2、用户使用这套研发设计环境能闭环完成Virtuoso运行任务,且基本不改变用户习惯;
3、fastone平台的云上自动化模式和Auto-Scale功能能有效帮用户缩短研发周期,同时降低使用成本;
4、Slurm调度器不会影响计算结果,是更具性价比及扩展性的选择;
5、fastone平台拥有完备的监控及任务性能评估机制。
本次EDA实证系列Vol.10就到这里了。
下一期我们聊HFSS。
关于fastone云平台在其他应用上的具体表现,可以点击以下应用名称查看:
HSPICE │ Bladed │ Vina │ OPC │ Fluent │ Amber │ VCS │ LS-DYNA │ MOE│ Virtuoso
END -
我们有个为应用定义的EDA云平台
集成多种EDA应用,大量任务多节点并行
应对短时间爆发性需求,连网即用
跑任务快,原来几个月甚至几年,现在只需几小时
5分钟快速上手,拖拉点选可视化界面,无需代码
支持高级用户直接在云端创建集群
扫码免费试用,送300元体验金,入股不亏~
更多电子书
欢迎扫码关注小F(ID:imfastone)获取
你也许想了解具体的落地场景:
关于为应用定义的云平台
继续阅读
阅读原文