超融合技术方案建议及实践

一个高性能、高能效、易管理、易扩展的数据中心基础设施就犹如制造企业数字化转型的坚实底座，可以为数字化转型提供源源不断的动力。今年，在工信部发布的《新型数据中心发展三年行动计划（2021-2023年）》中就明确提出，引导新型数据中心集约化、智能化建设，稳步提高数据中心单体规模和单机架效率，形成布局合理、技术先进、绿色低碳、算力规模与数字经济增长相适应的新型数据中心发展格局。

对于制造业而言，建设新型数据中心具有格外重要的价值与意义。以XXX公司为代表的制造业中小企业在积极推动无人下料、自动分拣、自动化成型、机器人焊接、自动化物流等先进技术，从而打通生产、质量、物流、库存等环节。然而想要建立统一生产数据模型，实现生产过程的全数字驱动，必须要有强大、安全、易管理的数据中心基础设施做支撑。

为了满足未来业务发展的需要，有效解决数据安全、集中管控、降低运维成本、快速部署、跨平台访问、节能环保等问题，公司一直在关注通过虚拟化、分布式及超融合等互联网相关技术来解决现有数据中心的各种挑战，随着虚拟化及云计算的日益成熟，计划将其数据中心新业务系统运行在基于互联网基因的超融合基础架构平台上。

1.2项目需求

作为以工程机械研发和服务为核心业务的中小企业，公司业务规模逐渐变大大、分支机构和员工分散、从而导致管理体系复杂。随着业务不断地发展，公司在企业管理和运营体系上遇到了诸多挑战：

1、管理运维效率需要提升。

公司员工、供应商、合作伙伴等人员办公需要标准化研发环境。各团队间资源难以共享及统一管理，不仅影响办公与研发效率，还伴随一定的安全隐患。

2、设备分散管理、资源利用率低。

IT设备分散在各个业务部门，资源难以协同共享。例如，公司在国内有16个产业园区，分布在全国各地，各园区的传统PC机器参差不齐，其中部分设备使用年限高达6-8年，运维成本极高，亟须各园区的研发及办公加速从线下转向线上，从而实现随时随地灵活接入。

3、信息安全管控难。

终端安全防护能力差。公司研发人员办公采用传统图形工作站的方式，数据分散保存在个人图站中，数据的安全性较差且不便于集中管理，影响企业信息安全防护。

4、总体拥有成本高(TCO)。

PC硬件相对较低的成本优势，通常无法抵消PC管理和支持工作的高昂成本。目前，PC管理工作包括部署软件、更新和修补程序等，由于这些工作需要对多种PC配置的部署进行测试和验证，因而会耗费大量的人力。同时，由于标准化程度不高，支持人员经常需要亲临现场解决问题，这就进一步增加了支持成本。

针对上述问题，建议使用超融合虚拟化技术构建数据中心架构,搭建协同研发办公平台。研发人员可通过终端产品随时随地访问构建在虚拟机上的研发、办公桌面，实现在线协同和远程办公。

1.3建设目标

采用集数据计算、存储、网络等资源于一体的超融合技术架构搭建IT基础设施，实现系统资源便利部署、高效稳定，提升运维效率。提高公司整体的数据处理能力和系统资源储备。不仅满足传统网络架构云资源模式的IaaS、PaaS，还可以满足向下兼容，资源弹性伸缩，数据多副本冗余。在满足当前系统建设对服务器的需求的同时，为未来信息系统的建设发展提供一个灵活的、快速响应的、稳定可靠的服务器基础环境，最终实现系统资源横向的灵活扩展，增强业务连续性保护，较好地满足业务系统稳定安全运行要求。

1.4建设原则

IT基础设施平台建设需做到合理化、规范化和科学化，以应用为先导、统一规划，集中管理，在满足应用系统架构设计需求和业务数据对计算存储资源功能和性能需求的前提下，通过资源的统一分配和部署，结合超融合技术，最大化地提高资源的灵活性和利用率，满足应用业务需求扩充与资源部署变更的发展需要。

本次项目按照以下原则进行设计：

1、以系统的高可用性为原则。整个虚拟化平台的规划建设要满足高可用要求，包括服务器硬件、网络等方面不能存在单点故障风险。

2、以具备良好的扩展性为原则。虚拟化平台在规划和建设时，需要考虑其扩展能力，在计算资源和存储资源不足时，能够平滑进行扩展。

3、以确保安全性为原则。一是确保数据安全，出现单点故障不能出现数据损坏或丢失；二是确保网络安全，按照服务器的安全等级划分安全域，并且配置网络访问策略。

4、以技术先进性为原则。在技术路线选择和产品的选型方面，要充分考虑其技术先进性，能够代表当今技术的主流发展方向。

5、以技术可靠性为原则。在技术路线选择和产品的选型方面，要充分考虑技术的可靠性，选择技术成熟、运行稳定的技术方式。

6、以合理的性价比为原则，虚拟化平台的建设要结合公司信息系统的实际情况，合理制定建设方案，避免不必要投入。

7、以优先采用安全可控信息技术为原则。在能够满足项目需求的情况下，优先选择国产技术和产品。

2. 技术选型

公司数据中心基于VMware + FC SAN传统虚拟架构，生产环境整体架构已完全成型。本次计划以超融合架构替代生产环境基础架构，为避免造成现有系统运行发生风险，影响业务系统稳定运行，超融合架构在使用前须进行充分测试，且按系统级别逐个进行部署与切换。因此，公司联合集成服务商对传统架构和超融合架构进行了比较，并对各类超融合产品进行分析。

2.1传统架构和超融合架构的对比

传统架构和超融合架构通过可维护性、可扩展性、可靠性三个方面进行比较，具体比较情况见下表。

综合来看，超融合架构变革更多是基于分布式存储对传统存储的替代，结合虚拟化部署方式，实现基础环境的动态扩展、快速交付，进一步简化了IT架构，降低了使用成本和运维难度。分布式存储可以采用多副本机制，数据副本分散在不同的节点服务器，当一个节点数据出现损坏，其他节点仍可以提供服务，保障了数据安全性，维持了业务连续性。分布式存储也可以采用纠删码方式来保证数据的可靠性。相对三副本，EC数据冗余保护机制在提供高可靠性的同时也能够提供更高的磁盘利用率，比如4+2纠删码的利用率是66%，可用容量是三副本冗余的2倍。

2.2超融合产品选型

HCI厂商给用户提供的产品形态一般有两种：纯软件方案和一体机方案。采用超融合软件方案，用户可以基于超融合软件和自己选定的 x86 、ARM 等架构通用服务器硬件构建超融合基础架构；采用超融合一体机方案，厂商根据客户的需求和自身的产品策略，为用户提供的开箱即用一体机，超融合一体机 = 超融合软件 + 厂商选定并适配的x86 、ARM 等架构通用服务器。出于对中小企业减少采购成本和运维成本考虑，本次项目对2个商业化超融合产品和1个最受欢迎的开源超融合产品进行分析比较。

从简易部署、简便运维和软硬件统一管理的角度考虑，我司决定采用基于PVE超融合解决方案。PVE提供了近似VMware产品的企业级用户操作体验而在全世界范围内广受欢。PVE超融合在策略上，不采取平台锁定，实现了广泛的平台支持，不仅支持KVM、LXC等主流的虚拟化技术，还可以支持SAP HANA、Oracle、IBM DB2、Sybase等主流数据库平台。PVE提供了图形界面的安装方式和统一的管理界面，部署时间最短能降低到11分钟，更能方便地实现端到端的统一管理、配置和监控，实现一个管理界面管理所有软硬件资源。

3. 方案设计

3.1架构设计

图3.1 超融合数据中心架构图

超融合架构在数据中心承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力；通过简单、方便的管理界面，实现对数据中心基础架构层的计算、存储、虚拟化等资源进行统一的监控、管理和运维。

本次项目用于支撑企业数字转型核心应用的计算资源以及结构化数据存储平台和非结构化数据平台组成，核心系统已完全虚拟化，并且未来随着实验平台的不断发展，具有快速增长的特点，因此建议使用横向扩展架构的超融合系统；另外，我们还考虑了对重要数据的备份保护，备份中心建议采用多种不同数据保护机制相结合的方式，对于重要的核心数据库及应用，建议采用具有秒级保护的数据连续保护技术，而对于一般的应用则采用日常的备份即可。

本次方案建议采用PVE超融合基础架构构建企业私有云平台，通过SSD加速，采用EC纠删码技术存储虚拟机。按照每台虚拟机800G硬盘、内存32G、8核CPU，考虑平台冗余，整个超融合集群可部署大约36台虚拟机。建议配置4台全新通用服务器构建基础平台，每节点配置不少于48C CPU, 384GB内存，4个万兆网口，用于承载本次应用所需的虚拟机，为提升结构化数据的性能，共配置8块1.6TB NVMe SSD盘,用于对热点数据进行加速。每节点配置8块NVIDIA RTX A5000 24GB显卡，处理人工智能计算等应用程序。计算资源、数据存储与管理集中化这种模式有利于各项业务间的联动处理，并且有利于提高集约化管理水平，有效地降低成本。

3.2配置清单

3.3计算资源

虚拟机上运行着为各个用户和整个业务线提供支持的应用与服务，其中有很多都是关键业务应用，因此，用户必须正确设计、调配和管理虚拟机，以确保这些应用与服务能够高效运行。

Ø指导原则与最佳实践

u除非确实需要多个虚拟CPU (vCPU)，否则默认配置一个，使用尽可能少的虚拟CPU。操作系统必须支持对称多处理(SMP)功能。应用必须是多线程的，才能受益于多个虚拟CPU。虚拟CPU的数量不得超过主机上物理CPU核心（或超线程）的数量。

u不要规划使用主机的所有CPU或内存资源，在设计中保留一些可用资源。要实现虚拟机内存性能最优化，关键是在物理RAM中保留虚拟机的活动内存，应避免过量分配活动内存。

u资源池CPU和内存份额设置不能用于配置虚拟机优先级。资源池可用于为虚拟机分配专用CPU和内存资源。

u部署一个系统磁盘和一个单独的应用数据磁盘。如果系统磁盘和数据磁盘需要相同的I/O特征（RAID级别、存储带宽和延迟），应将它们一起放置在一个数据存储中。

u应用要求应作为向虚拟机分配资源的主要指标。使用默认设置部署虚拟机，明确采用其他配置的情况除外。

u为避免管理连接问题，应向每个主机分配静态IP地址和主机名。为便于管理，应为DNS配置每个主机的主机名和IP地址。

u确保数据中心有足够的电源和散热容量以避免服务中断。

u一致性包括CPU类型、内存容量和内存插槽分配、网卡和主机总线适配器类型，以及PCI插槽分配。

Ø计算资源规划

基于上述指导原则与最佳实践，结合XXX客户数据中心的实际情况，我们对计算资源进行如下的规划设计。

整体可用资源规划：

本次项目计划部署实施4节点超融合集群，考虑到集群冗余性机制，为避免集群节点故障造成的虚拟机故障：

3.4网络规划

带外管理负责服务器远程管理与配置，使用服务器自带管理端口，每台服务器一个端口，分配带外管理IP地址后，可远程控制。

两台管理交换机用于集群中各服务器间的数据交互，要求必须使用万兆以太网络接入，建议使用低交换延时以太网交换机。业务网络交换机间配置级联或堆叠，以实现链路冗余性。

管理平面用于管理集群各节点服务器，每节点使用两块千兆以太网口，分别连接两台管理交换机，两个接口组成bond，以实现链路冗余。

业务平面用于虚拟机对外提供访问，每个节点使用两块万兆以太网口，分别连接到业务网络的交换机上，两个接口组成bond，以实现链路冗余。

存储平面用于分布式存储内部通信，每个节点使用两块万兆以太网口，分别连接到两台管理交换机，两个接口组成bond，以实现链路冗余。

设备端口示意如下：

3.5存储资源

Proxmox VE 统一了您的计算和存储系统，也就是说，您可以将集群中的相同物理节点用于计算（处理虚拟机和容器）和复制存储。传统的计算和存储资源可以集成到单个超融合设备中。独立的存储网络 (SAN) 和通过网络附加存储 (NAS) 的连接消失了。通过集成开源软件定义存储平台 Ceph，Proxmox VE 能够直接在管理程序节点上运行和管理 Ceph 存储。

Ceph 是一个分布式对象存储和文件系统，旨在提供出色的性能、可靠性和可扩展性。Proxmox VE 上 Ceph 的一些优点是：

可以通过CLI和GUI轻松安装管理
支持快照
自动修复
容量最大可扩充至EB级别
支持多种性能和冗余级别的存储池
多副本，高容错
可在低成本硬件运行
无需硬件raid控制器
开源软件

本项目配置4台超融合主机，每个主机预留一个Ceph存储IP，用于不同主机间存储池网络流量。每台主机配置2块600GB SAS系统盘；采用SSD磁盘作为数据缓存，每台主机配置2块1.6T NVMe加速盘，提升超融合集群IO性能；每台主机配置8块4TB SATA数据盘，采用EC4+2冗余存储配置，去除虚拟化平台必要的存储开销，可供虚拟机使用的空间大概54T左右。

EC（纠删码）是提高存储系统数据可靠性的一项编码技术。写入的对象被拆分为 K 个数据块，然后编码生成 M 个校验块，总共 K+M 份数据通过DHT 算法分别存入不同硬盘中。当系统出现故障，丢失了某些块时，只要这个对象丢失的块数目不超过 M，就可通过数据恢复算法，将丢失的数据块从剩余的块中计算出来。在这种方式下，空间的利用率约为 K/(K+M)，数据的可靠性由 M 值的大小决定，M 越大可靠性越高。EC4+2相比EC2+1，虽然能容忍节点故障数量仍然是1个，但它可以允许2个节点分别有1块硬盘故障（总计2块硬盘故障）而数据不丢失。而实际情况下，硬盘故障的概率是远远低于整个节点故障的，所以EC4+2还是非常可靠的，在空间利用率上也远高于三副本，三副本的得盘约为33.3%，EC 4+2的得盘率约为66.6%。

存储池配置如下:

3.6备份容灾

备份在所有IT环境中都是一个非常重要的需求，Proxmox VE内置了一个完整的备份解决方案，能够对在任意存储服务上的任意类型虚拟机进行备份。

此外，系统管理员还可以通过mode选项在备份数据一致性和虚拟机停机时间长度之间进行取舍。

Proxmox VE目前只支持全备份 – 包括虚拟机/容器的配置以及全部数据。备份命令可以通过WebGUI或vzdump命令行工具发出。

根据备份对象的种类，有多种数据一致性模式（mode）可以选择：

虚拟机备份

·stop模式：该模式能提供最强的数据一致性保障，代价是备份过程中虚拟机要停机。该模式的执行流程依次是，停止虚拟机运行，后台执行Qemu进程备份虚拟机数据。备份完成后，Qemu进程将虚拟机恢复到备份开始前的运行状态。通过live backup特性可以保证数据一致性。

·suspend模式：提供该模式的唯一原因是兼容性。该模式首先会挂起虚拟机，然后执行snapshot模式。鉴于该模式会挂起虚拟机，导致虚拟机长时间停止运行，而同时并没有改进备份数据一致性，因此建议直接使用snapshot模式。

·snapshot模式：采用该模式虚拟机停机时间最短，代价是备份数据有可能不一致。该模式实际上采用的是Proxmox VE在线备份，也就是在虚拟机运行状态下复制数据。如果启用了guest agent（agent:1），该模式将调用guest-fsfreeze-freeze和guest-fsfreeze-thaw以改进数据一致性。

容器备份

·stop模式：备份过程中停止容器运行。该模式可能导致较长的停机时间

·suspend模式：该模式利用rsync将容器数据复制到一个临时位置（参看选项–tmpdir）。之后将挂起容器，并再次调用rsync同步复制之前复制过程中改变的文件。完成后将恢复容器运行。该模式下的停机时间较短，但需要额外的空间来保存容器备份。

当容器位于服务器本地磁盘，而备份目标位置在外部NFS/CIFS服务器上时，你应该设置—tmpdir将临时位置指定在本地磁盘上，这样能大大提高性能。此外，在将配置了ACLs的本地磁盘容器备份到外部NFS服务器上时，必须设置tmpdir为本地磁盘目录。

·snapshot模式：采用该模式需要底层存储服务的snapshot功能支持。首先，容器会被挂起以确保备份数据一致性。然后将为容器所在存储卷创建一个临时快照，该快照会被打包到一个tar文件。备份完成后，临时快照会被删除。

在进行备份前，首先要定义一个备份用存储服务。鉴于备份采用文件形式保存，备份用存储必须是文件级存储服务。大部分情况下，NFS服务器是备份存储的良好选择。备份虚拟机后，你可以进一步将相关文件保存在磁带上以用于离线归档。也可以调度方式执行备份操作，以便在指定的日期和时间自动备份指定节点上的虚拟机。调度备份的配置可在WebGUI中的数据中心配置界面进行，配置的调度任务会自动保存到“/etc/pve/jobs.cfg”文件中，该文件会被“pvescheduler”守护程序读取并执行。备份作业由日历事件来定义计划。

4. 实施经验

4.1分布式存储容量计算

1、多副本冗余方式

Ceph分布式存储大概容量=所有用于数据盘的磁盘容量总和/副本数，因分布式存储的元数据会占用一部分空间，实际的有效容量会比这个值小。

具体计算方法如下：

单盘的有效容量(TB) = (z0.91)*q/k

存储有效容量=单盘的有效容量*总盘数。

1) z=盘或SSD卡标称容量(TB)。其中盘或卡的标称容量z为GB时,需转换为TB(GB/1000)。

2) k=副本数，副本数为2副本或者3副本，根据实际项目配置进行计算。

3) q=磁盘空间利用率，该值固定为0.95。

2、纠删码冗余方式

Ceph存储池可得容量=裸容量*0.909（进制转换）*（1-预留比率）*冗余利用率。

1）冗余利用率：EC配置为N+M时冗余校验空间占比为M/（N+M）。

2）HDD盘按照需要按照每64K占用1K、非SAS SSD盘按照每64K占用4K进行扣除，NVMe SSD盘不占用。

4.2应用系统迁移

在切换到超融合环境后，需要将SAN存储的数据迁移到Ceph分布式存储上。为尽量减少切换带来的影响，可对应用程序、存储数据分别采用不同策略进行迁移。

SAN存储数据建议使用第三方工具进行迁移。例如Oracle Golden Gate，IBM Data Replication Management，可以实现在线不停机迁移数据。但是业务系统切换需要停机窗口，但是时间会很短。
对于应用系统程序，如系统架构不是很复杂、系统节点间关联性不强、节点数量不高的情况下，可采用重新在超融合部署应用系统程序，重新部署能比较好地兼容超融合环境，但整体迁移工作耗时会比较长。但面对规模比较大的系统迁移工作，还是采用迁移工具比较稳妥，例如Rainbow，可以降低整体业务的迁移时长，支持并发性迁移，多次数据同步功能保障数据一致性，同时支持迁移过程中数据加密传输，避免数据被窃取非法利用。
最好不要迁移与硬件绑定的业务系统。业务系统能用离线迁移尽量用离线迁移。迁移后，业务系统切换完，不要立刻删除原系统资源，以便回退操作。为保障迁移保证数据完整性，业务验证需要业务应用厂商支撑。

5. 总结

超融合基础环境部署实施后，相关系统虚拟机及数据也已顺利切换到超融合平台，当前业务运行平稳。在基础环境运维效率、基础资源利用率、业务连续性等方面得到了显著提升。

其主要体现在以下几个方面：一是空间资源集中化，最大化减少空间占用；二是运维管理统一化，一个界面统一软硬件管理；三是交付便捷化，大幅压缩了从设计到交付的周期；四是数据安全提升，多副本、跨节点备份的方式实现了数据的可靠性提升。

来源：Pop3D

下载链接：

数据中台架构及业务场景方案

天翼云智能超算解决方案