基于超融合云平台的数字化中心建设_魏伟.pdf

铜业工程 COPPER ENGINEERINGTotal 179No.1 2023总第179期2023年第1期引文格式引文格式：魏伟,涂延安.基于超融合云平台的数字化中心建设J.铜业工程,2023(1):172-177.基于超融合云平台的数字化中心建设魏伟，涂延安（江西铜业股份有限公司贵溪冶炼厂，江西 贵溪 335424）摘要：云计算是一种新兴的商业计算模型，其优势在于融合了整个数据中心堆栈，包括计算、存储、存储网络的虚拟化，使得部署简单、运维简易、管理安全，最终达到降低成本、提高系统性能及IT团队效率的目的。通过低能耗云终端+桌面云服务器方案来构建基于超融合的云计算平台，可以实现对数字化中心的自动管控、数字化业务平滑迁移、云上云下资源的统一管理、统一监控。在贵溪冶炼厂智能工厂建设的多个重点项目当中，超融合云平台技术已经得到了初步应用，并打造了诸多智能制造场景，取得了各项技经指标均有明显提升的良好效果。本文将简要介绍超融合云平台技术，以及运用此技术打造新一代数字化中心的建设思路。关键词：数字化中心；云平台；超融合；云存储；VirtIO技术doi：10.3969/j.issn.1009-3842.2023.01.025中图分类号：TP399 文献标识码：B 文章编号：1009-3842（2023）01-0172-061 引言在传统的计算机系统中，应用和资源是紧密耦合的，使得整个系统架构缺乏弹性；遇到整体架构复杂、设备种类众多时会导致业务部署缓慢，资源浪费严重等问题。1-2超融合云平台技术采用全分布式系统架构，来构建可弹性扩展的计算和存储资源池，并基于云主机HA、故障域、冗余架构设计等多重保障机制，克服了传统计算机系统的诸多瓶颈，基本可以全方面满足新一代数字化中心建设的需求。新一代数字化中心建设的目标是运用超融合云平台虚拟化技术来提升数字化中心资源的利用率，为企业IT系统提供稳定、可靠和安全的运行环境，进一步提升企业的信息化水平。通过构建统一的运维管理平台对数字化中心业务、网络、安全等进行全方面监控，并及时通过短信/邮件对发现的异常、故障等进行实时告警，实现数字化自动管控；构建可以随需扩容的硬件资源池，让后期的新业务部署开展更加便捷；通过分布式架构，构建一个高可靠性的数字化中心，可多维度保护数据与业务的安全性、稳定性3 ；通过低能耗云终端+桌面云服务器的方式，将员工PC机迁移到数字化中心的服务器上，员工可通过瘦终端直接访问自身主机，从而降低 PC机硬件成本、提高管理效率4。在使用超融合云平台技术的同时，可以降低数字化中心的整体能源消耗，进一步为企业节约运营成本。2 总体设计2.1总体设计目标遵循以应用系统为核心的设计原则，并基于模块化和场景化，做到不同场景的应用与基础物理架构松耦合，来保障应用的便捷扩展和迅捷上线。使用企业级云产品，并基于统一的X86架构，采用典型的产品规格来进行设计，部署简单，运维简易，管理安全，可为制造业新一代数字化中心建设提供可靠保障。通过实行企业级云解决方案，来缩短业务上线周期和提高运维效率。2.2总体设计原则通过模块化设计，将业务与IT基础架构解耦，使得整个业务扩展更加简单方便。当硬件设备遇到瓶颈，可以通过添加X86服务器虚拟技术虚拟出所需的硬件系统，使扩容业务得以顺利进行；在高可靠性方面，需要通过硬件冗余部署来避免单点故障；在存储层面，则可以通过分布式架构和多副本技术为数据提供高可靠性部署；在业务层面，通过 HA 机制、容灾备份等方法提供业务的快速恢收稿日期：2022-07-28；修订日期：2022-10-21基金项目：江西省03专项及5G项目（2019ABC03A032）资助作者简介：魏伟（1981），男，江西南昌人，本科，工程师，研究方向：计算机控制，E-mail：复；在计算、存储和网络等方面，要着眼长远，前瞻设计，为企业未来业务的增长预留充足的空间；在安全方面，要结合国家对企业安全建设提出的更高要求和相关政策法规，以及企业自身的安全现状和制订的相关规章制度，提供合标的咨询服务和安全建设方案。2.3总体逻辑架构设计数字化中心在逻辑上分为两个层面：一层是云基础架构层面，通过超融合技术，采用X86服务器和二、三层交换机，以完全软件定义的方式实现云基础架构；另一层是云管平台，实现底层云基础架构和上层应用的相互融合。同时，通过服务化接入COC统一运营/运维平台，实现云上云下资源的统一管理、业务平滑迁移、数字化中心的统一监控。总体架构设计见图1。通过企业级云管理平台可以对资源池基础架构进行全面的管理，实现应用迁移、全局可视、一键故障定位以及资源的部署；当业务需求提升，可以通过Vmware构建的虚拟化资源池升级更多的服务，包括新增DCS系统管理、多级流程审批等5-6。同时，可以通过多数字化中心的容灾方案为业务连续性和数据可靠性提供更坚实的保障。具体服务组成见表1。3 云平台设计方案3.1功能设计3.1.1业务备份设计将虚拟机备份到其他存储，当集群环境中业务主机出现故障时，可以将备份存储中的虚拟机快速部署运行起来，使业务主机迅速恢复正常的运行状态。3.1.2运维管理设计数字化中心将根据实际需求，对管理人员进行分级管理，不同级别的管理人员具有不同的管理与访问权限。分级分权中不同级别的用户应该按照企业组织架构的实际情况进行划分，将保留IT部的系统管理员角色。3.2云计算服务器方案3.2.1VirtIO优化VirtIO 可以通过软件兼容不同硬件设备的驱图1数字化中心总体架构Fig.1Overall architecture of digital center表1数字化中心服务组成Table 1Service composition of digital center172魏伟等 基于超融合云平台的数字化中心建设2023年第1期复；在计算、存储和网络等方面，要着眼长远，前瞻设计，为企业未来业务的增长预留充足的空间；在安全方面，要结合国家对企业安全建设提出的更高要求和相关政策法规，以及企业自身的安全现状和制订的相关规章制度，提供合标的咨询服务和安全建设方案。2.3总体逻辑架构设计数字化中心在逻辑上分为两个层面：一层是云基础架构层面，通过超融合技术，采用X86服务器和二、三层交换机，以完全软件定义的方式实现云基础架构；另一层是云管平台，实现底层云基础架构和上层应用的相互融合。同时，通过服务化接入COC统一运营/运维平台，实现云上云下资源的统一管理、业务平滑迁移、数字化中心的统一监控。总体架构设计见图1。通过企业级云管理平台可以对资源池基础架构进行全面的管理，实现应用迁移、全局可视、一键故障定位以及资源的部署；当业务需求提升，可以通过Vmware构建的虚拟化资源池升级更多的服务，包括新增DCS系统管理、多级流程审批等5-6。同时，可以通过多数字化中心的容灾方案为业务连续性和数据可靠性提供更坚实的保障。具体服务组成见表1。3 云平台设计方案3.1功能设计3.1.1业务备份设计将虚拟机备份到其他存储，当集群环境中业务主机出现故障时，可以将备份存储中的虚拟机快速部署运行起来，使业务主机迅速恢复正常的运行状态。3.1.2运维管理设计数字化中心将根据实际需求，对管理人员进行分级管理，不同级别的管理人员具有不同的管理与访问权限。分级分权中不同级别的用户应该按照企业组织架构的实际情况进行划分，将保留IT部的系统管理员角色。3.2云计算服务器方案3.2.1VirtIO优化VirtIO 可以通过软件兼容不同硬件设备的驱图1数字化中心总体架构Fig.1Overall architecture of digital center表1数字化中心服务组成Table 1Service composition of digital center组成架构业务应用层企业级云管理层超融合基础设施数字化中心服务DCS系统数采系统、数模系统、ERP、贵冶NB-loT系统等应用迁移、全局可视、一键故障定位、新增DCS系统管理、多级流程审批等计算机虚拟化、存储虚拟化、网络虚拟化、安全虚拟化173总第179期铜业工程Total 179动，包括一些老旧不常用设备，而且它不用修改客户机的操作系统，就可以实现设备在客户机中的正常工作。VirtIO原理如图2所示。VirtIO是一种半虚拟化的设备存在方式，通过在虚拟机中安装性能优化工具而获得。因超融合云平台的松耦合架构，对于VirtIO的优化显得更加容易，且能挖掘出更大的性能极限。对于VirtIO的优化方案是将Qemu模拟的部分硬件下移到Hypervisor，即 Linux Kernel 中，缩短它的 IO 操作路径，降低上下文切换频率，达到性能提升的目的；VirtIO可用于优化存储、网卡等硬件设备性能；通过优化，可将虚拟磁盘、虚拟网卡的IO、吞吐性能大幅提高，还能够使用内存气泡功能进行内存的合理回收；通过对VirtIO优化可以极大地提升虚拟机对虚拟磁盘镜像的IO能力。3.2.2NUMA计算性能优化由于企业中有部分业务需要频繁访问内存，如Oracle、SQL Server数据库等业务。如果计算机性能不能满足这些业务的访问需求，将导致系统运行卡顿、滞后。超融合平台提供了 NUMA绑定技术，能够很好地提升计算性能，更好地承载多业务频繁运行对系统的更高要求。关于NUMA的优化就是尽可能地让CPU访问本地内存。虚拟机所需vCPU在物理机上的调度完全是随机的，除了分配不均造成物理架构的远程内存访问过多之外，还会导致频繁切换，使性能发挥不稳定。在超融合平台中，qemu模拟出的虚拟节点是绑定在某颗物理CPU上的，对应的内存同样绑定在该CPU的本地内存中，使其与物理架构相对应，在物理上也尽可能地使CPU访问本地内存。3.2.3KSM内核同页合并技术当多个虚拟机并行运行一个业务时，存在多虚拟机共享同一个内存页，每个虚拟机开辟一块内存空间存放这部分数据，将造成内存的极大消耗和浪费。超融合平台提供KSM（Kernel SamePage Merging，内核同页合并）技术，把相同的内存页合并，减少内存的浪费，让物理主机中更多的虚拟机运行流畅。3.3云存储虚拟化方案3.3.1自适应条带化技术条带化技术就是将一块连续的数据分成很多小部分，并把他们分别存储到不同磁盘上去。经过条带化处理的数据可以并列写入到三块磁盘，而未经条带化处理的数据每次只能写入到一块磁盘中，因此数据经过条带化的写入性能约是未经条带化的写入性能的3倍。aSAN默认的条带数会根据当前的存储卷结构进行自适应管理。为了保证最优的I/O性能效果，条带数的默认不会超过存储卷中任意一台物理主机上的数据盘个数。在满足该前提条件下，aSAN 默认的条带数被设为 6。而当存储卷中存在任意一台物理主机上的数据盘个数少于6个时，aSAN默认的条带数将被设为最小的数据盘个数的值。aSAN的条带数是支持自定义的，最大值可以被设为12，但前提是条带数不超过存储中任意一台物理主机上的数据磁盘个数。3.3.2数据分层技术分层（Tier）是aSAN缓存系统中最主要的性能层。分层的核心思想是：虚拟机的写操作可以直接、快速地写入到分层中，从而大幅减少写I/O造成的延迟现象并提升写入速度。此后再将分层上的数据回写到容量层的HDD中，从而释放出分层上的空间用于后续的写操作。虚拟机的读操作尽可能地直接从分层中读取，无需从容量层的HDD中读取，从而减少读I/O的延迟。3.3.3多副本技术多副本技术是将数据保存多份的一种冗余技术，由 aSAN 的副本复制模块来保证副本的一致性。上层不感知底层管理副本的存在，副本对上层服务是透明的。图2VirtIO原理Fig.2VirtIO principle174魏伟等 基于超融合云平台的数字化中心建设2023年第1期3.4网络虚拟化方案3.4.1网络高可用当集群leader故障，可以自动推选主控，aNET管理面可以在集群主控中重新拉起，继续管理 aNET控制面和数据面。同时，管理面使用集群文件系统，主控发生故障无法恢复，集群文件系统通过多副本的方式保存在其他节点上。经过主控选举后，aN