2023年云计算技术在计算机数据处理的应用.docx

云计算技术在计算机数据处理的应用 ：大数据及云计算信息技术的不断进展，使得不同行业都开头借助于云效劳器、后台数据库，进行网络海量数据资源的虚拟化处理、分布式计算、并行计算处理，以实现对多源数据的高效搜集、统计处理与存储。该文从云计算的Hadoop架构、SOA效劳体系、数据挖掘、分布式计算和HDFS存储等技术着手，探讨将多种云计算技术，应用到海量数据信息处理中的实施策略，来为网络大数据效劳系统的正常运转供给保障。 关键词：云计算技术；计算机；数据处理；应用 移动互联时代下的数据处理，面临着数据信息的海量化、实时化、低质化，如何对多种网络数据资源进行快速筛选、准时处理与分类存储，成为各企业网络数据信息传输、业务处理的主要逆境。因而引入大数据及云计算技术，依托云效劳器、数据中心交换机、后台数据库等硬件设备，对广域网或局域网内的数据资源，进行采集、处理、分析与存储，将数据处理结果发送至客户终端设备进行显示，实现对计算机数据的实时掌控与应用。 1云计算技术的主要内容及其与计算机数据处理的关联性 1.1大数据及云计算技术的内容概述 “云计算〞是美国国家标准与技术争辩院提出的概念，其作为一种分布式计算技术，主要依据不同客户的数据资源处理需求，通过网络“云〞将巨大的数据计算处理任务，分解为一个个小的数据计算任务，在多个后台效劳器上进行数据处理、分析的工作执行。特殊随着虚拟化技术、并行计算技术的快速进展，网络云计算平台也开头将多种软硬件虚拟化，包括网络通信接口、效劳器、存储模块等的虚拟化。之后利用虚拟化计算机，进行虚拟系统多个主节点、从节点的任务支配，来完成数据资源的配置、处理与存储工作。因而现阶段云计算技术根底架构，通常由SOA效劳体系、物理资源层、资源虚拟化层、用户与映像管理层等层级组成，具体如图1所示。图1云计算技术根底架构1〕SOA效劳体系层。SOA效劳架构主要为不同应用程序的功能效劳，供给相应的网络通信协议、效劳接口，通常包含效劳接口、效劳注册、效劳查找、效劳访问、效劳工作流等组件。依据网络应用组件的粗粒度、调用需求，对多个分布式的效劳模块进行封装，再通过相应面对对象的定义接口，供给客户需要的Web效劳。2〕映像管理层。映像管理层是对不同客户权限恳求、虚拟资源管理的层级，包含用户管理、映像管理、资源管理等平安管理等内置组件。其中用户管理负责对用户访问权限、数据处理恳求等进行管理，映像管理层那么用于任务映像建立、映像排布与映像库管理，把握后台效劳器端、客户终端之间的映像周期。而虚拟资源管理，主要是对虚拟计算机负载状况的监测、统计，以保障数据资源处理过程中的虚拟机负载均衡。3〕资源虚拟化层。资源虚拟化层是在物理资源层的根底上，依托网络计算机、存储器和数据库等硬件，构建起存储资源池、计算资源池、数据资源池等虚拟模块，为后台效劳器中硬件资源的虚拟化供给支持。而硬件资源虚拟化层，在收到客户端数据处理的任务恳求后，会向其支配相对应的数据在云计算根底架构中间的任务管理层，会在收到用户相应的任务恳求后，将与之匹配的虚拟资源。 1.2云计算技术与计算机数据处理的关联性 网络大数据信息传输环境下，不同企业局域网内的海量计算机数据处理，通常具有数据资源海量化、多元化与低质化的特征，且各种数据之间存在着紧密的关联性。因而如何对不同网络平台的计算机数据、业务效劳等，进行更为实时高效的采集、分类、预处理、处理分析与存储，成为计算机数据处理系统面临的主要难题。而云计算作为一种分布式计算、数据分类管理技术，其通常可以借助于云计算管理平台、Hadoop分布式架构、后台效劳器等软硬件，在计算机任务恳求访问把握、数据资源共享，以及数据信息搜集、分析、处理与存储过程中，负责多种虚拟化资源的配置、数据任务支配、信息处理工作。通常云计算数据信息处理平台，包括平台即效劳、软件即效劳、根底架构即效劳等效劳类型，其中根底架构层为云计算平台的最底层，包含大量的云效劳器、存储器、后台数据库等硬件。而Hadoop分布式数据处理架构，存在于平台即效劳层级，主要负责明细数据的汇总(Collect)、(Map)、归约(Reduce)，对某一类型某一数据进行规章映射、归约效劳，并动态支配虚拟主机主节点、从节点的处理任务。最终，软件即效劳层级，那么为面对软件开发的效劳类型，通过不同主节点中虚拟化运算模块的支配，对相关的计算机数据处理任务，做出按需匹配。来为客户终端的Web远程访问、数据资源处理与把握管理的工作供给支持。 2计算机数据处理中的云计算关键技术 2.1数据挖掘技术 数据挖掘技术是从大量网络数据资源中，快速找到自身需要的有效数据信息的技术，这一技术是对网络原有数据资源的深度加工与开发。当下对于局域网中计算机数据信息处理，通常围绕海量化、简洁程度高、关联性差的数据资源，对其中存在的有价值、关联性数据内容进行挖掘，包括数据收集、数据预处理、数据清洗、数据变换、数据挖掘等执行流程，通过数据挖掘技术强大的运算、筛选、整合力量，才能从浩大的数据库中查找到有用数据资源，将其提取至相应的数据仓库库来完成存储管理。这里数据挖掘的预处理技术，主要实行均值法、平滑法和猜测法等方式，对网络中错误率、冗余度、重复率高的数据信息，进行空值、噪声等的主动过滤处理。如接受均值法的数据挖掘预处理技术，其计算公式为Ci＝(i-1)∑(i-k)Cj|K，是对数据全部属性的均值作出处理，然后依据既定规律进行数据排布，，整理出的数据处理结果最接近于真实状况。 2.2分布式计算技术 分布式计算包括Agent技术、Webservice技术和中间件技术等，主要将步骤简洁的数据处理问题，分解为假设干个并行处理应用效劳，在计算机虚拟化硬件资源中，完成多种数据资源处理任务的执行工作。这一虚拟化系统的联合信息处理过程中，通常存在多个节点，不同节点负责不同分布式任务支配、资源调度活动，可以将单个任务的数据处理支配给多个虚拟机，对于数据批量处理的效率较高，往往被用于多线程的数据信息处理执行中。 2.3HDFS存储技术 HDFS云计算数据存储文件系统，是以分布式形式对数据进行存储，该系统囊括多种数据管理节点、存储节点。其中HDFS框架的中心效劳器为Namenode，在客户端的数据文件访问过程中，主要通过Namenode管理系统对数据信息做出访问把握。而且HDFS云计算存储系统底层，会自动分割已创立的名目文件，生成便于存储的Block数据文件，来完成对不同数据资源的处理与存储。 3云计算技术在计算机数据处理中的应用流程争辩 3.1数据采集 基于云计算技术的海量数据处理系统，通常包含数据采集、数据判比、数据读取、数据分析、信息互通等模块，具体组成架构如图2所示。其中数据信息采集模块，主要用于局域网内海量的计算机数据信息、文档信息采集。当前在不同企业数据资源采集方面，通常涉及财务数据、产品数据、经营数据、商贸数据、销售数据等，对于大量临时文件信息、文档信息或日志信息的采集，要保证信息来源的精确     性。 3.2数据处理 在完成数据信息采集后，对网络计算机一周内存在的数据资源进行处理，设置时间系数为Q、负荷系数为W、缓存系数为E。以企业财务数据信息的搜集与处理为例，当海量数据资源上传至云效劳平台后，其在虚拟化资源池中的处理时长，分别设定为一、二、三的时间等级，依次对应时间系数Q的A1、A2和A3预设值。而虚拟化硬件设施在不同工作时长下，分别对应的负载系数W，依次为B1、B2和B3；云计算平台的数据资源缓存量，也分为高量级、中量级和低量级，分别对应着缓存系数E的C1、C2和C3预设值。之后依据不同等级，依次设置不同数据处理过程中，虚拟化资源池使用程度的权重，支配预设值q、w和e，且q﹤w﹤e。那么利用云计算效劳平台的数据处理公式为：R=Q·q+W·w+E·e再将以上数据处理后的结果，传输至数据判比模块。判定云计算数据处理的系数R，与预设值r之间比拟状况。在满足R≧r状况下，生成云计算任务处理的过度使用信号，否那么生成正常使用信号，并将最终信号传输至数据分析模块。 3.3虚拟化资源任务调度 整个云计算任务调度的流程，需要将m个任务Task，调度到n个Resources进行任务执行。由于云计算数据处理的动态异构性，在NP-hard目标函数下的虚拟化资源任务调度。只能得到约束条件内的最优解。设置任务执行时间为TET(TaskEx8259;ecutionTime)，那么第i个任务在第j个资源中的执行时间为：ETC(i,j)=starttime(j)+TET(i,j)。全部数据处理任务在虚拟化资源集合Resources中的完成总时间为：T=Min{C1，C2，C3...Ci}。 3.4数据分析 当把握器接收到数据分析模块的传输信号后，把握器与指示灯之间形成通信，把握指示灯开头闪烁。从把握读取模块中，提取出一周内数据信息处理，存在的云效劳器、存储器、后台数据库等硬件占用率，依次标定为Ti、Yi和Ui。最终，将不同硬件占用率的平均变化量值，与虚拟化资源支配的预设值t、y和u进行比拟，得出数据处理过程中，特殊客观精确     的云计算平台使用程度结果。 参考文献： 〔1〕陈栋栋.云计算技术在计算机数据处理中的应用与进展对策探究〔J〕.现代信息科技,2023,3(18):116-118. 〔2〕杨洋.云计算技术在计算机数据处理中的应用〔J〕.数字通信世界,2023(9):206. 〔3〕崔瑶.云计算技术在计算机数据处理中的应用—评云计算：概念、技术与架构〔J〕.中国科技论文,2023,14(7):822. 〔4〕杨秋红.云计算在计算机数据处理中的有效性争辩〔J〕.信息与(理论版),2023,32(24):156-157. 〔5〕郑洋.云计算技术在计算机网络平安存储中的应用〔J〕.无线互联科技,2023,16(10):24-25. 廖宇翔 单位：山西万合佳宜科技