电力大数据高速存储及检索技术应用_林翰.pdf

Application 创新应用244 电子技术 第 52 卷 第 6 期（总第 559 期）2023 年 6 月输数据的效率；而Chunk Server服务器的主要作用则是存储具体的数据，且所有的数据都能通过文件的形式存储于该服务器上，在很大程度上增强了系统的兼容性，Chunk Server服务器数量越多，云存储系统的规模也就越大；客户端的存在使服务器具备了为外部数据提供存储窗口和访问路径的功能，通常被安装于Chunk Server服务器上。服务器就能同时具备存储服务器和客户端服务器的功能，可实现管理每一个客户端节点的监管系统，对设备运行状态、磁盘运行状态、服务在线情况以及异常告警等均能实现实时在线管控。这种分布式系统优越性在于可以在不增添硬件设备的同时，通过增加Chunk Server服务器小规模拓展系统存储空间。电力大数据高速存储一体机中所有的节点都是采用网络连接，并采取自适应副本管理技术提升系统的容错能力，为了方便用户端访问云存储系统，本设计还将所有的存储节点都设置了对外服务功能，用户可以通过增加或减少存储节点在线伸缩存储系统。高速存储一体机的优异性。电力大数据高速存储一体机的优异性能主要表现在以下三个方面：（1）在对系统中的节点进行增减时，系统可以正常运行。本设计采用的是可在线增减存储节点的方式，使得元数据节点、存储节点等可以通过注册管理机制自适应管理，自动完成节点伸缩业务。并且系统可提供24h不间断存储服务，有效解决了传统存储模式中存在的扩容流程烦琐的问题。（2）本0 引言随着电力行业信息化、网络化、自动化以及智能化水平的不断提升，电力生产、传输以及使用等环节产生的数据信息也在持续增多，使得传统电力数据管理系统中存在片面性、滞后性以及盲目性等弊端逐步显现出来，极不利于海量大数据的传输和储存，因此，急需增强电力数据管理系统获取数据、存储数据以及利用数据的能力。1 电力大数据高速存储一体机技术路线 电力大数据高速存储一体机研发思路及步骤。电力大数据高速存储一体机针对智能电网海量数据存储需求，以当前领先的大数据处理技术为基础，结合分布式存储理论与并行计算理论，将开源软件Hadoop分布式并行框架移植到嵌入式ARM-Linux硬件上，设计分布式海量数据存储技术架构，构建海量数据存储一体机原型系统。电力大数据高速存储一体机技术架构。本文所介绍的高速存储一体机文件系统采用的是分布式存储机制，该机制可实现将数据分散存储在多台独立的存储服务器上。同时运用元数据管理服务器(Master Server)、数据存储节点服务器（Chunk Server）以及客户端节点结构组建虚拟的海量存储卷。其中，Master Server服务器的作用是保存系统的元数据，负责对整个文件系统的管理，该服务器采用的是主备双机镜像方式，使系统可以处于24h不间断运行的状态；有效提升了系统采集和传作者简介：林翰，国网信通亿力科技有限责任公司；研究方向：计算机技术。收稿日期：2022-09-19；修回日期：2023-06-12。摘要：阐述一种满足大数据环境下电力数据存储和检索需求的管理系统和核心技术，包括电力大数据高速存储一体机技术、海量检索系统技术、流计算即时处理系统技术。关键词：大数据，数据存储，数据检索，流计算。中图分类号：TP333，TP315文章编号：1000-0755(2023)06-0244-02文献引用格式：林翰，陈矗.电力大数据高速存储及检索技术应用J.电子技术,2023,52(06):244-245.电力大数据高速存储及检索技术应用林翰，陈矗（国网信通亿力科技有限责任公司，福建 350007）Abstract This paper describes a management system and core technology to meet the requirements of power data storage and retrieval in the Big data environment,including power Big data high-speed storage all-in-one machine technology,massive retrieval system technology,and stream computing real-time processing system technology.Index Terms big data,data storage,data retrieval,stream computing.Application of High-speed Storage and Retrieval Technology for Power Big DataLIN Han,CHEN Chu(State Grid Xintong Yili Technology Co.,Ltd.,Fujian 350007,China.)Application 创新应用电子技术 第 52 卷 第 6 期（总第 559 期）2023 年 6 月 245设计采用了数据流与控制流相分离的技术，每个存储节点都具备了对外提供数据访问服务的功能，系统的吞吐量随着节点的增加而增强，只需要通过拓展系统规模的方式就能增强系统存储数据的能力。（3）本系统运用自动均衡负载技术，可根据节点空间使用情况将负载、用户端流量等均衡分布到不同的存储服务器和存储节点上，为过用户并发快速访问系统提供了便捷的渠道。2 电力大数据海量检索系统技术路线电力大数据海量检索系统研发思路及步骤。电力大数据海量检索系统的研究思路为：针对智能电网分布式高速检索需求，运用开源分布式并行计算搜索框架，参照国内外已有的开源搜索引擎技术要点及应用现状，结合分布式搜索理论，梳理分布式并行计算搜索处理流程，形成以分布式并行计算为核心的架构设计，设计电力大数据海量检索原型系统，以满足智能电网对海量电力数据环境下的高速信息检索要求。电力大数据海量检索系统技术架构。电力大数据海量检索系统运用到的核心技术为Nut搜索框架，该框架属于Lucene+Hadoop分布式并行计算框架，可24小时在线索引千G以上的数据信息，在不考虑服务器资源的情况下，该框架处理搜索请求的速度能达到能每秒处理100万次。同时还具有横向或纵向拓展Nut设计的功能。具体搜索流程为：（1）Nut分别包含了Index、Search、C1ient、Cache以及DB五部分，其中Cache实现了对memcached的支持，DB实现了对hbase和mongodb的，Client则是处理用户请求和排序搜索结果的核心模块，Search负责检索用户请求，高模块负责防止搜索引擎，而DB模块负责存储数据，有效地将索引功能与存储功能分离开。Cache模块主要用于缓存搜索条件和搜索结果文档的ID。（2）根据文档ID进一步确定DB模块存储的数据和Client模块排序后的搜索结果。用户发出搜索请求后，由Nut Client模块构建搜索请求集群，并根据搜索条件读取DB模块缓存的数据；当无法从DB模块找到满足搜索请求的数据时，系统将会自动随机选取新的搜索服务器组(Search Group i),并将查询条件发送给不同的搜索服务器，再由搜索服务器将结果反馈给Nut C1ient模块重新排序，取出满足搜索请求的文档ID，重复操作从DB模块读取数据的指令。电力大数据海量检索系统的优异性。Nut分布式并行计算的优异性主要表现在以下几个方面：（1）Nut分布式并行计算虽然也是以M/R模型为基础构建的，但是与传统的与Hadoop M/R模型却存在着加大的差异。例如，在Hadoop M/R模型中，Mapper模块与Reducer模块同属于一个完整的流程，两者只有相互协作才能实现数据检索工作。但是，数据源在经过Mapper模块是，又会消耗大量的I/0在很大程度上限制了Hadoop M/R并发计算的能力。而Nut M/R 模型则是将Mapper模块与Reducer模块设置为相对独立的区域，使索引和搜索服务器均能独立完成数据检索工作，从根本上增强了系统并行计算的能力。（2）运用多组索引服务器搭建检索框架，使系统具备了每秒处理100万个搜索请求的能力，在很大程度上提升了系统处理搜索请求的能力和效率。3 电力大数据流计算即时处理系统技术路线电力大数据流计算即时处理系统研究思路与方法。针对智能电网海量电力数据的实时流式计算处理需求，重点研究分布式高速检索及实时流计算技术，参考国内外成熟的流式计算系统，结合分布式计算及实时响应要求，设计电力大数据流计算即时处理系统，以保证智能电网流数据不断变化的运动过程中实时地进行分析。电力大数据流计算即时处理系统技术架构。流计算即时处理最重要的一个需求是能够实时响应计算结果，一般要求为秒级，所谓流式数据是指将数据看作是数据流的形式来处理。数据流则是在时间分布和数量上无限的一系列数据记录的集合体；数据记录是数据流的最小组成单元。例如，对于大型网站而言，活跃的流式数据非常常见，这些数据包括网站的访问PV/UV、用户访问了什么内容，搜索了什么内容等。实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流量的变化情况，分析每天各小时的流量和用户分布情况，这对于大型网站来说具有重要的实际意义。电力大数据流计算即时处理系统的优异性。对于现在大量存在的实时数据，例如股票交易的数据，这类数据实时性强、数据量大、没有止境，传统的架构并不合适。流计算就是专门针对这种数据类型准备的。在流数据不断变化的运动过程中实时地进行分析，捕捉到可能对用户有用的信息，并把结果发送出去。4 结语搭建电力大数据高速储存系统，能进一步推动电力企业营销模式的转型升级，促使其营销管理中心从市场管理转变为数据管理，实现了数据内容向生产资料转变。参考文献1 邓丽芬,黄名磊.电力信息大数据高速存储及检索关键技术研究J.电子技术与软件工程,2014(17):219-220.2 孟祥君,季知祥,杨祎.智能电网大数据平台及其关键技术研究J.供用电,2015,32(08):19-24.