智能电网设备监控运行大数据平台总体设计_邢智辉.pdf

第 卷第期 年月 收稿日期：作者简介：邢智辉（），男，黑龙江哈尔滨人，学士，高级工程师，研究方向为电网继电保护运行管理。智能电网设备监控运行大数据平台总体设计邢智辉（国网黑龙江省电力有限公司，黑龙江 哈尔滨 ）摘要：为了应对智能电网电力设备数量多、分布广而带来的设备运行维护监管难度大的问题，基于物联网、云计算和智能终端等新技术的应用，结合电力设备运行管控的基本特征，应用大数据分析处理技术设计了一种智能电网设备监控运行大数据平台，并在某省级电网的电力设备监控管理中进行了示范应用。实际应用结果表明，智能电网设备监控运行大数据平台实现了电力设备监管、运行数据采集、故障预警和故障诊断的自动化和智能化，能够有效解决电力设备运维安全问题，提高电力设备的安全管理水平。关键词：智能电网；设备监控；大数据；物联网；云计算；安全管理中图分类号：文献标志码：文章编号：（）（，）：，：；引言随着智能电网的快速发展，电网的拓扑特征以及对应的运行方式复杂程度日益提高，接入电网的设备数量也在大幅增加，传统的基于人工的电网设备监控运行方法已不再能够满足智能电网的发展需求 。构建智能电网设备监控运行大数据平台，能够对电网设备数据进行采集、存储、管理、分析和处理，进而能够获取设备的实时运行状态以及其他业务应用功能，有效支撑智能电网设备的安全稳定运行 。智能电网环境下的电力设备运行数据不仅包含设备正常、故障运行下的基本状态信息，同时还包含设备的气象、环境监测数据，该类海量数据组合在一起形成了设备数据集。目前，上述设备数据存在的问题 包括：接入电网的设备数量多，平台 （）需存储和处理海量的设备运行数据；对海量多源异构数据进行分析的效率和处理时间提出了更高的要求；复杂的数据多时序和多维度属性，电网设备分布在不同的位置且不同时刻的运行状态不一致。针对上述问题和挑战，且鉴于物联网、云服务等新一代技术在智能电网大数据平台方面的广泛应用 。本文基于物联网、云服务平台，对智能电网设备监控运行大数据平台进行分析和设计。大数据平台技术应用 电力物联网电力物联网主要由安装在电网设备的智能终端、新一代通信技术、云服务平台处理技术和各种设备软件应用构成。在电力物联网系统中，安装在多种电力设备的多类型传感器对设备的运行状态以及基本故障信息进行实时数据采集和处理，通过光纤通信、以及 等网络，实现电力设备到云服务平台的连接并对数据进行实时传输。在云平台服务后端，对采集的数据进行存储，并采用人工智能算法来分析和处理存储数据，并通过智能移动终端或者三维可视化技术对数据处理结果以文字、图表或声音等形式进行展示，实现电力设备云服务平台到设备终端的连接和数据实时传送。利用电力物联网技术可实现电力设备安全稳定运行的监测和运维，使得人与电力设备实现了人与人、人与物以及物与物之间的信息融合和交互。电网设备大数据智能电网设备监控运行大数据主要是从采集的海量设备数据中提取基本规律，不用搭建复杂的机理模型，因此，大数据分析能够揭示电网设备之间以及设备与电网运行之间的关联关系，并对设备的故障信息以及故障发展过程进行分析，进而能够快速、有效地实现当前电网设备故障的预警和诊断。同时，利用基于人工智能和统计分析的数据挖掘方法来提取智能电网设备的基本运行态势，从多层次、多视角以及多维度等方面对智能电网设备的运行状态进行全方位的统计和分析，可有效提升智能电网设备状态评估的精度、可靠性和智能化水平。电力云计算技术电力云计算技术是基于电力物联网相关技术的增加，与电力物联网相结合构成了云服务平台，云服务平台以云存储技术为核心，可实现多类型设备多源信息的融合和协同，能够满足多种设备之间以及设备和电网之间的协同运行、信息共享、资源整合，可有效提高智能电网设备监控运行的性能。电力云计算技术能够对大量设备的异域异构计算资源进行整合，其计算规模能够依据电网设备的数量增加而灵活扩展；同时能够根据计算任务量来动态分配计算资源，且优先选取和分配可用资源中的最佳资源，并且能够对闲置的计算、存储资源进行整合。因此，电力云计算技术能够有效节省计算资源，大大提高电网运行的效率和经济性。大数据平台总体方案 功能需求针对智能电网设备的安全管控实际，基于电力物联网相关新技术，构建集智能电网设备运行状态监测、运行维护和故障紧急处理为一体的云服务平台，具备设备运行监测、主动预警和故障诊断等功能，实现电网设备的精细化管控。智能电网设备监控运行大数据平台的具体功能需求有：对设备运行状态进行实时有效的监测与控制；建立设备安全主动预警功能；建立设备故障应急处理机制；对设备运维过程进行有效监管，以实现标准化、规范化的运维机制；大数据平台可扩展和兼容。设计思路根据智能电网设备监控运行大数据平台的功能需求来制定设计思路。大数据平台以云平台为核心，以每个电力设备作为管理节点，采用物联网新技术的智能终端对每台设备的运行状态进行监测，实时获取电网设备的正常、故障运行信息，并对采集的数据进行分析和处理。而电力设备智能终端采 用现 代 传 感 技术、新 一 代 无 线 通 讯 技 术、核心技术架构和分布式计算等技术途径，实现智能终端的实时数据采集和主动预警。以设备运维检修作为基础管理单元，采用物联网管理平台实现精细化、可追溯的设备运维全过程监督管理，并采用可视化技术进行管控的动态展示。基本架构智能电网设备监控运行大数据平台技术架构采用分层以及模块化结构方式进行设计，从全方位角度对数据价值进行挖掘，剖析数据之间的关联关系。大数据平台总体架构如图所示，依托物联网技术、云服务平台以及设备业务系统，主要包括数据获取层、数据存储层、网络传输层、公共服务层以及应用服务层等，每层都采用统一服务接口。邢智辉：智能电网设备监控运行大数据平台总体设计智能制造图智能电网设备监控运行大数据平台技术架构 数据获取层：电力设备的大数据分散于多种业务应用系统，通常从设备状态监测系统、生产管理系统、能量管理系统、灾害预警系统和电气预报系统等获取电力大数据，且不同的数据获取系统相对独立，数据接口格式等存在一定的差异性。数据存储层：智能电网设备运行数据采用基于 平台进行存储，能够满足多类型海量数据存储的基本要求，具有非结构化、结构化数据融合效率高、数据存储可靠性高、容量大以及存储速度快等优势。网络传输层：大数据平台的数据通信和传输形式多样化，通常具有 通信模式、通信模式、通信模式以及 通信模式等，并对多种通信模式的兼容性设计，能够满足不同数据传输的通信场景。公共服务层：通过数据分析、数据计算、数据安全分析、数据管理和数据展示等方面业务构成了大数据平台的公共服务组件，以大数据平台的并行处理功能为基础，构建了数据计算、分析、管理、安全和展示等功能体系，有效提升了设备服务业务的计算和分析性能，能够更加有效的分析数据间的关联关系和挖掘数据的基本特征。应用服务层：为满足监控运行实际需求，整合新一代智能数据挖掘算法，依据不同的设备应用服务类型，形成基于大数据的不同应用功能，包括设备故障预警、设备故障诊断以及设备运行状态多维度可视化等。大数据平台设计 技术路线大数据平台的基础是电网设备监控系统，采用数据到模型再到应用的基本路线，从多源数据中对数据进行相关性分析，构成基于数据驱动的大数据分析模型，再根据实际业务需求，完成大数据模型与业务应用模型的对接，构建更加精确的业务应用模型，支撑智能电网设备监控运行的实际应用，实现数据与数据间的融合和关联分析以及数据到实际应用的转换。大数据平台技术路线如图所示。图大数据平台技术路线 数据规范化处理。针对智能电网设备多时空分布特征，对电网数据进行规范化和标准化处理，并完成设备多源数据的全过程处理，为设备的各类业务提供大数据分析和处理的技术支撑。大数据分析模型构建。针对大数据技术在智能电网设备监控业务应用所面临的数据处理效率、可靠性挑战，提出适用于智能电网设备快速实时监控的大数据应用模型构建方法，提升大数据在设备监控业务中的效能。大数据分析功能应用。在电网设备监控运行大数据平台基础上，结合电网对设备的实际应用需求，构建对应的业务应用分析模型，采用大数据分析和展示技术，实现关联分析、主动预警、故障诊断和可视化展示等实际应用功能。功能体系在智能电网设备监控运行大数据平台公共服务层基础上构建了大数据平台的大应用功能中心，形成了多源多维设备数据到功能应用的自动转换，主要功能体系包括数据处理中心、主动预警中心和可视化展示中心，具体如图所示。数据处理中心。以数据采集、清洗、存储、治理以及大数据分析模型为基础，通过构建数据间关联关系以及分析模型，实现海量设备数据的分析，和传统数据分析技术相比，对数据维度和质量进行了高效提升，从单一数据分析模式改进至多源数据关联分析模式。（）主动预警中心。采用新一代智能算法的大数据处理和分析技术，建立对智能电网设备态势和运行状态进行预测的主动预警应用模型。和目前被动式的电网设备运行状态检测技术相比较，将智能电网设备的状态预警升级至主动研判的能力。可视化展示中心。采用新一代三维可视化技术，展示数据处理中心、主动预警中心的分析结果，实现智能电网设备运行全过程监控的可视化展示。和传统可视化技术相比，通过对多业务功能关联规则的挖掘，实现了多数据、多业务、多功能的综合可视化展示，有效提升了电网设备数据统计、运行状态监控水平。图大数据平台功能体系 关键技术在上述大数据平台设计的基础上，提出了大数据平台的数据规范化处理、数据分布式存储、数据实时批处理和数据关联因果分析等项关键技术。数据规范化处理技术智能电网设备监控系统通常从生产管理系统、设备状态监测系统、能量管理系统、灾害预警系统和电气预报系统等获取设备相关数据，该类数据可能存在数据维度高、数据冗余、数据缺失以及数据不一致等特征，因此，需对该类数据进行规范化处理，具体方法包括：数据清理。识别、替换、修改或者删除质量差、冗余数据等。数据集成。在组合、存储多源数据的过程中，统一化处理多源数据中的类型不一致数据，并清除组合后的冗余数据。数据变换。数据变换通常需要满足相关格式需求，具体的格式要求包括数据规格化和规约等。数据分布式存储技术在基于 的数据管理基础上，提出一种多副本一致性哈希数据分布式存储算法，该算法以数据相关性分析为基础，智能电网设备数据的查询、分析等相关工作可在映射端完成，能够有效减少系统的网络通信负载，且能够有效提升系统的数据查询以及数据分析性能。数据分布式存储技术的副本可分别定义为采集时间、采集位置和自定义相关性等，采用一致哈希方法分别对副本进行映射，且通过构建哈希环进行数据处理。所提算法的配置原理如图所示。图数据存储算法示意数据分布式存储技术的实现步骤如下：预定义和监测系统大数据的相关系数、冗余副本数量。计算不同数据节点的哈希值，并配置到所在的哈希环区间。通过对数据的采集时间、采集位置以及相关系数分析来对数据的哈希值进行计算，即对副本、副本和副本的哈希值分别计算并映射到对应的哈希环上。通过设备数据的哈希值和数据节点的哈希值即可确定数据的存储位置。如果设备数据所存放节点出现存储空间不足，则跳过该内存不足的节点而存储至其他节点。数据实时批处理技术当智能电网设备数据不断增加，需要对批量的设备数据进行运算和处理，本文采用基于 技术的内存并行技术来实现大数据的快速实时批处理。使用集群计算框架，并采用弹性分布式数据集来提高数据处理效率，系统服务器能够将中间数据存储在 内存里面，其数据运算速度是 技术的 多倍。采用基于 的 聚类对状态数据进行划分，将采集的数据划分为不同种类，缩小了数据检查范围。算法中采用距离指标作为相似性评价指标，即个数据对象的距离越近，两者之间的相似度就越大。算法的输入量为，将个数据划分为类，以相似度作为指标进行聚类划邢智辉：智能电网设备监控运行大数据平台总体设计智能制造分。基于 的 基本算法流程如下：读取云平台 分布式文件系统的文件块到内存当中去，并将其转化至包含特征量集合的弹性分布式数据集。对弹性分布式数据集进行映射操作，对每个特征向量的聚类编号进行计算，并输出对应的键值对，从而得到新的弹性分布式数据集。对每一个