电网异常业务数据检测方法综述_白开峰.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第3期总第331期文章编号：1006-2475（2023）03-0079-05收稿日期：2021-10-18；修回日期：2021-10-21基金项目：国家自然科学基金面上项目（61772246）作者简介：白开峰（1979），男，山西运城人，高级工程师，硕士，研究方向:电子信息，E-mail:；赵宏斌（1968），教授级高级工程师，硕士，研究方向:计算机技术；张芸（1983），女，陕西西安人，高级工程师，硕士，研究方向:计算机技术，E-mail:；李妍（1981），女，陕西西安人，高级工程师，本科，研究方向:计算机科学与技术，E-mail:；崔静安（1968），教授级高级工程师，硕士，研究方向:电气工程；刘千金（1988），高级工程师，本科，研究方向:信息管理与信息系统；杨华（1977），工程师，本科，研究方向:计算机科学与技术；倪娜（1978），高级经济师，硕士，研究方向:项目管理。0引言针对如今社会对电力资源不断增长的需求，建立一套节能、高效、安全、环保及可靠型的电网系统已经成为了学术界研究的热门问题。智能电网概念的提出为建设新一代电网系统提供了一种可行的解决方案，同时，也推动了电网自动化和信息化的发展。电力系统产生的各种类型的业务数据量呈指数增长，业务数据的数据结构以及数据类型等数据特征也发生了巨大的改变。在电网实际运行过程中，由于系统故障、测量装置异常、数据传输出现错误等突发事件等随机因素均会使采集获得的数据不可避免地掺杂一些不易发觉的异常数据，并且这些异常的电力业务数据会对电力数据处理和电网稳定运行产生难以预料的影响。电网异常业务数据检测在整个电力系统中有着难以取代的作用。在输送配电网络中，电网异常业务数据检测方法可以快速发现各种异常的业务状态及数据，找出异常源头，阻止异常状态或数据继续扩散，从而及时止损。在终端智能电网系统中使用异常业务数据检测技术可以提高用户的使用体验，帮助电力部门和相关企业节省相应的人力和运营成本，使电网在一个比较经济的状态下能稳定运行。1异常数据定义及分类已经有许多专家学者对电网异常业务数据检测电网异常业务数据检测方法综述白开峰1，赵宏斌2，张芸1，李妍1，崔静安1，刘千金1，杨华1，倪娜1（1.国网陕西省电力公司西安供电公司，陕西 西安 712042；2.陕西思极科技有限公司，陕西 西安 710086）摘要：智能电网概念的提出推动了电网智能化和信息化的发展，电力系统产生的各种类型的业务数据量也呈指数增长，其中产生的异常数据在很大程度上对电力数据分析和电网运行稳定性有着决定性的影响。本文对电网异常业务数据检测方法进行整理分类、分析和总结，分别介绍基于传统技术和基于人工智能技术的异常业务数据检测方法，分析和阐述每种方法的基本原理和特点，总结和展望电网异常业务数据检测所面临的挑战和未来的发展趋势，为后续研究提供一定的参考。关键词：智能电网；业务数据；异常检测；人工智能中图分类号：TP391.7文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.03.014Review of Abnormal Service Data Detection Methods in Power GridBAI Kai-feng1，ZHAO Hong-bin2，ZHANG Yun1，LI Yan1，CUI Jing-an1，LIU Qian-jin1，YANG Hua1，NI Na1（1.State Grid Xi an Electric Power Supply Company，Xi an 712042，China；2.Shaanxi Siji Technology Co.，Ltd.，Xi an 710086，China）Abstract:The concept of smart grid has promoted the development of grid intelligence and informatization.The amount of varioustypes of business data generated by the power system has also increased exponentially，and the abnormal data therein has decisive influnce on the analysis of power data and the stability of grid operation to a large extent.This article classifies，aralyzes andsummarizes the methods for detecting abnormal business data in the power grid.The methods for detecting abnormal businessdata based on traditional technology and artificial intelligence technology are introduced respectively，and the basic principlesand characteristics of each method are analyzed and explained.The challenges and future development trends of abnormal business data detection in power grids are summarized and prospected.This article which provides a certain reference for follow-upresearch.Key words:smart grid；business data；outliers detection；artificial intelligence计算机与现代化2023年第3期方法进行了研究。文献 1 主要针对电力系统中测试时产生的异常数据进行探究，该文首先介绍和定义了电力系统正常运行过程中异常数据的相关概念，然后详细分析了电力系统中每类异常数据的类型和数学模型，最后对该文中提到的电力系统异常数据检测和修正方法进行了总结。文献 2 从电力系统异常数据产生的原因入手，首先介绍了电力系统在运行过程中有哪些阶段可能产生异常数据，并对在每个阶段产生的异常数据根据其产生方式以及数据特征进行了归纳总结。然后从异常数据的类型及对如何解决这些异常数据的角度出发，根据不同方案适用系统的差异将其分类2类。同时，作者还对文中提到的异常电力数据检测方法的性能进行了理论分析，在该文的最后还提出了几种新的思路来解决异常电力数据检测问题。上述文献分别对电力系统中异常数据的分类和常规异常数据检测方法做了比较全面的综述，但均未对电网异常业务数据检测方法做系统性总结，而且因为时间较为久远，没有对近几年最新的异常数据检测方法进行分析总结，降低了其参考价值。2异常业务数据检测方法目前，对电网异常业务数据检测的相关方案和模型已经有很多，本文根据不同方法技术手段的差异，将其分为基于传统技术的异常数据检测方法和基于人工智能技术的异常数据检测方法这2个类别。2.1传统电网异常业务数据检测方法传统的电网异常业务数据检测方法是根据电网业务数据的特征结合数据统计，提出的适用于特定电力系统的方法。在文献 3-4 中，作者首先分析了电网系统中的异常数据以及异常数据的结构，结合支持向量机（Support Vector Machines，SVM），对电网中业务数据的熵值进行分析，从而检测异常的业务数据。在电网系统中异常业务数据比例大于5%的情况下，该方法具有很好的性能。但当异常数据的比例过低时，该文提出的方案在准确性方面就大打折扣。王雷等人5针对上述问题，结合支持向量机模型，提出了一种电网异常业务数据检测方案。该方案借助SVM不会主动将个体差异较大的数据大规模排除，而是从整个训练过程的角度来对拟合曲线的平滑度进行考量这一特点，用SVM训练后的模型来对电网异常的业务数据进行筛查。许元斌等人6提出了一种基于MapReduce框架的电网异常业务数据检测方法。该方案利用MapReduce框架的并行能力，对海量电力业务数据进行并行化操作，大大加快了异常业务数据的检测速度，但是其检测准确性无法得到保障。随着我国供电网络智能化和信息化的发展，传统的电网业务数据分析处理方法对现如今海量、结构复杂、种类繁多的电网业务数据进行处理，很难完全满足企业及用户的需求。同时，基于传统技术的电网异常业务数据检测方法可能会出现异常数据漏检与误检的情况，导致电力企业对电能的生产与调度分配产生错误的判断，进而影响电力网络的安全稳定运行。2.2基于人工智能技术的电网异常业务数据检测方法人工智能是计算机科学近年来较为热门的一个研究领域，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，其高效、准确和智能的特性也十分适用于电力系统。因此，众多基于人工智能技术的电网异常业务数据检测方法被提出来弥补传统方法的不足。2.2.1基于局部离群因子的异常数据检测方法局部离群因子算法（Local Outlier Factor，LOF）是一种基于密度的经典算法，由慕尼黑大学的Breunig等人7在2000年提出的。Breunig等人7提出量化每个数据的异常程度，并认为数据的异常程度取决于跟周围相邻数据的密度对比，这给其他研究者提供了一个新的探索方向。如图1所示，当数据点O的LOF值大于1时，则O就可能为异常数据点。图1LOF算法示意图LOF算法也存在一些不足：因为每个数据都涉及跟周围相邻的数据进行交互，所以该算法在处理实际问题时的时间复杂度大，对运算能力有一定的要求。罗翔宇8针对上述LOF存在的问题，将K-means聚类算法的思想应用于LOF算法，提出了一种基于密度测量的LOF改进算法来对海量的多维的电网业务数据进行检测。作者还对LOF算法的邻域查询过程进行了优化，使该算法在保证异常数据查询效率的情况下提升了异常业务数据的检测精准度。在电力系统中，某种类型的业务数据很可能包含了大量的标签，类别特征、异常数据就属于这种情况，常规的异常数据检测算法很难检测到此类异常，因此，张为金9提出将 LOF 算法和 Affinity Propagation聚类算法相结合来对电力系统中的异常业务数据进行检测。因为常用的聚类算法效果不明显，所以作者提出使用Affinity Propagation聚类算法，该算法相较于常用的K-means聚类算法，在性能上足够优越。该方法不仅可以检测到异常的业务数据，还可以对异常数据发生的频率进行记录告警。李寒等人10借鉴 Web服务的核心思想，将 LOF算法和MapReduce技术相结合，提出了一种支持电力业务数据存储和计算的异常数据检测方案。该方案在对大规模的业务数据进行检测时具有良好的性能和并发性，但是不适用于小规模特定的电网异常业务K=3LOF3（O）1OP802023年第3期数据检测的场景。针对电网异常业务数据检测对时效性的要求，应斐昊等人11对基本的LOF算法进行了改进，不需要预先设置异常数据准确的异常状态，只需要分别计算出每个业务数据与相邻业务数据之间的分隔程度，即可检测出异常业务数据。该方法相较于传统的异常数据检测方法有着很高的灵活性。2.2.2基于流式计算的异常数据检测方法在电网业务数据处理过程中，传统方法是先收集所有数据，将收集到的数据存入到数据库中，在需要的时候再通过数据库对这些业务数据进行处理。这种做法虽然有利于对数据进行整理和归类，但是在一些对数据处理响应要求比较高的环境下，就显得过分冗余了。所以研究者提出了一种新的数据计算框架流式计算来