MongoDB数据库在电力工程行业的应用.pdf

MongoDB 数据库在电力工程行业的应用余建忠（中国能源建设集团广东省电力设计研究院有限公司,广东广州510663）摘要：目的为了贯彻落实国资委关于加快推进国有企业数字化转型工作的通知，国有企业面临着数字化转型压力与挑战，很多电力工程企业都在探索数字化转型的方向，利用云大物移智等数字化技术，解决工程项目全生命周期数据的管理是一个重要的前提条件。方法针对电力工程项目全生命周期数据的大量性、多样性、复杂性，分析了关系型数据库在大部分场景的不适用性，采用 NoSQL 数据库 MongoDB 解决数据量大和数据多样性、复杂性的问题。结果作者以 MongoDB 为核心数据库进行设计构建，完成工程大数据平台建设，实现了电力工程项目过程数据的灵活建模与管理，并作为工程项目全过程的数字化产品的数据底座。结论实践应用证明了 MongoDB 数据库相比于关系型数据库更加适合数据量大、数据多样性、复杂性的场景，存储效率更高，数据查询统计能力更强。关键词：电力；工程大数据；数据多样性；关系型数据库；MongoDB；数据建模；灵活中图分类号：TM6；TP311文献标志码：A文章编号：2095-8676(2023)S1-0110-07开放科学(资源服务)二维码：Application of MongoDB Database in Power Engineering IndustryYUJianzhong（ChinaEnergyEngineeringGroupGuangdongElectricPowerDesignInstituteCo.,Ltd.,Guangzhou510663,Guangdong,China）Abstract:IntroductionInordertoimplementtheNoticeonAcceleratingtheDigitalTransformationofState-ownedEnterprisesissuedbytheState-ownedAssetsSupervisionandAdministrationCommission,state-ownedenterprisesarefacingthepressureandchallengeofdigitaltransformation.Manypowerengineeringenterprisesareexploringthedirectionofdigitaltransformation,anditisanimportant prerequisite to solve the management of engineering project life cycle data by using digital technologies such as cloudcomputing,bigdata,InternetofThings,mobileInternet,artificialintelligence.MethodInviewofthelargevolume,diversityandcomplexityofthewholelifecycledataofpowerengineeringprojects,thispaperanalyzedtheinapplicabilityofrelationaldatabasesinmostscenarios,andusedtheMongoDB,theNoSQLdatabase,tosolvetheproblemsoflargevolume,diversityandcomplexityofdata.ResultTheauthordesignsandconstructsengineeringbigdataplatformusingMongoDBasthecoredatabase,whichrealizestheflexiblemodelingandmanagementoftheprocessdataofpowerengineeringprojects,andservesasthedatabaseofthedigitalproductsinthewholeprocessoftheengineeringproject.ConclusionTheresearchhasprovedthatMongoDBdatabaseismoresuitableforscenarioswithlargedatavolume,datadiversity,andcomplexitythanrelationaldatabase,withhigherstorageefficiencyandstrongerdataqueryandstatisticalcapabilitiesinpracticalapplications.Key words:electricpower；engineeringbigdata；datadiversity；relationaldatabase；MongoDB；datamodeling；flexible2095-8676 2023EnergyChinaGEDI.PublishingservicesbyEnergyObserverMagazineCo.,Ltd.onbehalfofEnergyChinaGEDI.ThisisanopenaccessarticleundertheCCBY-NClicense(https:/creativecommons.org/licenses/by-nc/4.0/).0引言随着信息化技术的快速发展，云计算、大数据、物联网、移动互联网、人工智能等技术已经融入到我们工作和生活的方方面面，带来了前所未有的便利。电力行业作为我国重要的基础性产业，积累了大量的设计、建造、运营的数据，对这些数据进行组织管理，形成基础数据库，建立电力工程大数据中心，是电力企业数字化转型的关键所在1。收稿日期：2022-10-26修回日期：2022-12-17基金项目：2021 年广东省自然资源厅海洋六大产业专项资金资助“海上风电场海洋环境立体监测网关键技术及装备产业化”(GDNRC202137)；中国能建广东院科技项目“工程大数据技术及大数据平台研究”（EV06211W）2023年第10卷增刊 1南方能源建设2023Vol.10Suppl.1SOUTHERN ENERGY CONSTRUCTION智慧电厂IntelligentPowerPlantDOI：10.16516/j.gedi.issn2095-8676.2023.S1.018OA：https:/www.energychina.press/为了实现从电力工程设计到运维的“全产业链”数据赋能，不断把我们企业在电力能源领域积累的认知规律通过“数据+算力+算法”的模式嵌入到物理世界，实现“全面可观、精确可测、高度可控”，助力构建清洁、低碳、安全、高效的能源体系，为实现“双碳”目标贡献力量。以自主可控为原则，采用“大数据+物联网”的新一代数字化技术，围绕电力工程的规划、设计、建造、运营环节，对电力工程项目的共性需求进行抽象，打造电力行业的工程大数据中心。然而，工程项目全生命周期的数据不仅仅是复杂多样的，数据类型从结构化、半结构化到非结构化，数据来源不一、形式不一、标准不一，而且还是海量的，特别是运维阶段的数据。面对工程中各种复杂多样且海量数据时，系统设计时需要以大数据技术和数据管理理论为基础，通过深入探索分析，采用多种数据库相融合，进而提升多类型复杂数据的管理和使用效率2。本文主要介绍在电力工程行业的某些重要场景下，说明关系型数据库的不适用性，介绍基于 MongoDB 数据库进行设计建模的优势。1关系型数据库遇到的问题在工程设计中，各专业使用不同的设计软件，如：PDMS、Revit、CAD 等，每个软件都有自己的元件库或族库，相同类型的元件有大部分相同的属性，少部分不同的属性，如手动蝶阀和电动蝶阀，它们的相同属性有通径、外径、高度、长度等，电动蝶阀多了一个侧向长度的属性。不同类型的元件的属性差异非常大，有些类型的元件属性只有几个，而有些类型的元件属性甚至有十几个，甚至更多，如蝶阀属性只有五六个，而弯头的属性却有十二三个。并且在不同的设计软件中，相同类型的同一种元件，属性也有可能不同。同理，在运维期的设备也跟元件类似，不同的设备的属性不同，且属性的数量也不同。在MongoDB 等 NoSQL 数据库还没出现之前，数据存储传统的方案一般都是采用基于关系型数据库进行设计，而采用关系数据库进行存储一般有两种较为常用的方案。方案一：预先定义 1 张大宽表，也就是非常多列的数据表，这张表预留了多个字符串、整型、浮点型来存储不同的属性，预留列的数量等于设备或元件中最多属性的个数。每个属性单独存储在一列，由于不同设备或元件属性个数差别很大，导致该数据表是一个稀疏表，存储效率低，如图 1 所示，预留的字段很多是空的。最为关键的是难以保证不同设备或元件的同一类型的属性存储在同一列，如图 1，元件 A 的材料类型（类型：铝合金）存储在 str3 这一列，而元件 B 的材料类型（类型：钢）则存储在 str4 这一列，将无法实现根据材料类型对元件进行过滤查询和统计查询，更无法对预留列建立索引加快查询效率，只能通过全表扫描，在应用层面对数据进行查询和统计，导致效率低，复杂度高。id15161718192021225 ZJM0116J601不锈钢铝合金铝合金铝合金铜(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)(Null)钢E03E03E031.0-1.5 mm 1.5-2.0 mm铝塑复合型材不锈钢板16J60117J610-115ZJ60215ZJ60215ZJ60211CJ2717J610-1ZJM02YM105上悬SXC上悬SXC2上悬SXC1节能GCPM15566678class_idstr1str2str3str4str5int1321003000150022002700210021002100840012.2341.2265.22400900180018002100840055652036583658576864312455int2int3int4int5double1double2double3double4double5图 1稀疏大宽表Fig.1Sparselargewidetable方案二：定义 2 张数据表，1 张为设备或元件基础表（只存储设备或元件的基础通用的共有属性），而另 1 张扩展数据表，采用按行存储方式存储每个设备或元件的其他属性，即一个属性存储在该表一行，每个设备或文件需要占用多行进行存储，如图 2所示。该方案的缺点是扩展数据表的数据量很大，导致查询性能低，如一个电厂的精细化模型，假设构件的数量能达到 500 万个，一个构件（设备或元件）的属性平均为 20 个，则扩展数据表的需要 1 亿行。并且采用该方案无法通过 SQL 语言查询属性等于增刊 1余建忠：MongoDB 数据库在电力工程行业的应用111某个条件的设备或者元件，如需要查询材料类型为铝合金的元件有哪些，与方案一类似，也只能通过全表扫描，上层应用进行过滤，性能非常低。随着数字化相关技术