2023年基于PowerBI桥梁监测数据可视化研究.docx

基于Power,BI桥梁监测数据可视化研究 刘文生 ：在当前我国桥梁开展由建设向养护转移的重要背景下，因为长期积累的桥梁监测数据类型繁多、评价标准不同，导致数据可视化差、企业决策困难。以武汉市城市桥梁智慧管理平台桥梁监测数据为例，开展多源监测数据的标准化集成和基于Power BI的商业数据分析工具的可视化，对原始数据进行建模转换，实现异构数据源的集成，多维角度观察数据，通过可视化界面展开，提高桥梁数据展示能力，支持企业战略决策需求。 Abstract： In the current important background of bridge development in China shifting from construction to maintenance， long-term accumulation of bridge monitoring data has many types and different evaluation standards， resulting in poor data visualization and difficult decision-making for enterprises. Taking the bridge monitoring data of Wuhan City Bridge Smart Management Platform as an example， the standardized integration of multi-source monitoring data and the visualization of commercial data analysis tools based on Power BI are carried out， and the original data is modeled and converted to realize the integration of heterogeneous data sources， and observe the data from a multi-dimensional perspective and expand it through a visual interface to improve the ability to display bridge data and support corporate strategic decision-making needs. 关键词：桥梁监测数据;Power BI;可视化 0  引言 桥梁监测过程中，随着监测年份增加，数据量增大，信息相对固化，客观上易形成信息孤岛。传统的纸质记录和Excel方法，无法对大量数据进行有效管理，也阻碍对数据进一步的分析和挖掘。 本文基于Power BI桥梁监测数据可视化研究，构建数据展示层的桥梁监控数据仓库模型，通过数据挖掘，实现数据可视化。 1  理论根底 1.1 Power BI Power BI是微软开发的一款应用在商业中自助式智能软件。它可把复杂而混乱数据转化为交互式可视化报告。 数据分析过程包括数据采集、建模和分析、数据可视化三个步骤。数据分析最终目标是把繁杂的数据简单地展示，为企业决策提供有利帮助。 在对数据大量重复手工整理、要求多变的定期报告、数据可视化等方面，Power BI可以为人们提供有效帮助。 1.2 Microsoft Azure 微软基于云计算的操作系统——“Microsoft Azure〞。平台可操作性强、功能丰富和Office兼容与继承性好，稳定性高，区域支持全面，网速快。 随着信息大数据时代的到来，各类需求层出不穷，传统的本地部署效劳器的模式将会导致本钱日增，不能满足企业日益增长的业务需求，而采用弹性的云计算效劳模式将获得更大IT容量，使企业能够更好地匹配实际的网络负荷。 1.3 可视化根本原理 很多学者对可视化的根本原理有着各自的理解。花向红认为根本思想是“用图形数据图像来表示数据。〞具体地说，就是利用计算机图形技术与方法，对大量的数据进行处理，用图形、图像的形式，形象而具体地显示出来，使研究人员能够观察与模拟，从而丰富科学发现的过程，给予人们深刻与意想不到的洞察力，在许多领域使科研人员的研究方式发生了很大的变化[1]。周海燕与袁景凌等人认为是利用计算机图形学和图像处理技术，将数据转换成图形或图形在屏幕上显示出来，并进行交互处理[2-3]。Wood等人认为是指人通过视觉观察并在头脑中形成客观事物的影像过程，这是一个心智处理过程，提高了人对事物的观察能力及整体概念的形成[4-5]。吴加敏等人认为可视化以人们惯于接受图形、图像并辅以信息处理技术将客观事物及其内在的联系表现出来[6]。 2  多源异构监测数据的标准化集成 2.1 监测数据标准化组织与处理 数据标准化是实现数据可视化根底，只有在数据标准化的前提下，才能够对其进行编码，这是实现桥梁监测信息化的重要标志。 目前桥梁监测源数据量巨大，数据格式和评价体系各异，需要根据用户需求对数据进行标准化处理并建立相应的数据库。依据对真实数据的分析和向下挖掘的需要，将数据分为四类：载荷项、整体响应项、关键部件响应项和载荷-响应相关项。 监测数据标准化主要是针对监测格式、监测指标、监测关键构件等进行标准化。 2.2 多源异构数据建库与集成 各类监测数据经过数据标准化组织后为其建库提供了统一标准。根据监测数据分类，利用SQL语句单独设计每一小类數据库的数据表，将监测数据指标数据字段一一映射。为了实现监测信息空间可视化，单独设计监测桥梁地理信息数据表，利用Power BI软件中内置的ArcGIS Maps for Power BI可视化组件将监测桥梁的具体地理位置〔纬度、经度〕与其他监测数据进行关联，形成数据模型。 数据库的集成入库主要是由不同种类的监测数据以Excel格式导入到新建立的SQL数据库中，根据不同的监测类别的特点，采用不同的导入方法，将其统一封装到数据导入效劳接口中。通过数据导入效劳方法可判断数据格式与信息是否正确，实时进行数据信息标准化处理。 3  平台需求分析 3.1 平台功能 以武汉市城市智慧桥梁管理平台为例。该平台着重对武汉市桥梁处管理的44座重点桥梁建立在线平安监测系统。 源桥梁监测数据差异表达：由于各个历史时期对数据监测格式的要求不一，导致监测数据格式不同;不同年份的数据监测指标不同或相同的监测指标使用了不同的数据来源单位;数据分类混乱，没有对所有的数据进行有效的归类整理。 这些差异都会给监测数据的分析带来困难，影响管理决策。所以需要在可视化之前先建立统一的数据模型，对数据标准化定义，实现统一信息资源体系、数据元素标准化和信息编码，建立统一的数据模型以满足之后的多维数据可视化展示分析及更深的数据向下挖掘。 3.2 平台业务需求 针对武汉市城市智慧桥梁管理平台使用状态，其主要需求如下：全市桥梁管理接入同一平台，管养同一标准;桥梁关键平安状态自动监控，专业人员定制成套监测指标，桥上荷载有效控制;桥梁现场视频随时查看，关键平安事件智能识别;桥梁巡查、维修、验收全程监管，大数据辅助管养优化决策。 4  监测数据可视化 为简明扼要展现数据变化情况，采用基于Power BI商务智能解决方法。 4.1 监测数据导出 根据平台业务需求分析，主要数据来源于桥梁关键部位安装的传感器数据的导出与人工手动录入两种方式。 4.2 建立数据仓库 将业务系统数据库导出的数据分别导入新建Access数据库〔Excel〕，对于分析可能需要的数据维度转换表那么直接在Access〔Excel〕中建立，从而构建业务分析自定义数据仓库。 4.3 业务数据提取 利用Power BI软件创立新的文件作为系统主体，将各数据表和业务数据库维度表导入该文件中，并根据需要设置数据刷新频率，从而建立系统动态数据链接。 4.4 数据清洗 利用Power BI软件内置Power Query功能，对提取的业务数据库数据进行分析前的数据清洗。 4.5 数据建模 为了数据之间的维度分析，找出不同数据板块之间的业务关系，并利用DAX函数计算出各类指标数值，通过度量值建立一整套数据指标集市，供业务分析人员实时调取。 4.6 分析仪表盘建立 根据集团业务和系统功能设计要求，在使用上述数据、指标根底上，利用Power BI软件内置 Power view功能和不同的可视化对象插件对数据进行可视化处理，实现业务分析目的。 4.7 仪表盘展示异常问题处理步骤 ①使用微软账号登陆Azure网站〔s：//portal.azure〕。找到Azure效劳窗口，点击“创立资源〞按钮;在“新建〞按钮下搜索“Azure Active Directory〞，再点击“创立〞按钮，在子页的“组织名称〞和“初始区域〞中输入用户可供选择的名称，然后点击“创立〞。如图1所示。 ②文件创立好以后，单击“此处〞按钮以管理新目录。在跳转页面后，在“管理〞菜单栏下，点击“用户〞菜单。如图2所示。 ③点击“新建用户〞按钮进入创立界面，完成编辑后点击“创立〞按钮。如图3所示。 ④点击刚刚建立的用户，在左侧管理界面上选择“分配的角色〞按钮。选择子菜单下指定的角色，并在该页面添加上选择“添加角色分配〞功能，选择“全局管理员〞角色。如图4所示。 以上四步可保证Power BI网页端仪表盘正常运行与发布。利用Azure云效劳功能，可防止Power BI自带微软效劳器不稳定带来不利影响。 5  结语 本文针对海量传统桥梁监测数据多源类型，对多源异构监测数据进行标准化集成;简要分析桥梁管理平台及其业务需求;着重利用Power BI商业智能软件，对桥梁监测数据动态图表可视化研究，包括理论根底、操作步骤及可视化图表发布过程异常问题的处理等。 参考文献： [1]花向红.测量数据可视化技术研究[J].测绘工程，1999〔03〕：30-33. [2]周海燕，郭建忠，王家耀.知识发现与数据可视化技术浅析[J].信息工程大学学报，2002〔04〕：78-80. [3]袁景凌，钟珞，瞿伟廉，金鹏.结构健康监测中的可视化技术研究[J].武汉理工大学学报〔交通科学与工程版〕，2023〔05〕：925-928. [4]K. W. Brodlie， D. A. Duce， J. R. Gallop， J. P. R. B. Walton， J. D. Wood. Distributed and Collaborative Visualization[J]. Computer Graphics Forum，2004，23〔2〕. [5]周海燕，郭建忠，王家耀.知識发现与数据可视化技术浅析[J].信息工程大学学报，2002〔04〕：78-80. [6]吴加敏，孙连英，张德政.空间数据可视化的研究与开展[J].计算机工程与应用，2002〔10〕：85-88.