基于多维大数据预测的应急灾备统筹救助系统研究_李攀.pdf

第 40 卷第 3 期计算机应用与软件Vol.40 No 32023 年 3 月Computer Applications and SoftwareMar 2023基于多维大数据预测的应急灾备统筹救助系统研究李攀1周兆军2刘庆杰11(防灾科技学院信息工程学院河北 三河 065201)2(防灾科技学院继续教育学院河北 三河 065201)收稿日期:2020 05 10。河北省科技计划自筹经费项目(18215411)。李攀，副教授，主研领域:计算机科学与技术，GIS。周兆军，讲师。刘庆杰，副教授。摘要应急灾备统筹救助系统是基于应急管理部门的多维度大数据汇总、协同分析、快速决策的统筹规划管理平台。在面对地震和次生灾害等突发灾情时，通过大数据分析统计，进行救灾物资调配、人员工作协调、应急事件判断，并根据救灾物资需求的紧急程度及运输目标的最短路径分析，计算最高效的物资配送方法，提高运能及运输效率。通过 NE 模型，提取汇报信息关键字，迅速判断事件紧急程度，方便快速做出应急响应。该系统通过前后端分离的分布式架构，可以快速融合各行业数据，利用扩展算法接口，对各地区不同灾情进行预测和统计分析。关键词应急灾备统筹救助系统大数据分析NE 模型中图分类号TP3文献标志码ADOI:10 3969/j issn 1000-386x 2023 03 020ESEACH ON EMEGENCY PEPAEDNESS COODINATION AND ESCUESYSTEM BASED ON MULTI-DIMENSIONAL BIG DATA PEDICTIONLi Pan1Zhou Zhaojun2Liu Qingjie11(School of Information Engineering，Institute of Disaster Prevention，Sanhe 065201，Hebei，China)2(School of Continuing Education，Institute of Disaster Prevention，Sanhe 065201，Hebei，China)AbstractEmergency preparedness coordination and rescue system is an overall planning and management platformbased on the multi-dimensional big data summary，collaborative analysis and rapid decision-making of the emergencymanagement department In the face of emergence of the earthquake，secondary disasters and other sudden disasters，thedisaster relief materials deployment，coordination of personnel work and emergency event judgment work were the mainfunction of the system through big data analysis and statistics The most efficient material distribution method wascalculated according to the emergency degree of the disaster relief material demand and the shortest path analysis of thetransportation target，which improved the transportation capacity and efficiency Through NE model，the key words ofreport information were extracted to quickly judge the emergency level of the event，so as to make quick emergencyresponse Through the distributed architecture of front and rear end separation，this system could quickly fuse the data ofvarious industries，and use the extended algorithm interface to predict and analyze the different disasters in differentregionsKeywordsEmergency preparedness coordinated rescue systemBig data analysisNE model0引言我国是自然灾害发生比较频繁的国家，针对海量的灾害相关数据存在种类多、范围广、数据复杂的问题，如何应用大数据技术，进行数据规律的挖掘，进行预判，提高数据资源的价值，为相关研究人员提供评价和应急决策支持，是非常有必要的。因此，基于统筹协第 3 期李攀，等:基于多维大数据预测的应急灾备统筹救助系统研究123调体制、属地管理体制、社会力量参与机制、信息共享机制及监督考核机制1 3，建立一套应急灾备救助管理系统，有利于社会力量统筹，组织综合领导力量，更好地处理应急救灾工作。如何在自然及次生灾害发生时，进行实时响应是一个亟待解决的问题，应急管理部门需要通过救灾软件系统，进行受灾人员救援安排，交通、电力、水利、通信和医疗等部门部署，统一物资配送和专家实时决策协同会商等工作。1业务需求本项目通过对自然灾害的调研和分析，结合现实需求，应用大数据技术3 8，设计的应急灾备统筹救助系统，是一个基于多维大数据、多部门、多职能、多方向的整体统筹管理平台，从图 1 中可以看出，系统包含的数据类型、涉及部门及人员非常广泛，且逻辑流程颇为复杂多样，每一个关节都对处理的准确性、时效性有非常高的要求，因此需要对以下难点和关键技术进行思考，找到合适的解决办法。图 1应急灾备统筹管理流程1 1数据获取集成问题本项目需要将应急管理部门、地方政府等相关行业和领域的数据进行汇总和集成才能进行后续的分析决策，其中包括了交通、环保、医疗、建筑、水电气、建筑和道路等多方面的数据，存储数据量之大，超过常规大数据的范畴，而且基础大量数据需要靠人工采集，这也给数据库建立和数据集成，带来了巨大瓶颈。通过元数据映射及冷热数据缓存机制，建立与对应部门的平台接口，实现数据的汇总响应模式。通过基层人员移动终端 App 的推广使用，使得数据实时录入更加方便快捷。1 2数据流实时传输分析问题为实现实时的决策响应，需要数据流的传输效率足够高，信息响应速度快，若用传统的汇总再计算模式，显然已经不合适，需要考虑不仅仅使用主流的分布式计算，同时要发挥最大算力，带动本地边缘计算层，完成快速响应的计算，节省传输的实际，以及核心运算能力。本文应用 Hadoop 架构的 Spark 提供流计算引擎，同时利用边缘计算技术，让各终端设备也发挥算力，提高计算效率。其中边缘计算技术在处理本系统的数据时，通过让各分类数据聚集在各硬件终端的处理分析，使得使用端与数据段距离更接近，减少了一部分数据上传下载到云中心的时间和处理功能，从而缩短了计算时间。在硬件成本上相对减少，各个终端的硬件不再只是收发数据，参与计算后建设了数据中心的硬件投入成本，使得总成本较云数据中心降低。因为数据减少了上下行，使得云中心不仅硬件负荷降低，而且所需要的带宽也随之降低，不再需要极高的网络带宽支持。边缘计算还因为能降低收发频次，降低了延迟级别，使得程序响应更高效迅速。面对不同终端用户的角色不同，导致各终端的应用功能出现本地化、个性化，这是为了可以随时调整，改善用户体验。由于传统的云计算模式需要将涉密数据上传至云计算中心，为数据传输带来很大的风险。因此，在边缘计算中，本项目采用身份认证协议，加强统一认证、跨域认证和切换认证技术的研究，以保障用户在不同信任域和异构网络环境下的数据和隐私安全。1 3多元化多应用支持因为面对的业务有些彼此独立，但是更多的数据模型相互交叉，算法又互相关联，所以面临的问题是多种应用服务开发，及对应的 UI 快速开发，传统架构已经完全无法满足，更加无法跟上后续的追加需求，以及扩展应用的快速部署。本文使用 SpringCloud 后台架构9 11，结合 Vue js 的前后端分离架构，使得开发更快速高效。1 4算法模型支持系统面对的多元化问题，需要对应各种应急疏散算法、物资统筹算法进行算法结合，这里需要考虑算法的快速实现，以及处理结果的实时反馈，需要开发对应的算法进行封装，提供这些算法嵌入接口，为各行业专家、调用数据、整合调试模型，提供完善的数据平台，及展示层接口。2系统设计与实现2 1系统架构应急灾备统筹救助系统，是基于前后端分离的多层次开发架构，后端采用分布式微服务架构 Spring-Cloud，前端采用 Vue js 开发框架，实现前后端分离开发，便于快速扩展及系统维护，系统架构图如图 2所示。124计算机应用与软件2023 年图 2系统架构图(1)数据层。本系统涉及多种数据，应用的数据库包括:关系型数据库 MySQL 和 Oracle、非关系型数据库 MongoDB、日志型数据库 edis，还有大数据存储的 Hadoop 架构、Http 服务、Ftp 服务、算法模型库和行业专业库等。还提供元数据库，将各种其他行业的管理平台综合库，映射数据到本数据库中，节约数据存储空间，提高运行效率。(2)服务层。需要结合多种关系型数据库、非关系型数据库、元数据库和分布管理多种数据源，进行专业化地搭建。具体包括数据库服务、算法服务、硬件接口服务、文件服务、元数据映射服务、FTP 服务和日志服务等。该服务层的搭设，使得数据快速流通，方便存储，可以高速、便捷、有效地传递到上层。(3)管理层。提供对应服务层的系统管理应用，对服务层的注册服务，进行实时动态管理，包括数据管理、中间件管理、接口管理、流程管理、映射管理、模型管理、备份管理等。因为底层采用微服务架构，所以对应的管理层模块对应着新注册的服务，需要实时动态添加。后续可以快速扩展，通用性很强。(4)业务层。指系统管理的具体业务模块，面对应急灾备出现的情况，分别考虑了生活物资管理、医疗物资管理、运输通道管理、避难场所管理、伤亡管理、水电气管理和人员调配管理等大模块，具体的业务在模块中细分，可以应对地震、火灾、洪水、瘟疫、化学泄漏等大型应急情况，方便调用物资、统筹人力、安排避难场所、预测灾情、快速反应等功能。(5)应用层。按照不同人员的使用需求，根据实际情况，开发对应 App 或者网页管理终端，包括嵌入式设备等不同平台，实现从高层管理到基层实施人员的数据互通、消息传导、快速决策及实时监督功能。系统采用跨平台方案，可以将服务后台和应用前端，部署在不同的数据服务器、算法服务器、物联网终端，及多操作系统(包括 Windows、Linux、Unix)和多种手机终端(IOS 及 Android)，实现数据及应用跨平台互通、跨系统互联、实时反馈问题、实时决策的功能，为快速应急救灾响应、提供宝贵的时间。2 2系统功能应急灾备统筹救助系统具备生活物资管理、医疗物资管理、运输通道管理、避难场所管理、伤亡管理、水电气管理和人员调配管理等主要功能模块，面对突发的地震、火灾、洪水、瘟疫、化学泄漏等大型应急情况，可以合理地调配人员物资，统筹规划物资救助。在主管理模块中，快速获取当前的基本信息。对当前城镇区域的受灾情况、医疗物资、生活物资，及上下级反馈信息数量，得到全面了解。(1)生活物资管理。通过对米面粮油、衣物、帐篷