考虑哈希索引的电网数据集市海量信息索引系统设计_万婵.pdf

，技术交流微型电脑应用 年第 卷第期作者简介：万婵（），女，硕士研究生，工程师，研究方向为大数据应用、数据资产管理；江疆（），男，博士研究生，工程师，研究方向为电网信息化、数据资产管理、人工智能；吴穹（），女，硕士研究生，工程师，研究方向为大数据应用、数据资产管理。文章编号：（）考虑哈希索引的电网数据集市海量信息索引系统设计万婵，江疆，吴穹（广东电网有限责任公司，广东，广州 ；广东电力信息科技有限公司，广东，广州 ）摘要：针对当前电网数据集市海量信息索引未考虑排序处理数据信息，导致系统检索效率和查全率低，稳定性差的问题，提出考虑哈希索引的电网数据集市海量信息索引系统设计方法。该系统聚类融合处理数据信息，根据关联规则挖掘结果提取与检索数据，结合哈希算法排序融合电网数据信息。该系统采用三层体系，将其分为表示层、功能层和数据层，从而实现了系统的功能模块的设计，完成电网数据集市海量信息索引系统设计。实验结果表明，该系统设计方法的检索效率和查全率更高，稳定性更好。关键词：信息索引系统；哈希算法；关联规则；排序融合；三层体系中图分类号：文献标志码：，（，；，）：，：；引言随着计算机技术的飞速发展，电力企业也逐步实现了信息化，而电网系统内部产生的数据信息也在急剧增长。当前现有系统未创建完备的索引功能，为了提高电网系统的运行效率，设计电网数据集市海量信息索引系统具有重要的意义。文献 采用序贯贝叶斯搜索，通过调查噪声容限，优化目标函数，查找相关文档以进行技术辅助检索，完成高召回信息检索。但该系统查全率和效率较低，不能被广泛使用。文献 利用 实现信息在系统中的交互，分析信息索引等模块主要功能，通过查询机制实现电网数据信息检索，完成索引系统设计。但该系统未建立数据信息排序列表，导致系统在检索数据信息时稳定性较差。因此，提出考虑哈希索引的电网数据集市海量信息索引系统设计方法。聚类融合处理数据信息进行提取与检索，提高系统查全率，结合哈希算法排序融合电网数据信息，提高系统检索效率，利用三个层次的体系结构，以此增强系统的安全性，并设计系统主要功能模块，完成考虑哈希索引的电网数据集市海量信息索引系统设计。电网数据集市海量信息的检索与排序 信息聚类融合处理为了提高电网数据集市海量信息索引系统的查全率，在系统设计之前，需要对其数据信息进行聚类融合处理。如果数据信息检索输出的关联规则系数满足，电网数据信息的控制变量满足，那么数据信息检索的信息融合度为（）（）如果电网上的数据信息分布符合，那么所检索 ，技术交流微型电脑应用 年第 卷第期的状态估计值就是正向的，并且必须满足数据信息检索的输出标准误差：（）（）（）电网数据信息检索的关联规则属性集为（）.，（）.，（）.（）.（）.，（）.，（）.（）.（）.电网数据信息的提取与检索在对电网数据信息进行聚类融合处理的基础上，能有效地进行数据的抽取与检索，提升了系统的检索查全率。设电网数据信息的聚类融合尺度为（）（）（）引入模糊特征分组检测方法，获取电网底层的数据信息，设（）为数据信息分组检测的统计变量，将其进行简化为（）（）（）（）（）根据差分进化方法，通过自适应调节电网数据信息的检索输入控制参数，线性迭代检索过程。如果、，被满足，则单一的检索节点的匹配函数是：（）（）划分电网数据信息的高维区域，所产生的数据信息检索结果的子序列如下：（）（）（），（）（）（）（），（）（）（）利用模糊分组聚类算法对不同属性的电网数据信息进行了分组检测，得到了以下结果：（）（）（），（）（）（）（），（）（）（）检索控制约束变量为（）（）（）（）通过提取的关联规则量，得到数据信息检索的关联量为：（）（）（）（）（）.基于哈希算法的电网数据集市海量信息排序方法利用哈希算法对所检索的数据信息进行排序融合，从而提高了系统检索的效率。基于哈希算法的排序列表，建立了以查询数据为中心的加权无向图：（，）（）式中，中有边的两个节点是最接近的个相邻点。将作为节点集，其产生的具体步骤如下：（）在集合中放置所有侯选和查询数据信息；（）在集合中合并该集合所有元素都是的邻近；（）将集合中全部元素替换成与集合中的所有元素的相邻关系；（）将集合中的所有元素并入中；（）重复步骤（）、步骤（），直到集合为空集合。中两个节点之间的相似性与衰减因子之积，其权重为（，）（，）（，）（）（）（）（）（）式中，（，）是在节点和间最短的路径，是衰减基数，而（）是节点的邻近。基于哈希算法的排序列表结构如图所示。图基于哈希排序列表的加权无向图图中的衰减系数幅度用最接近查询数据信息的节点的尺寸来表示，重要性越高。基于 的电网数据集市海量信息索引系统设计方法 系统环境为了方便系统以后的升级与扩展，该系统在设计时将经过排序后的电网数据信息和所有的运行程序安装在 服务器上，使客户端实现真正的“”配置，而且采用这种配置也十分有利于用户的维修和使用，电网数据集市海量信息索引系统的创建环境如表所示。表电网数据集市海量信息索引系统环境参数操作系统 编程技术 服务器平台 数据库平台 系统结构框架电网数据集市海量信息索引系统采用 三层体系结构，系统的总体结构如图所示。利用三层体系结构，把整个系统分为三个不同的单元，即表示层、功能层和数据层，以防止客户机直接控制电网数据信息库，提高系统的安全系数，防止非法入侵，加强系统在检索时的稳定性。（）表示层表示层是包含系统显示逻辑的网页浏览器，其主要任务是接收用户的访问和请求。通过网络服务器验证后，通过 协议把所需的网页发送给客户端，然后在网络浏览器上显示出来。，技术交流微型电脑应用 年第 卷第期图系统概念模型与物理结构（）功能层功能层是包含了系统业务逻辑的 服务器，具有应用扩展的能力。主要的工作是从用户方接受请求。将一个扩展的应用程序与一个系统数据库相连，通过 来处理数据，然后经由数据库服务器呈递至 服务器，然后传回至客户端。（）数据层数据层是指以上提到的数据库服务器，包含了能够处理数据的系统逻辑。其主要任务是接收数据库的操作，完成查询、删除、修改等功能，并向服务器发送操作结果。系统主要功能模块设计系统功能模块设计如图所示。图系统功能模块（）身份验证模块身份验证模块是一个用户登录的模块，主要作用是通过用户的 地址、数据库访问权限、页面跳转等来进行身份认证。身份验证模块流程如图所示。图身份验证模块流程图从图中可以看出，利用用户主机，在通过数据库访问进行页面跳转，验证用户身份是否符合，若身份验证符合，则进入检索系统开始使用；若身份不符合，则需返回数据库访问步骤进行重新验证。（）账户管理模块建立账户管理模块主要是为了保证数据库的安全与正确性。帐号管理模块主要是由系统的管理员来设定和管理帐号与权限组成，并对用户登录后的数据库进行管理。（）编码维护模块编码维护模块的主要功能是建立电网数据信息的分类，实现数据信息的编码管理，提高数据信息采集和数据信息检索的效率，便于数据库的维护。编码维护模块流程如图 所示。图编码维护模块流程图根据图可知，提取后台数据库，对电网数据信息进行分类后，编码电网数据信息，实现数据库维护，提高信息采集和检索效率。（）数据信息采集模块数据信息采集模块首先添加了数据信息采集，对所检索的信息进行归类，对有无重复的信息进行检查，如果有，那么进行修改、删除或保存；如果没有，那么增加新的信息。数据信息采集模块流程如图所示。图数据信息采集模块流程图根据图可知，通过增加数据信息采集，检索出信息所属分类，验证数据信息是否重复，若信息重复，则进行修改与删除；若信息不重复，则重新添加数据信息采集。（）修改与删除模块修改与删除模块的主要功能是实现电网数据信息的成批修改、删除等功能，或者进行某一处或者某几处的特定数据信息修改与删除。（）数据信息检索模块数据信息检索模块的主要作用是把检索到的数据信息转换为编程语言，连接数据库进行提交、检索，分页显示，最终按需要检索和显示有关的所有信息。数据信息检索模块流程如图所示。根据图可知，将数据信息翻译为检索系统程序语言，并提交至数据库进行检索，若检索结果为空，则输出空结果；，技术交流微型电脑应用 年第 卷第期若检索结果不为空，则显示检索信息。图数据信息检索模块流程图实验与分析为验证所提方法是否有效，实验对文献 方法、文献 方法和所提方法进行检索效率、查全率和稳定性对比测试。基于 实现系统主要功能模块关键代码如下：（）：；（）；（：）；（）；（）；（）（）；（）；（！）（：）；（；）（）：）；（），（）；（）；（）；（！）（）；（，）；（）（）；实验背景如表所示。表实验环境与各项参数操作系统 服务器平台 数据库平台 数据检索的帧循环长度 电网数据信息采样位数 位电网数据信息检索精度 位电网数据信息输出范围 检索效率文献 方法、文献 方法和所提方法的检索效率对比结果如图所示。图不同方法的检索效率对比结果从图可以看出，与文献 方法和文献 方法相比，所提方法具有较高的检索效率。因为该系统利用哈希算法排序融合电网数据信息，减少了存储空间，从而提高了系统检索的效率。查全率查全率是一个重要的指标，它反映了一个系统对与用户有关的数据信息的检索能力。公式为相关数据信息的数量数据库中所有相关数据信息的数量 （）文献 方法、文献 方法和所提方法的查全率对比结果如图所示。图不同方法的查全率对比结果由图可知，相比于文献 方法和文献 方法，所提方法的查全率较高。由于该系统利用数据挖掘中的关联规则，对电网的数据进行抽取和检索，保证了检索的准确率，因此系统查全率也最高。稳定性文献 方法、文献 方法和所提方法的稳定性对比结果如图 所示。由图 可知，所提方法在检索数据信息的过程中是最稳定的。因为本系统采用了三层结构，把整个系统分为表示层、功能层和数据层，从而避免了客户端直接控制电网（下转第 页），技术交流微型电脑应用 年第 卷第期（）传统系统图三种备份系统响应时间曲线图通过图我们可以明显看出，三种备份系统随着备份数据量的不断增加，其响应时间也在逐渐延长。但是文中设计系统还是占据优势的。文中设计备份系统从数据量增加开始，其响应时间增长速度一开始比较缓慢，直到数据量达到 时，上升幅度才开始增加，直到数据量达到 时，系统响应时间为 左右。传统系统也是前期响应时间增长缓慢的，但是到达数据量增至 时，响应时间开始急速增长。直到数据量为 时增加到了 左右。而此时，传统系统，其响应时间大概为 。综上所述，文中设计的系统，通过对备份数据的优化管理，将系统的响应时间降低了 左右。总结依托于 架构，进行了数字化档案异质异地备份系统的设计。设计软件与硬件部分，首先进行数字化档案预处理，并优化管理群集 中的备份数据，减少备份数据响应时间。通过本文的设计，在保证数据安全性的情况下，提升了企业备份数据的速度。但是由于一些条件约束，文中设计系统虽然可以产生良好的应用效果，但是还不够完善，将来可以向这方面深入研究。参考文献顾凤大数据背景下网络信息安全问题与对策通信电源技术，（）：侯晓凌计算机网络数据库的安全管理技术电子技术与软件工程，（）：李立志自动备份服务系统在 中的应用仪器仪表用户，（）：王琦异地数据存储备份与容灾系统建设与实践网络安全技术与应用，（）：徐琦数据备份的分析和发展思考江西通信科技，（）：岳阳，徐昆，康利刚面向大数据的存储系统结构设计数字技术与应用，（）：童丽娜“互联网”大数据时代下城建档案电子化异地备 份 探 索 与 研 究 城 建 档 案，（）：赵长松，廖巨成，贺胜，等自动备份工具的设计与实现电力信息与通信技术，（）：郝金双，刘荣，夏羽一种战术云存储数据备份系统新技术新工艺，（）：使用自带软件备份系统与数据网络安全和信息化，（）：（收稿日期：）（上接第 页）的数据，提高了系统的安全性，有效地阻止了非法用户的侵入，因此系统在检索时能够更加稳定。图 不同系统的稳定性对比结果总结针对当前索引系统在设计时存在检索效率差、查全率低、稳定性差的问题，设计考虑哈希索引的电网数据集市海量信息索引系统，在系统设计前，采用关联规则的挖掘结果对数据进行提取与检索，并利用哈希算法对电网数据信息