信息网络多维效能评估研究.pdf

技术热点Technical Focus2023 年第 9 期http:/691 引言效能评估是信息网络综合指标的量化考核，是信息网络综合效能、整体运行态势以及网络可用性的重要量化手段1-3，是网络健康度的最直观呈现，是信息网络历史综合态势的晴雨表和未来趋势的预测。网络多维效能评估是对信息网络的综合性层次化指标预期能力与实际指标值的匹配程度或差异性的综合全面评估4。精准的效能评估，能够量化信息网络综合性层次化指标预期能力与实际指标值的匹配和差异，一方面能够量化得出信息网络资源能力对多样化差异化应用的满足程度，效能评估结果和分析数据可以为信息网络改进完善和未来应用驱动的网络筹划、开通、监视、评估和优化的全生命周期管理提供数据支撑；另一方面，效能评估结果对于全网级系统级的资源优化调控、评估指标体系持续优化完善具有指导和支撑作用。通过同领域资料查阅、现场调研等方式得出目前信息网络多维效能评估尚未有成熟的评估体系、评估算法，尚未建立科学合理的验证评估机制，评估指标体系缺失或者尚未标准化规范化体系化，缺乏正确可靠的验证手段以验证信息网络的效能，进而验证信息网络功能和性能是否达标。综上所述，建立科学规范标准的效能评估体系、编辑：贾静宇E-mail:赵 瑜 张晶晶Research on Multidimensional Effectiveness Evaluation of Information Networks摘 要 针对信息网络多维效能评估问题，提出效能评估方法和步骤，首先研究信息网络多维效能评估指标体系，包括网络整体效能、统一承载能力、动态重构能力、用户接入能力、业务接入能力、传输能力、资源调控能力和网络运维能力等方面，不同能力包含不同的指标体系参数，指标体系日益标准化规范化和持续完善；在此基础上论述指标归一化、确定权重系数、评估方法选择，紧密结合效能评估的多因素特点，选择模糊综合评判法进行评估，通过引入模糊数学方法改进层次分析模型，体现评估指标的模糊性和一致性原则；最后研究评估结果应用于资源持续优化调控。关键词 效能评估 统一承载能力 动态重构能力 接入能力 模糊综合评估 资源持续优化Abstract:Aiming at the multidimensional efficiency evaluation of information network,the algorithms and measures of effectiveness evaluation are brought forward.Effectiveness indexes are studied including whole network effectiveness and Unified-bearing and dynamically-reconfigurable system and user access and service access and transformation and resource regulation and network operation and maintenance capabilities,different capability consists of different indexes parameters indexes are standardization and canonicalization and continuous improvement.On the basis of which indexes normalization,weighting coefficient determination and the choice of evaluation methods are brought out.Fuzzy comprehensive evaluation is selected.The hierarchy process model is improved by drawing fuzzy maths which embodies the principle of fuzzification and consistency with close integration of Multiple factors of effectiveness evaluation.Finally,the results of the research evaluation are applied to the sustainable optimization control of resources.Keywords:effectiveness evaluation;unified-bearing capability;dynamically-reconfigurable capability;access capability;fuzzy comprehensive evaluation;continual optimization of resource信息网络多维效能评估研究技术热点Technical Focus信息技术与标准化http:/70评估算法库、评估指标体系库是信息网络效能进行科学量化评估的前提和基础，同时在此基础上基于多维多次评估结果、网络运行实时数据进行评估体系、评估算法库和评估指标体系库的更新完善和精准优化，进一步规范和标准化效能评估环节和链条要素，为持续资源优化调控、提高信息网络运行效能保驾护航。2 信息网络多维效能评估2.1 效能评估内容信息网络多维效能评估基础 3 个要素包括：(1)确定效能评估指标体系，对效能评估指标、评估参数以及是否是单一指标或最小原子指标确定正确的概念、内涵和外延，给定指标值区间；(2)通过主动轮询、被动测量、带内测量等多种方式，获得效能评估指标实时值；(3)基于指标实时值进行单一评估，在此基础上进行多指标效能的综合评价，即由效能参数的指标值求出效能综合评价。2.2 效能评估步骤效能评估关键步骤包括 5 个要素：(1)确定评估指标体系；(2)进行指标归一化处理，即进行非同质指标的映射和无量纲化处理；(3)确定指标权重系数；(4)选择合适的评估模型和评估方法；(5)得出评估结果，同时生成和完善资源优化调控策略。2.3 指标体系选取原则评估指标体系的选取确定是保证信息网络多维效能评估准确性和完整性的重要环节5-6，根据多年从事网络运维工作的经验，总结凝练得出效能评估指标3-4体系选取的 5 个原则：(1)目的性：所选单一指标或层次化指标或指标体系必须是领域内同行专家评审认可的，能够准确、全面、合理科学反应待评估信息网络的运行情况、态势信息或综合效能的；(2)完整性：所选指标要能组成一个相对完整的指标体系，要经过同行专家评审通过，尤其不能遗漏重要的指标；(3)独立性：单一指标必须能独立代表或表征信息网络的某一属性，针对多级分层指标要求同一层次的各项指标必须互斥，独立地反映信息网络的一个侧面或一个维度属性，不能存在横向包含、所属或因果关系；(4)可测试性：所选指标应便于采集、感知或通过测量工具测试，指标尽量用数量表示描述，对于无法定量描述的指标，可以采用对比赋值法、模糊综合评估方法或层次分析法进行量化处理，转化为可数量化表示的指标；(5)一致性：所选指标单位要一致，对于单位不一致指标要进行归一化处理，保证指标在同一准则下保持一致的含义。3 信息网络多维效能评估3.1 评估指标体系评估指标体系的标准化规范化和指标库的建立是效能评估的第一要义。从评估要素和评估结果的角度，效能评估指标体系一般从宏观几大评估能力进行描述，每个大的评估能力又可以细分为具体的细化的细粒度能力指标集，细粒度能力指标集根据需要还可以进一步细化为更多层指标，通常用一级指标、二级指标、三级指标等进行分解细化描述。由于单个评估指标仅能反应或代表待评估系统的某一细粒度属性或要素，整个信息网络效能的一个维度，因此基于单一指标的评估只能评估某一侧面或维度，缺失全面性和整体性，通常都是基于指标体系或指标集进行全方位多角度评估。综上所述，可以基于不同规则建立评估指标体系，可以按照信息网络的分层架构，或者功能系统，本文拟基于信息系统的分层架构，从传输层效能、技术热点Technical Focus2023 年第 9 期http:/71承载层效能和服务层效能指标体系维度构建。其中，传输层效能包括光缆网效能、信息传输系统效能、短波综合业务网效能；承载层效能包括统一网络承载能力、智能可控转发能力和机固一体组网能力；服务层效能包括统一通信服务能力、综合业务交换能力和信息服务保障能力；业务运行质量评估能力、综合运维管理能力、安全保障能力等。光缆网效能包括光缆网 4 个方面的能力：网络覆盖能力、通信传输能力、多域控制平面互通能力和时频同步支撑能力。3.1.1 网络整体能力(1)网络覆盖范围：信息网络覆盖范围；(2)全网总业务量：信息网整个网系的总业务量；(3)全网吞吐量：单位时间内通过信息网络的数据量；(4)全网传输速率：整网系平均传输速率；(5)全网端到端时延：整网系端到端平均时延；(6)网系覆盖率：已覆盖的范围占应该覆盖范围的比率。3.1.2 统一承载能力(1)路由表容量：路由表的容量大小；(2)转发时延：完成一次转发所需的时间；(3)网络自治域间路由收敛时间：完成一次网络自治域间的路由收敛所需的时间；(4)网络传输速率：网络每秒传输信息的比特数。3.1.3 动态重构能力(1)业务拓扑路由数量：承载层交换业务拓扑路由的个数；(2)网络自治域间路由收敛时间：承载层网络自治域间完成一次路由收敛所需的时间；(3)骨干网络传输速率：骨干网每秒内传输信息的比特数；(4)动态可部署节点开设时间：开设一次动态可部署节点所需的时间。3.1.4 用户接入支持能力(1)卫星建链时间：卫星网建链所需的时间；(2)短波建链时间：短波业务网建链所需的时间；(3)多手段并行接入可通率：以多种手段并行接入栅格网的成功概率；(4)用户快速接入时间：用户快速接入骨干网所需的时间。3.1.5 业务支持能力(1)业务服务质量：话音、视频、数据等各类通信业务服务质量；(2)业务传输速率：话音、视频、数据等各类通信业务服务传输速率；(3)业务吞吐量：话音、视频、数据等各类通信业务服务吞吐量；(4)业务端到端时延：话音、视频、数据等各类通信业务服务端到端时延；(5)业务传输成功率：话音、视频、数据等各类通信业务服务传输成功率。3.1.6 网络传输能力(1)传输速率：每秒内链路横截面通过的信息的比特数；(2)传输时延：发出数据包到接收数据包的时间间隔；(3)丢包率：接收端报文的数量与发送端报文的数量的比率；(4)时延抖动：在测量周期内，在某网络段按照顺序传递、且相邻两个帧的转发时延差的绝对值；(5)丢包率：测量周期内丢失的数据包个数与传输的数据包总个数的比值；(6)链路利用率：测量周期内一条链路上已用链路容量占链路容量的比值。3.1.7 抗毁抗干扰能力指标(1)抗干扰能力：测试网络正常工作的条件下的最大干扰值；(2)多路由备份能力：在网络毁伤情况下，工作正常的路由器对故障路由器信息备份的能力大小。3.1.8 移动接入能力(1)接入成功率：成功接入网络的系统数量与所有要接入网络系统数量的比率；(2)接入距离：成功接入网络的节点的最大覆盖技术热点Technical Focus信息技术与标准化http:/72距离；(3)信道利用率：信道占用时间同总时间的比率。3.1.9 资源调控能力(1)资源规划覆盖度：基于应用业务进行资源规划后的适用程度；(2)资源需求满足度：对多样化差异化应用业务所需资源的满足程度；(3)资源占用率：运维管理系统运行时资源占用情况；(4)网络资源规划时间：规划网络资源所需的 时间；(5)故障识别时间：当网络中有设备发生故障时，感知到故障需要的时间；(6)故障修复时间：从感知到故障，到故障完全修复需要的时间。3.1.10 综合运维能力指标(1)管理功能完备性：管理功能的多少；(2)管理规模：能够接入管理的网系种类、数量、经纬度覆盖范围，管理对象类型、数量、部署位置等；(3)管理实时性：网络节点、链路故障从故障发生到主动上报或轮询直至呈现在拓扑视图上的时间，参数配置下发到生效的时间；(4)网络动态管控能力：对机动性强、动态变化网络规模扩大或缩小后的动态管理域划分和拓扑动态更新管控能力；(5)互连互通能力：综合运维管理系统不同级别之间、综合运维管理系统与综合网管之间、综合网管与专业管理系统之间、与网元管理系统之间的通信能力；(6)智能化程度：数据分析、智能决策、态势预测、故障诊断，故障零延时处理能力；(7)可靠性维修性：综合运维管理系统故障之后的故障定位诊断和模块化切换重组时间；(8)弹性云化部署能力：基于微服务架构的按需动态快速重组能力。3.1.11 安全能力指标(1)入侵检测持续时间：外来入侵入侵网络开始到被检测的时间间隔；(2)入侵检测覆盖范围：网络入侵类型中被列入检测项的类型的比例；(3)攻击溯源定位时间：从检测到攻击行为到定位攻击源所经历的时间；(4)漏洞修复率：修复的漏洞占总检测漏洞的 比例；(5)恶意代码检测漏报率：恶意代码检测报告发生遗漏的几率；(6)身份管理与认证率：对用户身份成功认证的几率；(7)安全认证规模：安全认证的规模范围。3.2 评估指标归一化评估指标体系中的指标因为含义和性质不同而导致其单位、值域、量纲等有所不同，例如重量和时间指标，为了评估结果的准确性要进行无量纲化处理，即对指标进行消除量纲和数量级操作。经典的无量纲化处理方法包括理想指标值处理方法和 Z-Score处理方法等，可以根据评估对象、评估需求以及应用场景选择合适的无量纲化处理方法。(1)理想指标值处理法：传统处理方法以理想指标值的无量纲化处理基准为“1”，对单项指标进行归“1”化处理，此种处理方法的单项指标值0,1x的取值区间，优点是直观简单，指标值分布均匀；缺点是理想指标值主观性较大，缺乏客观性和准 确性。(2)Z-Score 处理方法：Z-Score，即：ixxxs=式中：x 代表单项指标的评价标准值；xi为单项指标原始值；11niixxn=为单项指标平均值；a=1 表示正 指标，a=-1 表示逆指标；21()sxxn=为单项指标的标准差。Z-Score 处理方法以标准差代替理想差值，相对于理想指标值处理法而言，更客观和准确。但是当单项指标原始值相差较大时，各类指标量化值之间可比性较差。用 Z-Score 法处理之后，标准值 x 绝对值技术热点Technical Focus2023 年第 9 期http:/73的大小与指标原始值的大小与散布程度为正相关，抵消了指标权重对综合评价值的影响。3.3 评估指标权重确定在效能评估过程中，各个评估指标对效能的影响不同，因此需要通过某种方式表明指标对于效能的重要与否，或者对重要程度进行排序，对指标进行加权处理即赋予指标权重是业界常用的方法。权重是衡量各指标在综合评价中相对重要程度的一个量化比率值，以百分数表示，其和为 1。3.4 信息网络多维效能评估方法效能评估涉及众多因素，因此其评估是基于多因素多指标体系的。多因素多指标综合评价方法经典方法有线性加权评分法、主成分分析法、模糊综合评价法等，不同的综合评价方法有不同的适用范围。多因素多指标综合评价多采用模糊综合评判 法，模糊综合评判法顾名思义，基于模糊环境，对基于多种因素影响基于多层次指标描述的系统进行层次化、全面综合评估。步骤 1：进行评估指标体系的层次化、分级化和标准化处理，根据指标之间的所属关系、包含关系、是否独立等因素进行层次化多极化划分，形成指标体系的分级分层模型。即建立基本 因 素 集123,.nUu u uu=，分 层 分 级 因 素 集：111121312212223212,iinnnniuuuuuuuuuuuuuu=；如果有更细粒度的可分解的因素指标，继续分层分级，直到所有指标因素单一、互斥：13131132133134135,.,uuuuuu=步骤 2：进行模糊综合评价集建立，评价集12,.mVV VV=是对待评估系统进行的评价结果的总体综合描述集，为了数字化评价结果，用评分集12,.,Tm=进行描述，即相对于评价集 V 的数字化评分档次。当模糊综合评价集为 V=好，较好，一般，差，较差，数字化评分集表示为100,85,70,50,30T=100,85,70,50,30T=。步骤 3：权重系数的确定，基于层析分析法确定每一层次全部因素权值。如果排列 n 个元素的重要性，采用两两比较法确定每一层次中因素的相对重要性，即比较两个元素 i 和 j，确定两个值 i，j，引入 19 比率标度，i、j的确定依据如下规则：(假定 j的相对值为 1)(1)当元素 i 和 j 同等重要时，i=j=1；(2)当元素 i 比元素 j 稍微重要时，i=3；(3)当元素 i 比元素 j 重要时，i=5；(4)当元素 i 比元素 j 非常重要时，i=7；(5)当元素 i 比元素 j 绝对重要时，i=9；i=2，4，6，8 是介于(1)(2)(3)(4)(5)的中间取值。基于上述规则两两穷尽比较所有元素，为评估准确需综合多个结论，形成比较判断矩阵 P，矩阵 的元素iijjP=。111213121222323132333123.nnnnnnnnPPPPPPPPPPPPPPPPP=求解比较判断矩阵的特征值0EP=，其最大特征值 max所对应的特征向量，即为权重向量12.n=，且11nii=。从而得到与12,.,nu uu 12,.,nu uu，对应的权重集12,.,n ；步 骤 4：建 立 模 糊 关 系 矩 阵 R(rij)，进行 单 因 素 评 判，分 级 计 算 因 素 集 中 各 因素 对 评 价 集 中 各 因 素 的 隶 属 度 rij，得 到 与12,nu uu对 应 的 单 因 素 评 判 矩 阵12,.,nR RR，rij?对U中第i个元素，专家划分为V中第j档次的人数评审专家人数；步骤 5：模糊综合评判，综合评判向量可由下式计算：123(,.,)lBRb b bb=3.5 资源持续优化调控策略所谓的优化调控就是对资源的调控，资源调控策略生成就是分析应用需求，建立应用需求与策略调度的一一对应关系，同时基于效能评估结构，多约束生成基于多约束条件的资源调度策略的过程。技术热点Technical Focus信息技术与标准化http:/74Brussels:NATOStandardizationOffice,2017.4 NATOStandardizationOffice.NATOstandardAEP-84(EditionKVersion1)standardinterfacesofUnmannedAircraft(UA)ControlSystem(UCS)forNATOUAInteroperability-InterfaceControlDocumentS.Brussels:NATOStandardizationOffice,2017.5 NATOStandardizationOffice.NATOStandardAEDP-02VolumeI(EditionBVersion1)NATOIntelligence,Surveillance,andReconnaissance(ISR)InteroperabilityArchitecture(NIIA)-资源优化调控策略分为不同的粒度，包括虚拟网络建立级别的(组网策略)、功能编排策略(系统级)、资源映射策略(节点级)、多信道并发传输控制策略(链路级)。(1)虚拟资源映射策略；(2)时隙分配策略；(3)端到端适变传输策略；(4)多路径并发传输控制策略；(5)负载均衡策略；(6)链路择优选择策略；(7)虚拟网络功能编排策略；(8)资源映射策略；(9)路径优化策略；(10)传输路径选择策略。4 结语本文从评估指标体系建立、评估步骤、评估方法、评估算法等方面研究总结了信息网络多维效能评估链条上的各个环节要素和经典方法。在充分梳理、细化各级各类网系、设备参数指标的基础上，建立科学规范标准的效能评估指标体系库是非常有意义的工作。与此同时建立评估算法库、归一化模型库，为效能评估奠定准确完备的基石，同时在此基础上基于数次评估结果、基于多手段感知采集的网络运行实时数据进行评估指标体系库、评估算法库和归一化模型库的更新完善和精准优化，进一步规范和标准化效能评估环节和链条要素，为持续资源优化调控、提高信息网络运行效能保驾护航。参考文献1 BoLennseliusandRydstrom.SoftwareFaultContent and Reliability Estimations forTelecommunicationsSystemJ.IEEETrans.SelectedAreasinCommunications,1990,8(2):262-271.2 THOMASDOWNS,ANTHONYSCOTT.EvaluatingthePerformanceidSoftwareReliabilityModelsJ.IEEETrans.Reliability,1992,41(4):12-16.3 ZAHEDIF,ASHRAFIN.SoftwareReliabilityAllocationBasedonStructureUtility,PriceandCostJ.IEEETrans.SoftwareEng,1991,17(21):345-356.4 李冬,宋里宏,王璐.战场网络攻击效能分析 J.网络安全技术与应用,2007(3):78-79,92.(收稿日期：2023-08-18)(上接第 68 页)ArchitectureDescriptionS.Brussels:NATOStandardizationOffice,2018.6 NATO Standardization Office.StandardsRelatedDocumentAEP-84.2(EditionAVersion1)Validation/TestGuidelineForAEP-84S.Brussels:NATOStandardizationOffice,2017.7 NATOStandardizationOffice.NATOstandardADatP-34(EditionNVersion1)NATOInteroperabilityStandardsAndProfiles(NISP)S.Brussels:NATOStandardizationOffice,2022.(收稿日期：2023-08-25)