分享
6GANAB5G6G网络智能数据采析白皮书28页.pdf
下载文档

ID:3039676

大小:5.79MB

页数:28页

格式:PDF

时间:2024-01-18

收藏 分享赚钱
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,汇文网负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
网站客服:3074922707
GANAB5G6G 网络 智能 数据 白皮书 28
B5G/6G 网络智能数据采析:网络智能数据采析:网络数据采集、知识表示与推理、特征数据集构建与评估Data Acquisition and Analysis of B5G/6GNetwork Intelligence:Network data collection,knowledge representation and reasoning,featuredata sets construction and evaluation2022 年年 1 月月摘要随着移动通信网络的日益复杂以及服务千行百业的多样化差异化服务需求,深度融合人工智能、大数据与计算,发展可无人驾驶和精准服务定制的智能通信网络是 5G 演进和 6G 发展(B5G/6G)的最重要研究方向和必然发展趋势。如何嵌入数据与智能形成智慧内生、通算一体的网络智能新技术体系,面临架构、数据和 AI 算法等重大挑战,而其中数据是最重要的基础,它基本决定了网络智能的性能上限,而架构和算法只是逼近该上限。只有解决了移动通信大数据如何采集、如何分析、如何利用这一最基础的问题,并形成完备的数据采析体系,才能加速促进 B5G/6G 网络智能新技术体系的发展。本白皮书主要介绍了一种 B5G/6G 网络智能数据采析体系,通过移动通信网络数据的采集与存储、移动通信原理与协议的翻译、网络数据知识图谱的构建与解析、网络智能特征数据集的构建与评估,实现了数据层面的信息整合、信息层面的知识抽取与表示、智能层面的知识计算与推理以及应用层面的特征定制等功能。其目的是开创一条网络智能数据采析可落地的路径,为业界提供一种网络智能数据技术新思路和新范式。目录1.B5G/6G 网络智能发展愿景与挑战.62.B5G/6G 网络智能数据采集分析体系.82.1.无线网络智能开放平台.92.2.数据采集.102.3.基于知识图谱的表示与分析.112.4.特征数据集构建.113.网络数据知识图谱构建与应用.123.1.移动通信大数据的智能特征工程.123.2.网络数据知识图谱的构建.133.2.1.知识图谱的技术架构.133.2.2.基于通信协议与原理的网络数据知识图谱的构建.143.2.3.知识图谱的知识补全方法.143.2.4.知识图谱的边权重.153.2.5.知识图谱的节点重要性和节点间影响效率.153.3.网络数据知识图谱的应用.164.网络智能特征数据集构建与评估.184.1.网络数据 KPI 数据模型.184.2.面向特定场景的基于知识图谱的影响 KPI 特征初筛选.184.3.基于机器学习的特征数据集构建.194.4.特征数据集构建过程的评估体系.194.5.面向 KPI 的特征数据集的评估体系.205.特征数据集构建与评估案例.205.1.上行吞吐率为核心的局部知识图谱构建.205.2.上行吞吐率为核心的局部知识图谱深入分析.215.3.上行吞吐率特征数据集构建.235.4.上行吞吐率特征数据集的评估.246.未来展望.25参考文献.25前言随着移动通信网络的日益复杂以及服务千行百业的多样化差异化服务需求,深度融合人工智能、大数据与计算,发展可无人驾驶和精准服务定制的智能通信网络是 5G 演进和 6G 发展(B5G/6G)的最重要研究方向和必然发展趋势。目前,国内外该方向的研究还处在起步阶段,如何嵌入数据与智能形成智慧内生、通算一体的网络智能新技术体系,面临架构、数据和 AI 算法等重大挑战,而其中数据是最重要的基础,它基本决定了网络智能的性能上限,而架构和算法只是逼近该上限。移动通信网络从终端、无线接入网、传输承载网络到核心网,在网络运行过程中将产生成千上万个数据字段和指标,涉及不同的软硬件、功能以及协议栈,如何对各类众多复杂的数据进行有效采集、归类、分析及使用,建立完备的网络数据采集分析体系,是网络智能发展的亟需解决的基础问题。5G 及未来 6G 的网络结构、终端类型、终端行为、数据业务需求、系统资源配置等都具有高动态性、时效性强及相互耦合性等特点。因此,移动网络的数据采析面临诸多挑战,主要包括:数据分散在不同设备、不同层次导致的获取困难,数据的种类繁多、结构复杂导致的剖析困难,数据的高度抽象导致的理解困难,数据之间的相互耦合、关联复杂导致的挖掘困难等。针对这些挑战,如何规范归纳数据的属性,高效厘清数据之间的关系,深入挖掘关系之间的深层联系,清晰表征数据、关系内在蕴藏的关键信息已成为一个重要课题。网络智能化严重依赖数据基础支撑,建立完整的数据采析体系,解决数据如何采集、如何开放、如何利用这些最基础的问题,将加速促进 B5G/6G 网络智能新技术的发展,并成为网络智能化的重要里程碑进展。本白皮书的主要目的就是开创一条网络智能数据采析可落地的路径,为业界提供一种网络智能数据技术新思路和新范式。其中,作为网络数据知识表示的新方法和知识管理的新工具,知识图谱可以厘清数据之间复杂的关联关系,可以表征数据以及数据之间关系的种类、属性,可以借助图谱的拓扑结构以及节点信息进行智能推理以及智能特征工程实践等。因此,知识图谱是解决上述移动通信网络数据采析面临的诸多挑战的高效工具,是B5G/6G网络智能采析体系中最重要的一环。本白皮书主要内容介绍了一种 B5G/6G 网络智能数据采析体系,其成果主要体现在移动通信网络数据的采集存储、知识表示、知识推理以及特征数据集的构建和评估。B5G/6G 移动通信网络的知识表示借助知识图谱等工具,将具有高动态性、时效性强及各要素易相互耦合等特点的移动通信网络,结合移动通信原理和协议以一种可视化、层次化、结构化的方式呈现出来,将移动通信网络内在复杂关系由“黑盒”变成“白盒”。在知识表示的基础上,利用 B5G/6G 移动通信网络的知识推理将移动通信网络中的海量数据、复杂的连接进行有效的加工、处理、整合,实现知识的快速响应和推理,赋予移动通信网络感知与认知能力。基于移动通信网络知识图谱中数据字段之间的关联分析及业务需求,将数据进一步分为不同的种类并对其进行特征提取,即形成 B5G/6G 移动通信网络的特征数据集。特征数据集表征对移动通信网络关键性能指标(KPI)有重大影响的关键特征以及这些特征所采集的数据的集合。特征数据集作为专家知识和智能算法的产物可以成为后续智能优化环节的直接输入源。其构建目的是在移动通信网络智能诊断、定位以及调优的过程中,直接围绕关键的目标指标获取与其紧密相关的重要特征,为进一步的网络智能感知、预测、优化甚至数字孪生提供重要参考。(6G ANA,TG3)研究单位研究单位:网络通信与安全紫金山实验室,东南大学,北京邮电大学,中信科移动通信技术股份有限公司,华为技术有限公司,爱立信(中国)通信有限公司,维沃移动通信有限公司,中国电信股份有限公司研究院起草人起草人:尤肖虎、黄永明、詹行、何世文、易云山、尤建洁、李文璟、丰雷、徐晖、孙万飞、赵明宇、严学强、王立磊、赵仁乾、袁雁南、钱兵、高璐、刘洋1.B5G/6G 网络智能发展愿景与挑战网络智能发展愿景与挑战移动通信网络 5G 与未来 6G 服务千行百业,应用场景极大丰富,多样化用户需求的满足面临巨大挑战。大数据、人工智能与通信深度融合形成网络智能,已成为 5G 演进和 6G 发展(B5G/6G)的必然发展趋势。相比于传统以手机终端通信为主的 4G 网络,5G 网络与未来 6G 网络需要支持全行业全场景全业务,助力千行百业的数智化转型,提供极致的业务体验和高价值的新型业务服务能力。为了满足这些需求,6G 无线通信网络将不仅仅局限于陆地无线通信网络,需要通过卫星、无人机等非陆地网络作为有效补充,构建空天地海一体化网络。全频谱资源将被充分挖掘来进一步提升数据传输速率和连接数密度。由于超异构网络、多种通信场景、大量天线单元、大带宽、新的服务需求的出现将产生海量数据,6G 将借助人工智能与大数据技术实现一系列智能化应用。因此,当移动通信发展到 6G,将与计算技术、大数据与人工智能技术进行深度融合,实现从个人应用、垂直应用到治理应用的全应用服务,最终呈现出“全覆盖、全频谱、全应用、强安全”的新范式12。在未来 6G 网络中,面临的服务需求是支持虚拟和物理融合、全息、情景化、个性化、泛在沟通和网络需求的集成异构网络技术和空天地海集成网络,当前网络的操作模式与基于规则的算法,将会严格限制预设规则,难以动态地适应不断变化的用户需求和网络环境。网络运营经验不能有效积累,限制了网络能力的持续提升。这意味着在目前的操作模式下,网络没有自我进化的能力。任何升级和改进都必须依靠大量的专业工作,这对于规模和操作复杂性都是前所未有的 6G 网络来说都是无法接受的。因此,在网络中实现智能内生,使得 B5G/6G 时代网络更加自动化和智能化,是解决上述问题的重要途径1。其中,数据是 B5G/6G 网络智能的必备基础,只有利用移动通信大数据,才能从业务体验、网络质量、网络效率和网络成本等各个方面自主优化网络4。如何利用移动通信大数据并嵌入智能形成网络智能新技术体系,面临架构、数据和AI 算法等挑战。面对这些挑战,亟需建立完备的网络数据采集分析体系。在采集、分析数据的基础上,利用分析结果使之更好地满足差异化的应用需求,实现可支持灵活的网络功能编排、更加精细化的移动通信网络资源分配及高效的网络控制。B5G/6G 网络的网络结构、终端类型、终端行为、数据业务需求、系统资源都具有高动态性、时效性强及相互耦合性等特点。因此,移动通信大数据采析面临诸多挑战,主要包括:数据分散在不同设备、不同层次导致的获取困难,数据的种类繁多、结构复杂导致的剖析困难,数据的高度抽象导致的理解困难,数据之间的相互耦合、关联复杂导致的挖掘困难等。针对这些挑战,如何规范归纳数据的属性,高效厘清数据之间的关系,深入挖掘关系之间的深层联系,清晰表征数据、关系内在蕴藏的关键信息已成为一个重要课题。相应地,移动通信网络从使用终端、接入网到核心网涉及众多复杂的数据,有成千上万个数据字段和指标,涉及不同的软硬件、功能以及协议栈。对移动通信网络运行过程中形成的各类数据进行有效采集、归类、分析及使用,最大程度地发掘移动通信网络的服务潜能,促进移动通信网络技术优势的进一步发挥已成为当前移动通信网络迈向智能化发展的必经之路。传统的移动通信数据分析方法大致可分为两种:一种是通信领域中积累的理论和经验的建模分析,比如对异常的根因分析中的专家系统、基于无线网知识库 KPI 多指标的异常检测3、无线资源管理优化等方向的优化模型分析等。另一种是数据驱动的机器学习模型和算法,其着眼点在于为某个特定问题提供一类高效算法。与此同时,由于B5G/6G 网络前所未有的复杂性,以及基于数据驱动的 AI 技术本身的其局限性,导致这些学习模型和算法无法端到端的全流程完成从各类网络问题现象的发现到解决方案的落地。特别是在移动通信领域,其内在机理的“黑盒”式表达,欠缺可解释性和可扩展性。因此,单一的知识/模型驱动或者单一的数据驱动的方式已经无法满足移动通信大数据分析的需求。移动通信领域的数据分析需要向知识/模型与数据双驱动的智能模式转变。AI 作为移动通信领域数据分析引入的有效工具,它本身的发展对移动通信领域有着重大的影响。以专家系统为代表的早期的 AI 强调因果律,重视与符号推理相关的知识结构性,其代价是对排中律的破缺。以统计机器学习、深度学习等为代表的后续的AI 强调排中律,不惜对因果律破缺。如何利用折中的理念将两者有效的结合起来,是当前 AI 发展正在进行深度思考的地方。在 2018 年底,正式公开提出第三代人工智能的理论框架体系:(1)建立可解释性、鲁棒性的人工智能理论和方法;(2)发展安全、可靠、可信及可扩展的人工智能技术。在具体实施路线图中着重强调了数据与知识融合的人工智能理论与方法。其中,知识图谱作为当前比较成熟的技术工具,可以为第三代人工智能技术的落地提供有力的支撑。在其他的专业领域,已经基于知识图谱等工具形成从数据到信息,从信息到知识,从知识到智能的数据治理类脑系统。这一类脑系统实现的技术闭环正是对两种理念进行折中融合的探索。同样地,在移动通信领域,嵌入数据与智能形成网络智能新技术体系也依然需要沿着数据-信息-知识-智能这条技术路径践行。此技术体系的实现是在数据采集和分析的基础之上。知识图谱作为实现网络智能技术路径的关键一环,集第一代 AI专家系统与第二代 AI 机器/深度学习的优势于一体,是推动 B5G/6G 网络智能化过程的核心。利用知识图谱这一核心工具,针对移动通信网络数据的多源异质性与组织结构松散,移动通信网络结构层次化与扁平化相耦合的特性,有效地厘清移动通信数据、移动通信网络以及移动通信网络性能内生因素之间的关联关系,实现移动通信知识的互联互通、移动通信资源的高效管理和移动通信网络的智能维护,使得移动通信网络内生要素与内生关联关系以一种易于理解的、结构清晰的、定位精准的可动态展示的方式呈现出来。基于知识图谱的数据分析是实现移动通信知识获取、知识整理以及知识表示的重要一环。其后,基于网络数据知识图谱的关联关系分析,完成针对目标指标的特征初筛选。最后不断调优算法、训练模型,完成各类面向不同应用场景的特征数据集构建。从而,实现移动通信知识整理到移动通信智能运用的落地环节。图 1-1各行业通用的大数据认知智能构建图132.B5G/6G 网络智能数据采集分析体系网络智能数据采集分析体系为了解决在嵌入数据和智能形成新技术体系的过程中,面临的架构、数据和 AI 算法等多种挑战,需要建立完备的网络数据采集分析体系。该技术体系分四个模块:无线网络智能开放平台模块、数据采集模块、基于知识图谱关联关系分析模块和特征数据集构建模块,完成了数据层面的信息整合,信息层面的知识抽取,智能层面的知识计算以及应用层面的特征定制等功能。无线数据智能开放平台模块和数据采集模块是为了解决B5G/6G网络中数据逐层获取难的问题。基于知识图谱关联关系分析模块和特征数据集构建模块是为了解决B5G/6G 网络中数据表示、分析和特征提取难等问题。四个模块相辅相成,不仅为 B5G/6G网络智能的落地奠定数据基础,同时也为 B5G/6G 网络智能的实现途径进行了探索。图 2-1B5G/6G 网络智能数据采集分析体系示意图2.1.无线网络智能开放平台无线网络智能开放平台B5G/6G 无线网络智能开放平台是基于 B5G/6G 网络和 B5G/6G 数据仓库的基础上,深度融合大数据和人工智能,以 B5G/6G 网络智能数据采集分析体系为核心思想,构建以数据开放、数据共享、数据分析和数据应用为目标的 B5G/6G 网络智能开放平台。B5G/6G 无线网络智能开放平台提供了移动通信网络数据实时采集、分析、追踪、可视化的一站式解决方案,为业内提供专业网络数据支持,打造行业真实数据开放的优质生态圈。智能开放平台的架构主要分为三层,分别为数据采集和预处理层,数据分析层以及数据应用层。如下图所示:图 2-2B5G/6G 无线网络智能开放平台示意图开放平台以 API 的形式接入多维度的丰富 B5G/6G 数据,形成面向应用主题、集成度高、具有时间变化性和结构相对稳定的 B5G/6G 数据仓库,并在数据仓库基础上,建立网络数据采集与分析体系,包括网络数据知识图谱构建及关联关系分析、特征数据集构建以及 5G 网络大数据词典。5G 网络大数据词典是一套较完整的反映移动网络运行特性的数据体系,将为网络智能发展较系统地奠定数据基石。网络数据知识图谱构建及关联关系分析、特征数据集构建的产物会与 5G 网络大数据词典进行交互,特别是会将其中的重要成果录入到 5G 网络大数据词典中。数据分析层的成果支撑了数字孪生、异常检测、追因溯源、智能调优、智能决策以及智能评估等实际应用的落地。2.2.数据采集数据采集数据采集模块是 B5G/6G 网络智能数据采集分析体系中的基础。如果没有数据采集模块,那么后续所有的数据分析和数据智能应用都是空中楼阁。传统数据采集的流程是建表、过滤、采集到入库一步到位,缺少数据的按需加工处理。传统数据采集的方法包括:路测、信令数据硬采和信令数据软采等。采集的数据可以分为实时数据和非实时数据。为提升数据采集和传输交互效率,在本数据采集模块中可进一步考虑针对不同移动通信智能优化应用场景和网络部署,根据场景需求的定制化进行时间和空间数据采集。采集的数据可按需存储在基础数据仓库中。数据采集模块主要通过硬采、软采、路测等方式获取试验网的各类数据,主要包括无线空口(UE 侧)数据、无线空口(基站侧)数据、核心网数据、网管数据等。无线空口(UE 侧)数据、无线空口(基站侧)数据,包含物理层(L1)、数据链路层(L2)、网络层(L3)三大类数据。其中物理层包括下行共享信道、上行共享信道、下行控制信道、上行控制信道、随机接入信道、探测参考信道等数据。数据链路层包括下行调度信息、上行调度信息、下行控制信息、信道状态信息等数据。网络层包括广播、寻呼、接入等数据。基站侧通过提取上述信息,组建消息包,建立通信接口,将实时数据发送到外部平台,实现基站侧数据采集的功能。核心网数据包括控制面和用户面数据。控制面数据主要是指控制信令协议类型的数据,用来控制业务流程的建立、维护和释放。用户面数据主要是指真正的业务数据,如语音数据、分组业务数据、即时通信数据、邮件数据及视频数据等。网管数据包括性能数据、告警数据和配置数据。性能数据主要是指针对不同的网元采集到其对应的性能信息。告警数据主要是指所有网元生成的各种设备故障告警报告、网络事件报告以及与网络、业务相关的故障报警报告。配置数据主要是指网络中网元设备的基本信息,与实体形成对应的映射,多用于网络的拓扑信息管理。数据预处理是对采集的上述移动通信网络原始数据进行脏数据处理、按时间分区、非结构化数据做结构化处理以及 ETL 入库等操作。ETL 工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。2.3.基于知识图谱的表示与分析基于知识图谱的表示与分析作为知识表示的新方法和知识管理的新思路,知识图谱已经在越来越多的垂直应用领域开始崭露头角,扮演越来越重要的角色7891011。网络数据知识图谱基于移动通信行业数据而构建,是移动通信垂直领域的行业知识图谱。构建的过程中对移动通信领域知识的深度、广度、准确性有着非常高的要求。此模块主要利用网络数据知识图谱进行知识表示、关联关系分析和深度挖掘,为B5G/6G 网络智能提供有效的知识规则与知识计算支撑。B5G/6G 网络的网络结构、终端类型、终端行为、数据业务需求、系统资源都具有高动态性、时效性强及相互耦合性等特点,移动通信数据面临诸多挑战,数据分散获取困难,种类繁多结构复杂,关联复杂挖掘困难等等。利用知识图谱可以有效厘清数据字段与通信网络指标之间的各种关系,并在关系建立的基础上进一步深度挖掘,比如量化关系的关联程度、表征数据字段与指标的特征属性等等。这一模块将采集到的零散的、杂乱的、耦合的、归属不同的数据进行了有序整理,实现了数据-信息-知识的深度加工,为后续的网络智能提供了丰富的原材料。2.4.特征数据集构建特征数据集构建通过数据层面的信息整合,信息层面的知识抽取,智能层面的知识计算最后到应用层面的特征定制,特征数据集的构建是完成整个网络智能通信闭环的关键一环。比如针对业内关心的表征网络性能 KPI 的指标来说,如果能够利用知识图谱找出所有影响 KPI 的节点参数,并利用节点的重要性度量和影响 KPI 指标的效率进行排序,最后利用机器学习算法进一步进行特征筛选,那么就可以形成关于此 KPI 的特征数据集。这一模块主要实现流程是在此网络数据知识图谱构建完成的基础上,利用指标和数据字段的数据分析进行知识图谱边权重以及图结构的更新,为节点间关联关系的进一步挖掘提供基础支撑。其次,通过知识图谱中各边权重、各节点重要度以及节点与节点之间影响效率的确定,研究影响网络性能和用户体验质量的因素并进行诊断、定位和分析。其目标主要是基于追因溯源理论精确定位影响目标指标的关键参数,以及围绕此关键参数的关键数字字段,形成特征数据集参数目录。最后,利用此参数目录和机器学习算法进一步加工形成关于目标 KPI 的特征数据集。3.网络数据知识图谱构建与应用网络数据知识图谱构建与应用面向人工智能的移动通信数据治理先后使用知识规则库-知识图谱-机器学习三项认知智能技术,这三项技术作用于数据治理的多数组件,影响着数据处理能力的强弱,进而影响 AI 应用系统智能化程度的高低。移动通信网络数据的主要特征包括:海量、业务类型繁多、数据源多样化、组织结构松散。同时,生产、承载、传输这些移动通信数据的网络结构、终端类型、终端行为、数据业务需求、系统资源都具有高动态性、时效性强及相互耦合性等特点。为了使网络通信机制内生要素与内生关联关系以一种易于理解的、结构清晰的、定位精准的可动态展示的方式呈现出来。首先基于移动通信原理与移动通信协议,将移动通信网络数据进行全面梳理,完成面向人工智能的移动通信数据治理的第一步,即,使用专家知识库以及数据挖掘技术将专家知识和数据整合成人类所能理解的信息乃至知识规则。其次,利用知识图谱这项技术,构建具备逻辑推理关系的框架、模型,进行知识挖掘与知识推理。在网络数据知识图谱构建完成后,便可以从无线、接入、核心网乃至端到端的角度实现对 5G 实验网平台的网络服务进行全面监控。最后,机器学习作为闭环环节,主要是为了完成各类面向不同应用场景的特征数据集构建。当然,这个环节本身也是知识图谱的一种重要应用。3.1.移动通信大数据的智能特征工程移动通信大数据的智能特征工程一般来说,数据决定了机器学习的上限,而算法只是尽可能逼近这个上限,这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程,它的目的就是获取更好的训练数据特征,使得机器学习模型逼近这个上限。特征工程能使得模型的性能得到提升,有时甚至在简单的模型上也能取得不错的效果。特征工程在机器学习中占有非常重要的作用,一般认为包括特征构建、特征提取、特征选择三个部分。特征构建需要一定的垂直领域的经验。特征提取与特征选择都是为了从原始特征中找出最有效的特征。特征选择是从特征集合中挑选一组具有明显物理或统计意义的特征子集。两者都能帮助减少特征的维度、数据冗余,特征提取有时能发现更有意义的特征属性。特征选择是个重复迭代的过程,并在此过程中能表示出每个特征对于模型构建的重要性。网络数据知识图谱的构建以及基于此基础上的内生因素关联关系深度分析是可以有效减少智能通信领域中特征选择工程的重复迭代过程,为智能通信领域的研究者优化某一目标 KPI 时提供直接有效的数据字段选择方案。移动通信大数据的智能特征工程主要包括:基于通信协议与原理的网络数据知识图谱的构建、知识图谱的边连接强度和边权重的计算、知识图谱的节点重要性和节点间影响效率以及面向特定场景的基于知识图谱的影响 KPI 特征初筛选。基于网络数据知识图谱的智能特征工程,可以极大的降低冗余特征的影响,发挥知识挖掘与溯源推理的优势,提高特征筛选的效率。3.2.网络数据知识图谱的构建网络数据知识图谱的构建知识图谱本质上是一种语义网络,其将人类大量的客观经验沉淀在巨大的网络当中。构造一个完整的网络数据知识图谱,是非常复杂的系统工程。与其他领域的基于规则、机器学习、深度学习和强化学习算法进行知识抽取不同的是,网络数据知识图谱的知识抽取主要基于通信原理和协议5。因此,其中需要大量的具有通信专业知识的人力资源进行人工整理。人工整理的网络数据图模型是一个基础的图模型,还需要进一步完成实体抽取、关系抽取以及属性抽取才能合成网络数据知识图谱拓扑结构。在网络数据知识图谱拓扑结构构建完成的基础上,才能开展基于数据驱动的图谱结构更新、关联关系深度分析以及利用数据动态感知的知识计算等等。3.2.1.知识图谱的技术架构知识图谱的技术架构知识图谱的构建涉及数据采集、知识抽取、知识存储、知识融合等多个方面。图 3-1 知识图谱技术架构数据采集:网络数据既包括结构化数据,也包含大量的半结构化与非结构化数据,比如网络日志、工程参数、开发文档、设计文档、通信协议、标准等。知识抽取:知识抽取是知识图谱构建的核心,包括了知识建模、实体抽取、关系抽取。抽取的方法与数据的类型与结构化程度密切相关,常用技术包括知识映射、包装器、自然语言处理与深度学习等等。知识存储:知识图谱的存储需要综合考虑应用场景、系统性能、推理能力各方面需求,使用图数据库或资源定义框架数据库进行存储,部分场景下可以使用关系型数据库进行存储。知识融合:移动通信网络的复杂性决定了其知识图谱的构建无法一蹴而就,无线网、核心网、数据与传输等各专业分别建立知识图谱,最后进行融合获取更加完整全面的知识图谱,用以支撑决策的全面智能化。3.2.2.基于通信协议与原理的网络数据知识图谱的构建基于通信协议与原理的网络数据知识图谱的构建网络数据知识图谱构建的目标在于将移动通信协议、性能和流程等相关的数据字段及指标间的因果关系和关联规则以知识图谱的形式直观的展现出来,以节点表征数据字段及指标,以边连接关系表征数据字段及指标间的因果关系与关联规则,为后续关联分析方法的研究提供依据。主要分为以下几个步骤。一、实体和关系的确立:依据通信原理与协议等通信领域内的专家知识,对网络数据所涉及的指标和数据字段进行梳理,并确立实体类型,此实体类型可以根据需要进行分类。同时针对定义的实体,确立实体与实体之间的关系。二、三元组的建立。在实体和关系确立的基础上,构建具有连接关系的实体网络数据通用三元组,即(head,relation,tail)。其中,head 为三元组中的头实体,tail 为三元组中的尾实体,relation 为实体间的关系。其后,以三元组中的头实体和尾实体作为网络数据知识图谱的节点。以三元组中的实体间的关系作为图谱中相应的节点与节点之间的边连接关系。三、知识图谱的构建。以步骤二中三元组的头实体、尾实体作为知识图谱的节点,每一个节点表征了一个性能相关的数据字段或指标,关系为节点之间的边,利用通信专家知识库里的知识与规则将所有存在关系的实体节点进行有向连接,可以得到具有拓扑结构的网络数据知识图谱。3.2.3.知识图谱的知识补全方法知识图谱的知识补全方法知识补全(Knowledge Graph Completion,KGC)是指预测出知识图谱三元组中缺失的部分,从而使得知识图谱变得更加完整。对于一个知识图谱 G 而言,其基本组成包括实体集 E=e1,e2,en(n 表示实体的个数),关系集 R=r1,r2,rm(m 表示关系的数目)和对应的三元组 T=(ei,rk,ej),其中,ei,ej E,rk R。由于知识图谱中的实体 E 和关系 R 的数量都是有限的,因此可能会存在一些实体和关系不在 G 中。根据需要补全的内容,可以将知识补全分成三个子任务:给定部分三元组(?,rk,ej),预测/补全头实体ei;给定部分三元组(ei,rk,?),预测/补全尾实体ej;给定部分三元组(ei,?,ej),预测/补全头实体和尾实体之间的关系rk。网络数据知识图谱中,知识图谱补全可以有效挖掘特征数据之间的关系,在用户层KPI 和网络层 KPI 之间发现隐性关联。链接预测(Link prediction)是知识图谱补全的主要方法,按照上述三个子任务需求,链接预测包括头实体链接预测、尾实体链接预测和关系链接预测。链接预测的方法主要包括基于翻译模型的链接预测方法12和基于图神经网络的链接预测方法5。3.2.4.知识图谱的边权重知识图谱的边权重在知识图谱中,边代表了两个实体节点之间的关联信息,并且关联的强度通常由边的权重来表示。边权重的信息能够在知识图谱应用中表现出很高的价值。例如,在移动通信系统中,CQI 质量的下降可以直接导致 MCS 选择的调整,那么“CQI 质量指示”数据字段与“MCS 策略指示”数据字段之间关联边的权重就应该较大,使得当检测到MCS 选择进行大幅度调整时,需要查询是否是因为 CQI 质量下降导致的。再例如,同样在移动通信系统中,多个因素都可能导致无线网络空口传输速率的下降。比如:MIMO层数、调制阶数、编码码率、PRB 个数、资源开销占比以及符号数等等,那么这些因素导致无线网络空口传输速率下降的重要度是不同的。因此,表征这些因素的节点与表征空口传输速率的节点之间的边权重应该是不同的,这样才能帮助系统进行更加精确的诊断。对于具体的知识图谱来说,计算连接节点之间边权重的方法有很多。比如,基于两个实体之间的直接关联关系程度、基于两个实体之间相关的统计信息以及基于网络结构的节点间相似性度量等等。此时,需要根据网络数据所表征的具体特点来选择合适的方法。3.2.5.知识图谱的节点重要性和节点间影响效率知识图谱的节点重要性和节点间影响效率节点间的影响效率是指节点间最短路径上所经过的所有边的边权重的乘积。它表征的是连通路径上节点与节点间的影响程度。例如:在移动通信系统中,CQI 质量的下降会直接导致 MCS 选择的调整,MCS 选择的调整可以影响用户吞吐率的大小,用户吞吐率的大小会直接影响用户的主观体验质量。那么“用户主观体验质量指示”会受到这一影响链条上所有因素的影响。当然,每个因素对用户主观体验质量的影响程度是不同的。基于节点与节点间的影响效率,对每个节点在整个网络数据性能知识图谱中的重要度进行度量,以表征每个节点在整个知识图谱汇总的重要性。每一节点的重要性度量是基于所述此节点的出强度、入强度以及其它节点对此节点的输出和接收方面的贡献值所确定的。从而,当网络数据知识图谱在构建完成后,可根据数据感知动态调整图谱中所有节点的重要度。得出每个节点的重要度之后,由于节点间的长期关联性,监测重要度排名靠前的节点就可以监测整个网络数据的质量。这样,也为后续的网络数据知识图谱的应用打下了基础。3.3.网络数据知识图谱的应用网络数据知识图谱的应用应用一:基于用户需求的内生智能优化网络应用一:基于用户需求的内生智能优化网络未来 6G 网络中,将完成“海量物联”和“万物智联”,为各种需求高度多样化的用例提供服务。随着应用范围的进一步深化和拓展,近乎即时的网络内生智能优化是必须的。网络与计算的深度融合也是未来必然的趋势。利用已生成的网络数据知识图谱,当网络级性能评估指标和用户级性能评估指标中某个或某类指标数据出现较大波动,超出其预设的阈值范围时,确定所有连通到目标指标的路径,从而确定路径上所有的节点对目标指标的影响效率,对各个影响效率进行排序,从中选择出对目标指标的影响效率较大的一个或多个节点作为目标节点。并针对这些目标节点的关联节点,找出可调型数据参数,提供智能调优方案,进行决策执行。即可观察网络级性能评估指标和用户级性能评估指标是否得到优化。基于此技术路径,可初步实现基于用户需求的内生智能优化网络。应用二:无线网络智能规划应用二:无线网络智能规划未来无线网络中,空、天、地无线覆盖手段多样、算力、数据、控制节点资源类型多样,To B、To C 业务需求类型多样,无线网络规划一般需在复杂输入情况下满足多种规划目标,多目标间往往具有一定的冲突性或没有直接的关系,例如,在空地协同无线网络部署规划场景中,通过空中基站满足热点容量需求,地面基站满足广域覆盖需求,两种节点部署没有空间关联限制,优化参数也不同,但两者之间共同受可承担的总部署成本限制,无线信号也存在干扰问题。因此,网络规划将变为典型的高维度、多目标优化问题,随着目标个数的增多,常见的多目标优化算法在优化过程中将会产生大量的非支配解,从而无法达到最佳规划效果。网络数据知识图谱可作为大脑指导复杂网络自主规划行为,利用知识图谱预先找出资源、业务等特征与待规划指标所形成的特征子集间的最相关集合,从而将复杂规划问题分解为若干子问题的联合优化。例如在上述空地协同无线网络部署规划问题中,通过特征分析,把以吞吐率提升为目标的空中基站规划问题建立成子问题,把以覆盖电平提升为目标的地面基站规划问题建立成另一个子问题,找到包含在各个目标上性能突出的解,并且通过知识图谱找到面向不同场景(To B 业务、To C 业务、应急业务等等)的子问题(干扰协同、容量增强、成本优先等等)加权选择,从而在多个目标上综合性能较优的解,最终精准得到网络规划方案。应用三:网络运维智能快速故障定位应用三:网络运维智能快速故障定位6G 网络通过卫星、无人机、地面基站等多种接入方式,将具备空天地海全域立体覆盖能力;网络侧基于虚拟化、容器化技术,将为网络带来巨大的灵活性。但是,也因此而带来网络规模巨大和复杂程度巨大的问题。根据目前的经验,一个节点或网络功能的异常,将会导致与其关联节点相继异常,因此将产生大量的告警信息而无法快速的定位故障原因。6G 网络由于具备智能内生,基于泛在的数据、算法、算力能力,通过对数据的高效采析,可以对网络故障进行快速定位和根因分析。在异构海量接入站点的庞大数据中,借助智能内生和知识图谱技术,将站点大量的历史告警数据,区分为初始告警信息和衍生告警信息,高效抽取出初始告警与衍生告警的关联规则。在高动态性的异构网络中,快速锁定异常站点或功能,实现故障原因的快速定位。在网络运维领域,除了定位处理物理机器层面的异常外,还需定位处理虚机/容器层面的异常。此领域的历史告警信息可以从网管中获取,或从设备的各种日志(log)中获取,也可以结合设备的其它日志信息(例如事件日志、软硬件相关日志),基于网络运维的知识图谱,进行故障的分析和排查,进而快速定位故障根因。另外,使用知识图谱对网络数据的分析,还可以在网络传输参数优化等方面发挥较大的作用。应用四:无线网络数字孪生应用四:无线网络数字孪生数字孪生网络(Digital Twin Network)是以数字化方式创建物理网络实体的虚拟孪生体,且可与物理网络实体之间实时交互映射的网络系统,其核心要素为:数据、模型、交互、映射。将数字孪生技术应用于网络,创建物理网络设施的虚拟镜像,即可搭建与实体网络网元一致、拓扑一致、数据一致的数字孪生网络平台。数字孪生网络的主要挑战之一是数字孪生网络的开销问题,即以尽量小的开销实现高性能的孪生体。上述挑战的解决思路包括两个主要方向,一是数字孪生网络和物理网络最大化复用硬件、软件、空口频率和终端等资源来兼顾孪生性和隔离性,二是通过优化孪生体建模来降低数字孪生网络的资源开销。事实上,数字孪生网络试图将物理网络由“黑盒”变成“白盒”与基于知识图谱的无线网络知识表示的目标是一致的。可以说,作为语义网络的新一代工具,知识图谱以及基于此之上的深度数据挖掘对于孪生网络本体模型的构建是有促进作用的,可以在一定程度上实现孪生网络和物理网络的虚实映射。尽管数字孪生在部分现网中已经得到应用,然而这类孪生体往往是依据大量专家知识和特定领域背景构建的,通用性较差,往往只能适合网络环境中特定的物理或逻辑区域。因此,将上述两个解决思路方向相结合可解决通用性、效率等问题。基于数字孪生网络和物理网络复用资源的方式可快速获得大量优质无线网络大数据,在此基础上充分利用知识图谱和人工智能构建无线网络元模型和元算法。进一步地,通过复用资源方式验证上述模型和算法,并根据需求快速定制和迭代数据集,以及模型和算法。最终形成泛化能力强,可迁移到多种无线网络环境的数字孪生网络。应用五:多学科、跨行业广域协同的智能研发应用五:多学科、跨行业广域协同的智能研发现代化的产品研发一般是跨越多个学科与专业技术领域的复杂系统工程,同时,随着产品复杂程度的提高与产业分工的细化,智能研发需要跨越供应商、合作伙伴与客户的全产业链相互配合。对于 5/6G 基站设备这样涉及机、电、软多领域的产品研发,更需要建立广域协同的智能研发体系,打造基于知识图谱的专业能力共享与协同系统。4.网络智能特征数据集构建与评估网络智能特征数据集构建与评估网络智能通信领域中传统的特征工程专注于某项应用所突出的某几个 KPI。在移动通信知识图谱构建完成后,利用同体系的方法将所有 KPI 的特征工程完成,是智能通信发展到目前阶段所迫切需要的。如何评估特征数据集的构建过程,如何评估面

此文档下载收益归作者所有

下载文档
你可能关注的文档
收起
展开