自适应频率和动态节点嵌入的图卷积网络_陈林凯.pdf

第 21 卷 第 1 期2023 年 2 月福建工程学院学报Journal of Fujian University of TechnologyVol21 No1Feb 2023doi:103969/jissn16724348202301012自适应频率和动态节点嵌入的图卷积网络陈林凯1，毛国君1，2(1 福建工程学院 计算机科学与数学学院，福建 福州 350118;2 福建省大数据挖掘与应用重点实验室，福建 福州 350118)摘要:图卷积网络由于能够直接处理图结构数据的优点而受到广泛研究。当前的多数图卷积网络是基于图信号的平滑性(低频信息)，且不能根据各节点适合的接受域生成对应的节点嵌入，随着网络层数的增加，易出现图卷积网络特有的过平滑问题而导致性能下降。为此，提出了基于自适应频率和动态节点嵌入的图卷积网络模型(adaptive frequency and dynamic node embedding based graph convolu-tional network，FDGCN)。FDGCN 模型能够自适应聚合不同频率的信息，同时利用每层网络的输出，平衡每个节点来自全局和局部领域的信息，动态地调节节点嵌入。通过在 4 个公共数据集上进行实验，对比了 6 个现有模型，证明了 FDGCN 模型的有效性。关键词:图神经网络;图卷积神经网络;过平滑;节点分类;频率自适应中图分类号:TP18文献标志码:A文章编号:16724348(2023)01007806An adaptive frequency and dynamic node embedding based graph convolutional networkCHEN Linkai1，MAO Guojun1，2(1 School of Computer Science and Mathematics，Fujian University of Technology，Fuzhou 350118，China;2 Fujian Provincial Key Laboratory of Big Data Mining and Applications，Fuzhou 350118，China)Abstract:Graph convolutional networks have been extensively studied due to their advantages of being able todirectly handle graphstructured data Most of the current graph convolutional networks are based on thesmoothness of the graph signal(low frequency information)and cannot generate corresponding nodeembedding according to the suitable acceptance domain of each node However，as the number of network lay-ers increases，the problem of oversmoothing unique to graph convolutional networks is prone to occur，resul-ting in performance degradation Therefore，an adaptive frequency and dynamic node embedding based graphconvolutional network(FDGCN)was proposed FDGCN model is capable of adaptively aggregating informationat different frequencies;meanwhile，it dynamically adjusts node embedding by using the output of each net-work layer to balance the information from the global and local domains of each node Experiments were con-ducted on four public datasets comparing six existing models to demonstrate the effectiveness of the FDGCNmodelKeywords:graph neural networks;graph convolutional neural networks;oversmoothing;node classification;frequency adaptation收稿日期:20221015基金项目:国家重点研发项目(2019YFD0900805)第一作者简介:陈林凯(1996)，男，广东揭阳人，硕士研究生，研究方向:图神经网络。近年来，学术界对图卷积网络的研究取得了一定的进展，但是在实践中发现，堆叠多层的图卷积网络的性能比少层的性能明显下降，文献 1表明重复堆叠许多层可能导致无法区分来自不同类别的节点的表示，从而使模型出现过平滑现象。图卷积网络(graph convolutional network，GCN)的第 1 期陈林凯，等:自适应频率和动态节点嵌入的图卷积网络过平滑问题使得目前较为成功的 GCN 基本都是浅层结构，即在 24 层就几乎收敛到某个固定状态。但是，仅使用 24 层卷积层的图卷积网络模型很难完成大型网络的处理任务。因此，如何缓解图卷积网络的过平滑问题、改善图卷积网络学习能力受到广泛关注。2020 年，Chen 等2 将残差卷积、恒等映射融入 GCN，提出了基于初始残差和恒等映射的图卷积网络(graph convolutional network via initial re-sidual and identity mapping，GCNII)模型。2021年，Bo 等3 的实验结果表明低频信息和高频信息都有助于学习节点的表示。Xu 等4 提出了跳越知识网络(jumping knowledge networks，JKNet)模型，证明了跳跃链接对于提高图卷积神经网络性能的作用。DropEdge5 在每个训练阶段之前随机删除一定比例的边，以缓解过平滑问题。文献 6 表明，信号的平滑性即低频信息，是GCN 成功的关键。多数图神经网络模型在学习中保留节点特征的共性(低频信息)，这种机制适用于协调性网络，即同类别节点倾向于相互连接的图数据。然而，仅利用低频信息不可避免会忽略节点特征信息之间的差异。此外，每个节点适合的接受域，即节点能聚合到其他节点信息的范围，是不一样的，不合适的节点接受域将导致模型性能下降7。为了缓解图学习中产生的过平滑问题，本研究引入自适应频率和动态节点嵌入机制，使得模型可以合理利用图信号的低频信息和高频信息;同时根据每个节点适合的接受域，动态地平衡每个节点来自全局和局部领域的信息，生成更具区别性的节点嵌入。1FDGCN 模型设计11自适应频率聚合函数图卷积网络模型可以看成特殊形式的滤波器，根据聚合函数的不同，可以分为低通滤波器、高通滤波器等。若给定输入节点特征矩阵 Z=z1，z2，zN NP，N 为节点个数，P 为节点特征的维度，则特征矩阵经过 FDGCN 的聚合函数的节点嵌入更新如公式(1):zki=aLij(FLZ)k1i+aHij(FHZ)k1i=zoi+jViaLij aHijdidjzk1j=zoi+jViaGijdidjzk1j(1)其中，zki表示第 k 层节点 i 的节点嵌入，Vi为节点i 的一阶邻居节点集，di为节点 i 的度，aLij和 aHij分别表示节点 i 聚合节点 j 的低频和高频信息的比例系数，0，1 是一个超参数。aGij数学表达式如公式(2):aGij=tanh(gT zk1izk1j)(2)式中，g 是可学习的映射向量，|表示拼接操作，tanh()是激活函数。aGij 1，1 是一个门控系数，用于控制低频信息和高频信息的比例。FH代表高通滤波器，用于提取高频信息，FL低通滤波器用于提取低频信号，如公式(3)、公式(4)所示:FL=I+D12AD12=(+1)IL(3)FH=ID12AD12=(1)I+L(4)A、D 和 I 分别为邻接矩阵、度矩阵及单位矩阵，拉普拉斯矩阵 L=DA。此外，z0i=MLP(zi)1P，MLP(multilayer perceptron)为多层感知机，即将原始特征先进行线性变换，传播过程中不再进行特征变换。12动态节点嵌入调节机制节点的接受域随着网络层数的增加而增大，但每个节点的最佳接受域都不一样。为此，本研究在进行特征传播后引入动态节点嵌入机制。即利用一个可学习的映射向量来生成比例系数，该映射向量通过 Xavier 初始化方法进行初始化操作并由所有节点共享。其中随着模型训练的迭代更新为公式(5)，l=ylog y +(1y)log(1y)表示含有可学习映射向量 t(tP1)的交叉熵损失函数，lr 表示学习率。t=tlrlt(5)13FDGCN 模型图 1 为 FDGCN 的结构示意图。输入邻接矩阵 A、节点特征矩阵 Z。首先将节点特征矩阵 Z经过多层感知机进行特征变换，压缩特征维度生成原始节点嵌入 Z0再根据输入的邻接矩阵 A 得到每个节点的邻居集合进行特征传播，传播过程中每次聚合保留一定比例的原始节点嵌入 Z0，生成 K 层节点嵌入 Zk(k=1，K)。然后将 K+1层的节点嵌入(包含原始节点嵌入 Z0)与映射向量 t 运算生成系数矩阵 S=(S0，SK)。根据系97福建工程学院学报第 21 卷数矩阵 S 与 K+1 层节点嵌入的运算，生成每个节点最佳的节点嵌入。最后再经过多层感知机和softmax 激活函数输出 Zout，根据输出 Zout进行节点分类等下游任务。图 1FDGCN 网络结构示意图Fig1Schematic diagram of FDGCN network structure算法 1 给出了利用 FDGCN 网络对图的节点进行概率分类的具体流程。算法 1class in FDGCN输入:邻接矩阵 A(图 G)，特征矩阵 Z，网络总层数 K，超参数 输出:节点类别概率矩阵 Zout1Z0=MLP(Z)，NP;2 for k=1 to K:3for i=1 to N:4zki=zoi+jViaGijdidjzk1j;5end for6 end for7Z=stack(Z0，ZK)，N(K+1)P;8S=(Zt)，N(K+1)1;9S=(S)T，N1(K+1);10Z=squeeze(SZ)，NP;11Zout=softmax(MLP(Z);12 Classfying all nodes in G accoding to Zout其中，stack()、squeeze()操作为数据维度进行重新排列，以便在计算过程中进行维度匹配;()为激活函数;tP1为可训练的映射向量，通过映射向量 t 与不同的网络层的节点特征嵌入Zk(k=0，K)进行运算生成系数矩阵 S，系数矩阵 S 用于调节来自不同网络层的每个节点嵌入表示的比例，动态地衡量每个节点在不同接受域范围下生成的节点特征嵌入的重要性。2实验分析21实验环境配置实验在 NVIDIA TX 3060Ti 服务器上进行，Python 版本为 37，PyTorch 版本为 17，CUDA 版本为 110。22数据集本研究使用 3 个标准的引文网络数据集Cora、Citeseer 和 Pubmed8 以及 1 个来自维基百科的网络数据集 Squirrel9 来进行半监督节点分类，其中 Cora、Citeseer 和 P