基于矩阵型惯性投影神经网络的非负矩阵分解算法_李小玲.pdf

书书书第 51 卷 第 1 期2023 年 2 月福州大学学报(自然科学版)Journal of Fuzhou University(Natural Science Edition)Vol 51 No 1Feb 2023DOI:107631/issn1000224321479文章编号:10002243(2023)01000108基于矩阵型惯性投影神经网络的非负矩阵分解算法李小玲，夏又生(福州大学数学与统计学院，福建 福州350108)摘要:提出一种基于矩阵型神经动力学优化的非负矩阵分解算法 将矩阵非负分解优化问题首先转换为两个矩阵变量凸优化子问题，针对其子问题分别提出矩阵型惯性投影神经网络;然后，采用交替迭代方案寻找矩阵非负分解优化问题的解 理论分析证明了矩阵型惯性投影神经网络能收敛于矩阵变量凸优化子问题的最优解，并且基于矩阵型神经网络的交替迭代算法可以收敛到矩阵非负分解优化问题的偏最优解 最后，所提出的基于矩阵型神经网络的交替迭代算法被有效地应用于人脸识别关键词:非负矩阵分解;矩阵动力学优化;惯性投影神经网络;人脸识别中图分类号:TP3016;O242文献标识码:AA nonnegative matrix factorization algorithm based on matrix-typeinertial projection neural networksLI Xiaoling，XIA Yousheng(College of Mathematics and Statistics，Fuzhou University，Fuzhou，Fujian 350108，China)Abstract:This paper proposes a nonnegative matrix factorization algorithm based on matrix-typeneuro-dynamics optimization Firstly，the nonnegative matrix factorization problem is converted into twoconstrained convex optimization subproblems and two matrix-type projection neural networks for solvingthem are introduced by extending vector-type inertial projection neural network It is proved theoreti-cally that the proposed two neural networks can converge to the optimal solution of two convex optimi-zation problems，respectively Then alterative iteration algorithm with convergence to partial optimalsolution is analyzed Finally，the proposed algorithm is applied to face recognition，and the effective-ness of the algorithm is verified by experimentsKeywords:nonnegative matrix factorization;matrix-type dynamics optimization;inertial projectionneural network;face recognition0引言非负矩阵分解(nonnegative matrix factorization，NMF)是一种有效的特征学习技术，旨在将一个高维的非负矩阵分解为两个低秩非负矩阵的乘积，可以有效地进行数据降维，并得到基于部分的表示Paatero 等1 最先引入正矩阵分解这一思想 在 NMF 的求解算法，乘法更新算法2 易于实现，但无法保证收敛到驻点3 为了解决上述缺陷，Berry 等4 提出了交替非负最小二乘法(ALS)而后，Lin5 提出了投影梯度法，大大提高了交替非负最小二乘法的收敛速度 基于 NMF 的基本模型，众多改进的 NMF 算法68 也相继被提出，其中 Li 等6 提出局部 NMF 用于人脸检测，Hoyer7 将稀疏编码的思想融入到 NMF中，Cai 等8 提出的图正则化非负矩阵分解(graph regularized NMF，GNMF)可以将数据的内在结构嵌入低维表示作为一种并行优化方法，神经动力学优化方法在处理优化问题中展现出优越的搜索能力 Li 等9 解决了一类矩阵不等式约束矩阵的最小二乘问题形式;Huang 等10 提出了求解矩阵值优化问题的连续时间和离散时间两种矩阵型投影神经网络;Ye 等11 提出了一种求解盒约束条件下矩阵变量非线性优化问题收稿日期:20211031通信作者:夏又生(1957)，教授，主要从事智能优化计算方面研究，ysxia fzueducn基金项目:国家自然科学基金资助项目(61473330)福州大学学报(自然科学版)第 51 卷http:/xbzrbfzueducn的矩阵型神经动力学方法 在 Dai 等12 的向量模型的基础上，本研究提出一个基于连续时间矩阵型惯性投影神经网络的 NMF 算法，并将其运用到人脸识别 理论分析说明基于矩阵型神经网络的交替迭代算法能够收敛到矩阵非负分解优化问题的偏最优解 比较 4 种基于常见的非负矩阵分解算法，计算结果验证了所提出算法的有效性1非负矩阵分解给定一个数据矩阵 V mn+，NMF 旨在将其分解为两个低维矩阵，使得:V WH其中:W mr+，H rn+，r min(m，n)经典的 NMF 是要求解下列优化问题:minW0，H012V WH2F基于 NMF 模型，Cai 等8 提出了图正则化非负矩阵分解方法，目的是有效表示数据的内在结构，为了加强稀疏性，Dai 等12 引入了稀疏正则化模型 稀疏图正则化 NMF 优化模型为:minW0，H0f(W，H)=12V WH2F+tr(HLHT)+H1()其中:L 是 Laplace 矩阵，和 是正则项的权重系数，H1=ri=1nj=1hij由于问题(I)是一个双凸优化模型1314，为了求解问题(I)，将其分解为如下两个凸优化子问题:minH0f1(H)=12V WH2F+tr(HLHT)+H1()minW0f2(W)=12VT HTWT2F()2矩阵型神经网络21惯性投影神经网络模型为了解决优化问题()，Dai 等12 提出一个向量型惯性投影神经网络模型 为了加速和并行化，提出一种矩阵型惯性投影神经网络(matrix inertial projection neural network，Matrix-IPNN)，即:dXdt=Y;dYdt=Y+P(X f1(X)X;X(t0)=X0(1)其中:X，Yrn，P(X)=arg minZZ XF，f1(X)=WTWX+2XL+E WTV，可行域=X X0，这里 E=1rn 类似于(1)式，可得另一个网络用于求解子问题():dXdt=Y;dYdt=Y+P(X f2(X)X;X(t0)=X0(2)其中:X，Y mr，P(X)=arg minZZ XF，f2(X)=XHHT VHT，可行域=X X 0 22稳定性分析由于网络(1)和(2)结构相似，所以不失一般性，针对网络(1)给出稳定性分析引理 1设(X(t)，Y(t)为神经网络(1)的状态轨迹 如果满足 L X(t0)U，2，且1(X(t0)L)Y(t0)1(U X(t0)，其中=+242，则有 L X(t)U证明首先考虑 X L，即证明 X L 0，记 Z=X L，则式(1)可变换为:dZdt=Y;dYdt=Y+Z?(Z+L)(3)其中:Z?=P(Z+L f(Z+L)对式(3)中两式加权求和，得:(Z+Z)+Y+1Y()=(Z?L)(4)2第 1 期李小玲，等:基于矩阵型惯性投影神经网络的非负矩阵分解算法http:/xbzrbfzueducn根据 的定义，有=1，因此式(4)可表示为:(Z+Z)+(Y+Y)=(Z?L)(5)式(5)两边同时乘以 et并积分，可得:Z(t)et Z(t0)et0+(Y(t)et Y(t0)et0)=tt0et(Z?L)ds(6)这里，et(Z?L)0，Y(t)=Z(t)记 S(t)=tt0et(Z?L)ds 0，此时Z=Z(t0)e(tt0)Z(t)+Y(t0)e(tt0)+etS(t)(7)式(7)两边同时除以，整理得:Z+1Z=1Z(t0)+Y(t0)()et0et+etS(t)(8)将式(8)两边同时乘以 e1t，并积分得:Z(t)=Z(t0)e1(tt0)+1Z(t0)+Y(t0)()et01ttt0e1()sds+e1ttt0e1()sS(s)ds(9)所以，当 Z(t0)0 且Y(t0)1(X(t0)L)时，有 Z(t)0，即 X(t)L若令 Z=U X，有同理可知 X(t0)U，Y(t0)1(U X(t0)时，X(t)U 证毕定理 1定义 N(X)=X P(X f(X)，如果满足下列两个条件1)对任意 X1，X2，存在常数=cos2+WTWF+2LF，使得N(X1)N(X2)，X1 X2 N(X1)N(X2)2F其中:是 N(X1)N(X2)和 X1 X2的夹角2)2 1 则式(1)的状态解将全局收敛到问题()的最优解证明首先证明，式(1)的状态解 X(t)有界 考虑 X*，定义李雅普诺夫函数:V(t)=12X(t)X*2F=12(XTX)tr(XTX*)+12tr(X*)TX*)(10)对式子(10)关于 t 求一阶导，有:V(t)=12ri=1nj=1tr(XTX)X()ijdXijdtri=1nj=1tr(XTX*)X()ijdXijdt=X X*，Y(11)同理可得 V(t)关于 t 的二阶导为:V(t)=Y2F+X X*，Y(12)将式(11)和式(12)加权求和，由 N(X)=X P(X f(X)，有:V(t)+V(t)=Y2F+X X*，N(X)(13)已知 N(X*)=0，根据式(13)和条件(a)可得:Y2F V(t)+V(t)+N(X)N(X*)2F=V(t)+V(t)+Y+Y2F因此有:Y2F V(t)+V(t)+Y2F+d Y2Fdt+2Y2F()(14)式(14)可改写为:V(t)+V(t)+Y2F+d Y2Fdt+(2 1)Y2F 0(15)3福州大学学报(自然科学版)第 51 卷http:/xbzrbfzueducn这表明函数:Z(t)=V(t)+V(t)+Y(t)2F+t0 Y(t)2Fds+(2 1)t0Y(s)2Fds(16)单调非增 因此，对任意 t0，有:Z(t)Z0=V(0)+V(0)+Y(0)2F(17)其中:Z0=X(0)X*，Y(0)+2X(0)X*2F+Y(0)2F 又由 2 1，可得:V(t)+V(t)Z0(18)式(18)两边同乘 et，可得 V(t)et+V(t)et Z0et，这表明:d(V(t)et)dt Z0et(19)对上述不等式从 0 到 t 进行积分，可以得到 V(t)et V(0)Z0(et 1)，也就是 V(t)V(0)Z0()et+Z0 又由式(10)可知，网络模型(1)的轨迹 X(t)有界其次证明 Y(t)F是有界的 由式(16)(17)，以及 V(t)0 可得:V(t)+Y(t)2F=X(t)X*，Y(t)+Y(t)2F Z0(20)又因为X(t)X*，Y(t)X(t)X*F Y(t)F，式(20)可转化为:Y(t)2F Z0X(t)X*，Y(t)Z0+X(t)X*F Y(t)F(21)因为X(t)X*2F有界，所以 Y(t)F有界，则由式(11)知，V(t)也有界因V(t)、V(t)、Y(t