基于双高斯先验的低秩矩阵分解模型_韦芳.pdf

山东大学学报（理学版）年 月 第 卷 第 期：（），：山东大学科技期刊社版权所有：收稿日期：；网络出版时间：网络出版地址：基金项目：国家自然科学基金青年项目（）；长安大学中央高校基本科研业务费专项资金资助项目（）第一作者简介：韦芳（），女，硕士研究生，研究方向为机器学习：通信作者简介：王长鹏（），男，博士，副教授，研究方向为机器学习：文章编号：（）：基于双高斯先验的低秩矩阵分解模型韦芳，王长鹏（长安大学理学院，陕西 西安）摘要：为了更好地拟合复杂噪声，增强低秩矩阵分解模型的鲁棒性，将双高斯先验引入到传统的高斯混合模型中，提出了基于双高斯先验的低秩矩阵分解（，）模型，通过模型分解得到的 个矩阵均服从高斯先验，从而实现对噪声的有效建模，并在贝叶斯理论框架下利用 算法实现模型参数的推断。实验结果验证了所提模型能够有效地处理含有复杂噪声的数据，取得了更优且更具稳定性的去噪效果。关键词：高斯混合模型；低秩矩阵分解；高斯先验中图分类号：文献标志码：引用格式：韦芳，王长鹏基于双高斯先验的低秩矩阵分解模型 山东大学学报（理学版），（）：，（，）：，（），：；引言图像作为数字多媒体技术的重要产物，已成为人们传递、获取信息的重要方式。在图像的采集和传输过程中，许多因素会导致图像含有复杂噪声，因此有效去除图像中的噪声十分重要。近年来，基于低秩理论的图像去噪方法取得了较好的实验结果，其类型主要分为核范数最小化（，）方法和低秩矩阵分解（，）方法。传统的 方法通常使用 范数或 范数求解优化问题，范数适用于处理高斯噪声，范数更适用于处理拉普拉斯噪声。面对现实中的复杂噪声，学者们通过引入正则项或先验来降低模型对噪声的敏感性，或者使用有限混合模型对噪声建模。这些方法虽然取得了一定的效果；但在处理复杂噪声时以及运算速度上仍然不够理想，因此本文基于以上 种思想，提出了一种基于双高斯先验的低秩矩阵分解（，）模型，实现对复杂噪声的有效建模。山 东 大 学 学 报（理 学 版）第 卷 相关工作 理论的基本思想是用 个或者多个低秩矩阵来近似表示观测矩阵，对给定的观测矩阵，矩阵分解问题可以表达为，（），（）其中 表示矩阵的范数，、为低秩矩阵，通常（，）。观测矩阵 中的元素可以近似表示为 ，因此，观测矩阵 的列向量可以视为矩阵 列向量的线性组合，进而称矩阵 为基矩阵，为系数矩阵。基于 范数的矩阵分解问题，学者们提出了如 （）、（）等一系列算法。范数假设数据中的噪声均服从高斯分布，所以更适用于高斯噪声，对现实问题中存在的非高斯噪声，范数无法实现有效拟合，因此，一些学者利用更加稳健的损失函数来代替 范数。等提出了基于鲁棒 估计的子空间学习算法，等利用 范数来替代 范数，提出了鲁棒 范数的分解算法，其目标函数为，。（）在 范数的框架下，等提出了 算法，等提出了循环加权终值算法，等使用交替校正梯度方法来求解基于 范数的矩阵分解问题。由于 范数假设噪声服从拉普拉斯分布导出，因此更适用于处理拉普拉斯分布噪声，对其他噪声的处理不够理想。随后，一些学者提出将，范数作为损失函数，虽然该范数结合了 范数和 范数的优点，但其缺乏概率可解释性。假设噪声单一地服从高斯或拉普拉斯分布，不能有效拟合实际数据中的复杂噪声，因此一些学者提出在基矩阵或者系数矩阵上加入正则化或先验知识。等在非负基矩阵 和非负系数矩阵 上分别引入正则项，每个子问题都通过非负性约束最小二乘算法来解决，其目标函数为：，()，（），()，。（）等在稀疏奇异值分解中引入 范数和 范数的惩罚项，采用了交替迭代策略以及基于块坐标下降法求解问题。基于 等、等的工作，等使用 范数替代 范数，提出了鲁棒概率矩阵分解（，），其目标函数可以表达为，（）其中、为超参数。接着，等提出一种混合成员分类模型，称为（），该模型假设基矩阵和系数矩阵分别服从拉普拉斯先验及狄利克莱先验，其模型的数学表达形式为，（）（），（）其中 为 的第 个行向量，为 的第 个列向量。等提出了基于高斯混合模型的矩阵分解（，）模型，该模型假设噪声服从高斯混合分布，理论上高斯混合模型能够逼近任意的连续分布，因此，高斯混合模型能够有效地拟合服从高斯分布或拉普拉斯分布的噪声，其目标函数表达为，（，），（）第 期韦芳，等：基于双高斯先验的低秩矩阵分解模型 其中（，）表示均值为、方差为 的高斯分布，是高斯混合模型中所含高斯分布个数，对应于第 个高斯分布的权重。随后，等将噪声假设为服从指数幂的混合分布，并提出了新的矩阵分解模型。等提出自适应分位数矩阵分解模型。以上方法虽然在图像去噪上取得了良好的效果，但在处理复杂噪声上的效果或运算代价还有待进一步改进。针对该问题，本文提出了一种基于双高斯先验的低秩矩阵分解模型，实现对复杂噪声的更有效处理。模型建立受以上工作的启发，本文假设观察数据矩阵 中的元素 表示为，（）其中 为 的第 个行向量，为 的第 个列向量，表示元素 上所含噪声。本文假设 服从混合高斯分布，即有（），其中（）（，），（）（，）表示均值为、方差为 的高斯分布，为混合系数且满足（）。等在基于高斯混合模型的框架下，对基矩阵和系数矩阵分别引入稀疏先验以及拉普拉斯先验，提出了一种针对混合高斯噪声的贝叶斯矩阵分解（，）模型，该模型提高了计算速度，但对基矩阵与稀疏矩阵的构造要求较高，且对混合噪声的拟合效果仍不够理想。对此我们在高斯混合模型的框架下，提出了对基矩阵 和系数矩阵 分别给予均值为 的高斯分布先验，即有（，），（，），（）其中，和 为对应高斯分布的方差，从而使模型更适用于复杂噪声的拟合。根据（）可以得到 的概率密度函数，即（）（，）。（）通过贝叶斯定理，可以得到（，）（，）（）（）（），（）其中，、，均为未知参数，（）为已知观测数据的概率密度函数，从而有（，）（，）（）（）。（）将式（）的右边展开，有 （，）（）（），（，），（，），（，），（）|，（）|，（）|。（）为了估计、，我们利用最大似然估计方法，将目标函数（）转化为，（，），（，），（）其中 是与未知参数无关的常数。根据 不等式，上述优化问题等价于，（，），（，），。（）模型求解针对优化问题（），本文利用 算法对模型求解，目标函数中的 和 视为超参数。算法 山 东 大 学 学 报（理 学 版）第 卷是一种迭代算法，用于含有隐变量概率参数模型的最大似然估计或极大后验概率估计。算法包括 步和 步 个步骤，步是指利用对隐藏变量的现有估计值，计算其最大似然估计值；步是最大化在 步上求得的最大似然值来计算参数的值。步所得参数估计值被用于下一个 步计算中，这 个步骤不断交替迭代，直至收敛。步：引入潜在变量，在，中取值，当元素 属于第 个高斯分量时，否则，满足。计算潜在变量 的条件期望如下：（）（，）（，）。（）为了获得其余参数的迭代公式，根据 算法，我们需要计算 函数，即对引入潜在变量的对数似然函数求期望，具体数学表达式为（，），（，），（，），。（）步：通过更新迭代 函数的参数使其达到最大化，只保留 函数中与参数有关的项，目标函数为，（）|，（）等价于，（）|，。（）更新：根据文献，对于，参数 更新公式为：，（）。（）更新：仅需考虑式（）中与 有关的项，即，（）。（）对式（）中的 求偏导，并令其等于，得到 的更新规则：，（），。（）更新：仅考虑式（）与 有关的项，（），。（）为了方便表示，令 ，从而有矩阵（）、，将 的更新问题转化为对于 的每一个行向量 的迭代更新，通过简单的矩阵运算，式（）可以转化为矩阵形式（）（），（）其中 为矩阵 的第 行向量。第 期韦芳，等：基于双高斯先验的低秩矩阵分解模型 由式（）得到 的更新公式。（）更新：的更新类似于 的更新，同理可得。（）更新高斯分量的数目：对于，若满足，其中 是一个极小值，则将第 个高斯分量与第 个高斯分量合并，混合高斯分量数目 减，因此，的初始化可赋值为一个较大的数。此外，当存在方差趋于 的高斯分量，该高斯分量应当从模型中移除。初始化：矩阵 与 中元素的初始化参考文献中的初始化方法。迭代停止条件：当目标函数值的变化小于给定阈值 时，停止更新。综上，整个优化过程总结为算法。算法：求解该模型的 算法输入：观测矩阵，输出：、，初始化、，混合高斯分量的数目，迭代停止的阈值；通过式（）更新，；，；，；通过式（）和（）分别更新、；通过式（）更新；通过式（）更新；更新高斯混合分量数目；判断是否满足终止条件，若满足则停止迭代，否则重复步骤。实验对比与分析在合成数据与真实数据上分别与已有的 模型、进行比较，证实了本文提出的模型对处理复杂噪声的有效性。由于噪声生成的随机性，评价指标取每组 次实验中 次最优结果的平均值。采用 进行编程，所有实验在配置为（）（）的计算机上进行。评价指标使用如下的评价指标：?，?，?，?，其中?、?是相应矩阵分解模型的输出矩阵。由于评价指标、对评估模型是否恢复正确的子空间更有意义，因此真实数据上的实验仅考虑评价指标、。对于以上 个评价指标，其值越小，表示模型恢复性能越好。合成数据将生成的不同类型合成数据进行 组实验，在每组实验中随机生成 个大小为、秩为 的低秩矩阵，它们中的每一个矩阵都由基矩阵 和系数矩阵 构成，即，指未被噪声污染的干净观测矩阵，对 添加不同类型的噪声得到含噪观测矩阵，在每组实验前对 施加 的缺失，以验证 模型具有处理观测矩阵含缺失值时的能力。山 东 大 学 学 报（理 学 版）第 卷第一组实验：添加 服从（，）的高斯噪声，称该类噪声为高斯噪声；第二组实验：添加服从（，）的稀疏噪声，服从（，）的高斯噪声，服从（，）的高斯噪声，称该类噪声为混合噪声；第三组实验：添加 服从（，）的稀疏噪声，服从（，）的高斯噪声，服从（，）的高斯噪声，称该类噪声为混合噪声。实验结果展示在表，其中最优方法的结果加粗表示。表 不同方法在合成数据上的比较 噪声类型评价指标高斯噪声 混合噪声 混合噪声 由实验结果可知，在包含高斯噪声 的合成数据实验中，模型在指标 上取得了最优的实验结果；对于指标、和，模型 或 表现更优。在包含混合噪声 和混合噪声 的实验中，模型在指标 和 上都取得了最优的实验结果，证明其针对含有复杂噪声的数据能够更有效地恢复其子空间，进而更加适用于处理含有混合噪声的数据。真实数据首先，在 数据集上添加不同类型的噪声，组实验证实了 模型在真实数据上处理不同噪声的有效性；其次，为了验证该模型处理复杂噪声的优越性，在 个常见的数据集、上分别施加 种不同的混合噪声，进一步验证 模型对处理复杂噪声的有效性。实验中所添加的噪声：高斯噪声：服从（，）的高斯噪声；混合噪声：服从（，）的稀疏噪声，服从（，）的高斯噪声，服从（，）的高斯噪声；混合噪声：服从（，）的稀疏噪声，服从（，）的高斯噪声，服从（，）的高斯噪声。对于 数据集，在无噪声的情况下，除了 以外，其余方法的表现效果相似。在添加高斯噪声、混合噪声 和混合噪声 的情况下，模型都取得了最优实验结果，具有较好的处理复杂噪声的能力，实验结果见表，其中最优方法的结果加粗表示。表 不同方法在 数据集中的比较 噪声类型评价指标无噪声高斯噪声 混合噪声 混合噪声 第 期韦芳，等：基于双高斯先验的低秩矩阵分解模型 为进一步验证所得结论，我们在不同的数据集中分别添加 种混合噪声进行实验，实验结果见表，其中最优方法的结果加粗表示。由表 可知，在 种不同的数据集中，模型的性能明显提升，再一次验证其能够有效处理含有复杂噪声的实际数据。表 不同方法在 种数据集上的比较 数据集噪声类型评价指标混合噪声 数据集混合噪声 混合噪声 数据集混合噪声 混合噪声 数据集混合噪声 结论本文提出了一种基于双高斯先验的低秩矩阵分解（）模型，在高斯混合模型的框架下，对基矩阵和系数矩阵分别引入高斯先验，增强了模型的性能及推广能力。在合成数据上，无论是单一噪声还是混合噪声情况下，模型都取得较好的实验结果。在真实数据集上，相较于已有的 模型，模型的性能明显提升，具有较好的处理复杂噪声的能力和鲁棒性，更加适用于含有复杂噪声的图像去噪问题。参考文献：，（）：，：刘璐，张洪艳，张