基于受限玻尔兹曼机的受损图像还原方法研究_唐崇华.pdf

鞍 山 师 范 学 院 学 报 ，（）：基于受限玻尔兹曼机的受损图像还原方法研究唐崇华（鞍山师范学院 管理学院，辽宁 鞍山）摘 要 根据受限玻尔兹曼机（）的特点，提出基于受限玻尔兹曼机的图像修补方法，并在 数据集上对模型进行验证结果表明，采用该图像修补算法能够提高图像修复质量关键词 图像修补；机器学习；受限玻尔兹曼机；深度学习中图分类号 文献标识码 文章编号（）图像修复又称图像重建，是数字图像处理研究领域一个重要的研究方向，其目的是利用图像的现有信息对其缺失部分的内容进行恢复，如恢复旧照片中缺失的部分、重建图像中被隐藏的部分等，使观察者可以重新看到完整的图像图像修复技术是当前图像处理领域的研究热点，在视频监控、图像处理、刑侦分析等领域有广泛的应用目前，主要的修复技术分为两类：一类是对小范围缺失的图像进行修复，主要利用缺失部分的边缘数据信息估计等照度线的方向，采用传播方式补充缺失信息；另一类是对大块缺失的图像进行修复，通过收集大量相似图像进行缺失部分的修复深度学习是借助神经网络对人类大脑认知过程的模拟来实现机器智能的研究方法，是 提出的全新概念深度学习致力于学习样本数据的内在规律和表达形式，它的目标是赋予机器具有像人一样的分析和学习能力，能够识别文字、图像和声音等数据深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习，以及其他相关领域都取得了很多成果近年来，深度学习在人工智能领域的研究十分广泛，其在特征提取、表示、生成等方面的优势十分明显，因此，基于深度学习的图像处理方法也备受关注受限玻尔兹曼机（，简称）是深度学习模型的一个重要组成部分，它是一种基于概率图的生成模型，可用于无监督条件下数据特征的自动提取作为深度置信网络的基本构成模块，广泛应用于处理数据维度、文本检索、协同过滤等领域利用 处理图像既可以学习整个图像的像素分布情况，又可对缺失的部分生成一个合理的预测本文根据 的特点提出一种基于 的图像还原方法，经过实验验证，已取得较好效果 相关工作 图像修复与还原是数字图像处理领域的主要研究方向之一，在多方面均有发展如 等利用扩展方程沿着掩模边界的低级特征迭代地传播到未知区域，该方法在修复中表现得很好，但是仅限于处理小而均匀的区域；等通过学习图像块的先验来恢复具有缺失像素的图像；还有学者通过基于覆盖区域与其他完整部分纹理之间存在的关联性，利用强化学习渐进式地缩小生成图像与目标图像之间的差异，达到图像修复的目的基于深度学习的修复方法是近年来提出的新方法，结合包括隐藏层的神经网络，通过海量数据的训练学习得到不同种类图像的非线性复杂关系的映射，在大区域的图像修复中能取得较好的效果收稿日期 作者简介 唐崇华（），男，辽宁鞍山人，鞍山师范学院管理学院讲师，硕士，研究方向为深度学习、机器学习、分布式程序设计 受限玻尔兹曼机 受限玻尔兹曼机（简称）是一个包含显层（）和隐层（）的两层随机网络在 中，层内神经元无连接，层间神经元为全连接，每个神经元的值，由图 可见，显层各神经元之间没有连接，即认为它们之间相互独立，同理，隐层各神经元之间也相互独立数据通过显层输入网络，在显层和隐层之间反复迭代显层和隐层用权值矩阵连接图 中用 表示显层神经元，表示隐层神经元，表示显层神经元的偏置，表示隐层神经元的偏置，均为向量，其中，（，），为显层神经元个数；（，），为隐层神经元个数；（，）；（，）用 表示隐层和显层之间的权值矩阵，则 （）为简便起见，一般记 （，）表示 中的各项参数 基础理论图 网络图能量函数受限玻尔兹曼机是基于能量函数的模型，当分布集中时，能量最小，即收敛于稳定状态网络中显层和隐层向量的能量函数表示如式（）所示：（，），（）其中，为显层向量，为隐层向量，为显层神经元的偏置，为隐层神经元的偏置，为显层和隐层之间的权值矩阵中的对应元素 联合概率分布 利用上述能量函数，可得显层和隐层的联合概率分布，用能量函数表示，如式（）所示：（，）（，），（）其中，为配分函数，也称归一化函数，计算方法如式（）所示：，（，）（）似然函数 显层或隐层的边缘概率函数也称为似然函数，如式（）和式（）所示：（）（，），（）（）（，）（）从式（）可以得出，显层数据似然度的提高可以通过调整参数来降低显层数据的能量获得：条件概率 隐层（显层）确定，显层（隐层）上某个神经元被激活的概率用式（）和式（）的条件概率公式计算（）（，），（）（）（，）（）对比散度算法给定训练样本后，训练 的过程即拟合训练样本的过程训练采用的方法是最大化训练集上的似然函数，即（）（）；）（）采用梯度上升求解各参数的偏导数，（）；）（），；）（）（，；）（，）（）鞍山师范学院学报第 卷因为计算涉及配分函数，很难取其分布，所以采用 的吉布斯采样来近似估计对比基于吉布斯采样的散度算法，其基本思想是将训练集的某个样本 输入显层的各神经元，根据式（）得到隐层神经元的状态；在隐层各神经元的状态确定之后，根据式（）计算显层神经元的状态，这个过程可视为显层的一个重构，设为 ；如果此时 和 相同，则隐层向量即为显层的一个正确的降维描述在训练中，可以利用显层状态与重构显层状态的误差来调整参数，从而使得重构误差尽可能减小对比散度算法中利用 步吉布斯采样，采用如下公式来近似估计各参数的梯度：（），（）（）（）（），（）（）（）（），（）（）（）（）（）图 类图 应用 修补图像 网络模型构建模型采用 语言，基于 开源库构建，在 中采用 函数作为激活函数，采用动量的随机梯度下降法训练网络，前向传播和反向重构均直接采用 的矩阵运算方法 类图如图 所示在 类的方法内完成权重矩阵的构建，利用均值为、方差为 的随机值初始化权重矩阵的各项系数显层偏置和隐层偏置均初始化为 表 训练算法对于 每一次迭代：对于 每一批次样本：根据显层 计算隐层神经元被激活的概率 从 中采样 根据 重构显层，得到显层神经元激活的概率 从 中采样 根据显层 计算隐层被激活的概率 从 中采样 更新相关参数在网络训练过程中，利用前向计算估计（），利用反向计算估计（），估算值采用与从，均匀分布中抽取出的随机值进行比对，以决定某个神经元是否被激活通过这两次计算，让 尽可能地掌握数据的分布规律，提取出潜在嵌入式表示，既可以用来降维，又能够很好地模拟真实样本训练算法如表 所示 参数更新训练样本都是独立同分布的，基于似然定理，训练的目标函数使样本的联合概率取最大值，即取式（）的最大值根据式（）、式（）和式（）的计算方法，可利用式（）式（）进行参数更新式（）中各变量表示由一个批次的样本经过计算之后得到相关计算结果矩阵 （），（），（），（）（）计算更新时加入了动量法和相应的学习率修改策略 模型超参数的选择网络模型需要确定显层结点数量、隐层结点数量、学习率、批次大小、迭代次数、动量系数等超参数本实验设置了显层结点个数为，隐层结点个数为，学习率为，批次大小为，迭代 次，动量系数 第 期唐崇华：基于受限玻尔兹曼机的受损图像还原方法研究 实验结果分析 实验环境 硬件环境：内存：显卡：软件环境操作系统为，环境采用了，开源框架采用 图 数据集样本图 实验数据实验数据采用 数据集 数据集为手写数字数据集，如图 所示 数据集有 个训练样本、个测试样本，样本均为手写数字灰度图片，大小为 像素利用训练集训练 之后，为模拟受损图像，对测试集中的样本以一定比例将像素值清除，然后利用训练好的 还原 实验超参数的确定在实验过程中，先后尝试了不同的批次大小和学习率，比较效果见图 通过比对，最终决定模型采用批次大小为、学习率为，实验效果最好除此之外，对于隐藏层结点个数也做了多组实验，最终将隐藏层结点设置为，适合本模型的应用环境图 不同批次大小及学习率下平均错误率曲线图 实验结果由部分样本实验结果（图）可见，经过 还原效果比较理想数字“”的还原效果稍差，分辨效果不好图 为部分样本的原图像与受损后由 恢复的图像的像素分布对比从图 可以看出，恢复图像的像素分布基本覆盖了原图像的像素分布 对部分位置像素进行了加强，还原图像的效果比较鞍山师范学院学报第 卷理想数字 的还原效果略差，因为数字 的结构比较简单，笔画较少，书写的时候位置偏差较大，导致像素分布随机性较大图 样本对比图图 原始图像与受损之后恢复图像像素分布对比 与其他模型的比较在对本模型进行训练的同时，分别利用 提出的（）方法（记为方法），以及 等提出的基于流体力学并利用偏微分方程启发式的图像修复方法（记为方法）与本模型进行比较在对比实验中，利用随机掩码将图片中的像素清除来模拟图片受损的情况，然后分别利用上述两种方法以及本模型进行图像修复，对比结果如图 所示，图 为模拟图片受损时采用的随机生成的掩码 图 本模型与其他模型的还原效果比较 图 破坏图像的掩码第 期唐崇华：基于受限玻尔兹曼机的受损图像还原方法研究可见，利用方法 修复受损处时，若连续受损面积较大，易出现连接处模糊的情况，对于这些位置还原出的像素较少，见图 利用方法 修复受损处时，在多处非合理位置推演出了浅色调，见图 方法 及方法 均对掩码遮盖的图片边缘部分做出了错误的修复，如图 而本模型是基于图像的像素分布进行预测，从而恢复图像，取得的修复效果比较理想图 连接处模糊 图 破损处的浅色调 图 错误的修复 结论建立一种基于 的恢复受损图像模型，使之通过学习原样本中像素的分布来对图像的受损部分进行还原经过实验验证，该模型能较好地恢复损坏的图像模型还存在一些不足，如在训练后期，存在损失下降缓慢、未能达到理想的水平、对个别数字的恢复效果不理想以及还原图像比较模糊等问题，可从学习率衰减策略、模型深度等方面做进一步研究参考文献 卜彦超基于深度学习的图像修复方案设计与实现长春：吉林大学，：，：，：强振平，何丽波，陈旭，等深度学习图像修复方法综述中国图象图形学报，（）：，（）：，：（，），；（责任编辑：张冬冬）鞍山师范学院学报第 卷