一种基于CNN的散射变换的旋转方法_纪世雨.pdf

，基金项目微型电脑应用 年第 卷第期基金项目：全国教育科学国防军事教育学科“十二五”规划教育部重点课题（）作者简介：纪世雨（），男，本科，工程师，研究方向为军事高技术应用与管理、信息工程；龙静（），女，本科，助理会计师，研究方向为军队财务管理。文章编号：（）一种基于 的散射变换的旋转方法纪世雨，龙静（解放军总医院第五医学中心，北京 ）摘要：深卷积神经网络的精度与输入的数据有关，当输入的数据为非正常角度数据时，相关网络的处理精度较低。因此，为了提高处理精确度，提出了一种对输入旋转不变的卷积神经网络。该网络主要基于散射变换中存在的旋转变换特性和一系列的三维卷积。这种结构能够在无角度标注数据的情况下预测角度。此外，预测器可以将输入的随机旋转连续映射到预测的圆形空间。在实验中，利用垂直角度和随机旋转角度的样本对训练结果进行了验证。结果表明该网络具有较好的精确度。关键词：卷积神经网络；图像分类；图像旋转；小波散射中图分类号：文献标志码：，（，）：，：；引言深度学习已经成为解决图像类问题的最先进的方法，基于深度学习，人们可以对图像进行分类，找寻图像之间的关联，还可以通过深度学习对图像处理，预测事件发生的概率。在这些应用领域，虽然深度学习展现了令人印象深刻的准确性，但其结果也受到图像特性（如对称性和旋转）的严重影响。为了解决以上问题，本研究提出了一种基于散射变换的旋转不变神经网络结构。在定向小波特征空间的基础上，利用小波变换呈现的旋转平移特性构建神经网络。此外，该网络能够连续地将输入的随机旋转映射到输出的圆形空间，并在这个圆形空间输出预测的角度。问题描述大多数卷积神经网络（）都是为使用垂直方向进行训练和分类而设计的。如果旋转图像，它们的精度会大大降低。虽然有些数据图像是自然垂直的，如图中的人脸，但另一些则呈现随机的方向，如图 中 的 食 物跟 浮 游生物。图图像方向示意图为了解决旋转问题，目前大多数方法都是将旋转样本集成到训练数据集中，但仍然存在精度不高等问题。所以，本研究提出了一种基于小波散射的 网络，来解决这个问题。旋转平移特征空间小波散射网络计算出一种对变形稳定的平移协变图像表示，并保留高频信息用于分类。该网络可提供第一层深卷积网络。在此使用散射变换得到一个定向小波特征空间，如图所示。这个空间中的平移与输入的旋转是协变的，如图（）所示。，基金项目微型电脑应用 年第 卷第期图以字母 为例的散射变换的小波特征空间 散射小波利用文献 中描述的 小波的实部，可以将输入变换成定向小波特征空间，如图（）所示。该变换输出一系列能量不同的小波样本，与输入中的边共线的角度包含更高的能量。例如，字母 特征空间将包含在角度 和 上具有更多能量，而在 上几乎没有能量的小波。此外，在定向小波特征空间中，角行程的距离与输入边缘之间的角的距离成正比。旋转变换定向小波特征空间的一个重要性质是输入的旋转和特征空间上的平移之间的协方差。这个平移与角成正比。角阶跃可以通过将特征空间上的小波方向数（）除以变换的正则范围（）来计算。此变换的另一个特性是能够将两个图像边缘之间的角度距离映射到角度采样之间的线性距离。将样本设为字母，在笔划之间包含 和其他 的角度。因此可以观察到较大角度的角样本之间的线性距离为 步，较小角度的角样本之间的线性距离为步。对于输入图像的每次旋转，此线性距离保持不变。通过将这些数字乘以 ，可以恢复角距离。水平对齐的小波虽然具有定向小波空间是重要的，但是图像的扫描顺序代表了实现其旋转不变性和协方差的一个关键因素，因此小波角样本的扫描方向应与其所代表的方向相同。为了实现这一点，本研究设计了一个自定义的密集权重层，该层对特征空间样本进行重新索引。这个致密层形成一个双线性的非旋转，利用前面步骤计算的定向小波值来补偿小波中的角度。这个自定义层的输出结果是一个水平方向的小波特征空间，如图（）所示，它包含每个角度样本的未旋转版本，并且与水平扫描顺序正确匹配。图网络架构示意图卷积预测器架构由于旋转平移协方差，小波特征空间包含了输入以平移形式的所有可能旋转。为了得到所有的平移，本研究首先将周期性填充应用到定向小波特征空间。这种周期性填充的结果是具有包含所有可能的平移的形状（，）的增强小波特征空间，如图（）所示。为了增强水平对齐的小波信息，办研究应用一个大小为（，）的最大池化层，如图（）所示。这将减少下一层所需的参数数量。这个步骤的输出是一个形状为（，）的张量。为了获得每一个平移的信息，预测器需要跨越扩展的小波特征空间。也就是说，将预测器应用于前 个小波方向，然后向前移动一步。利用这种方法，可以得到 个不同形状的小波特征空间（，）。每个空间都包含一个特征空间的平移。预测器的第一阶段包括个三维卷积，每个卷积具有核大小（，）和 个滤波器，如图（）所示。这些卷积捕获了小波方向之间的潜在特征。这些特征之一就是它们之间的距离。这个预测器应用于包含转换的每个空格。作为一个跨越它们的共享权重预测因子的重要性在于学习对应于右上角位置的转换特征。这种垂直位置的平移可以出现在 ，基金项目微型电脑应用 年第 卷第期任何平移空间上。这个阶段的 输 出 是 个 空 格（，），包含每个转换的信息。预测器的第二阶段是共享的密集层，如图（）所示。这个共享的密集层将应用于第一阶段的每个输出空间。这个密集层的输出形状等于类的数量。这一层将对每一个变换进行预测，并将其存储在张量中。输出将是一个概率分布，列数和类数一样多，行数和变换数一样多。假设情况是 和 类。共享的权重密度层对 个反式中的每一个进行预测。每个预测都存储在输出张量上。这个张量的形状是（）。这个张量的 列将包含预测的类信息，行包含角度信息如图（）所示。之后，如图（）所示，应用于列的全局最大池化层，输出最大概率类及其行索引。将行索引乘以加上预测角度的常数。整个算法框图如图所示。图算法框图实验与评估在应用上述技术实现之后，使用 数据集验证了本文所提出的体系结构。首先用垂直定向的样本进行实验，然后用随机定向的样本进行实验。两种方法都在随机旋转的样本上进行了验证。为了在 数据集生成这种变化，对从 获得灵感的原始 的每个样本在，之间实现了随机旋转。散射变换参数在此使用二阶散射变换，如文献 中所建议的，高阶变换没有用，因为它们的能量可以忽略不计。参数固定在上，因为正在处理 像素大小的图像，而因子使输出图像为 像素，进一步缩放该参数将显著减少网络可用的信息。最后一个参数固定在，允许在 范围内有 个角度样本。旋转不变类预测旋转不变性通过体系结构在输入旋转的情况下正确预测类的能力得到验证。本研究通过使用 和原始 训练网络来测试此属性，结果如表、表所示。两个测试都在随机旋转的数据集 上得到了验证。可以在表中观察到，作为在网络上保持协方差的代价，所以在不变性上损失了一些精度。然而，仍然是在比较的这些方法中错误率是较低的。表基于 数据集的结果方法错误率 文献 文献 文献 本文方法 表基于 数据集的结果方法错误率（）（）（）（）本文方法 表表明，本研究的方法在预测阶段仅使用 个可训练参数时，误差率达到了最低水平。值得注意的是，有 个参数，包含超过 万个可训练参数。角度预测由于数据的变化，预测器能够容忍的微小变化。因此，它将输出对应于的行的最大概率和前后的非零概率（对应于）。这允许预测器将输入的随机旋转连续映射到预测角度的圆形空间。本研究通过以 的步骤将输入样本从 旋转到 ，并绘制由输出预测行表示的输出圆形空间来对此进行测试，如图所示。图预测的旋转角度映射到连续的圆形空间旋转映射到前面描述的输出张量的行。输出表示了一种自组织行为，即将连续的角度值映射为表中的连续行。这是由于上 的非零类概率和上的最大概率以及上一个和下一个角度上的较低概率造成的。当绝对角度的参考未知时（如，对于浮游生物上右位置不存在），本网络会将其中一个旋转值映射到线性空间的一个点，然后将连续的角度做线性映射。线性输出空间包含输入的角度信息。当使用垂直定向数据集和随机旋转数据集训练时，该空间具有相同的特性和行为。这将导致从连续角度生成线性关系，而角度旋转输入空间上不存在任何参考值。总结本研究证明了仅用垂直样本训练网络可以获得旋转不变性的能力。该网络能够预测训练阶段看不到的角度。此（下转第 页），基金项目微型电脑应用 年第 卷第期图值与推荐准确度关系图计算得到的多个取值下推荐准确度的值，最终将所有推荐准确度的值求取平均值得到标签推荐算法的推荐准确度为 。总结本文首先对基于标签的推荐算法进行了介绍，并阐述了标签推荐算法的计算过程，重点是根据用户与标签的关系计算出用户对电影的喜好程度，最终按照喜好程度的高低将前部电影推荐给用户。将标签推荐算法应用于电影推荐系统可以优化电影网站的推荐准确度，为用户带来便利，提高用户对电影网站的好感度。参考文献熊楚平基于标签权重的个性化协同过滤推荐算法乌鲁木齐：新疆大学，杨谊，张斌，和法伟标签相关度加权的协同过滤个性化推荐算法 现代计算机，（）：董跃华，梁雪雷 基于标签重要程度的协同过滤推荐算法 科学技术与工程，（）：王嵘冰，安维凯，冯勇，等基于标签和 的重要微博用户推荐算法 计算机科学，（）：王海同 个性化推荐系统的设计与实现 南京：东南大学，扈维，张尧学，周悦芝基于社会化标注的用户兴趣挖掘 清 华 大 学 学 报（自 然 科 学 版），（）：（收稿日期：）（上接第 页）外，当输入数据自然地是随机的时，体系结构能够推断出样本的方向，并在它们之间产生线性关系。这使得该体系结构的进一步应用能够自动对齐随机定向的数据集。当使用一个由散射变换计算的特征时，达到了最低的错误率。期望网络中的输入图像比本文提出的要大，在更大的图像中的测试表明，由于扫描和预测包含在特征空间中的每一个转换，导致时间增加。降低错误率的下一步是用一个可训练的特征阶段代替散射变换，该阶段预先服务于这个旋转变换属性，并在其他数据集（如浮游生物、食物或人脸）上来验证它。参考文献胡越，罗东阳，花奎等关于深度学习的综述与讨论智能系统学报，（）：郑远攀，李广阳，李晔 深度学习在图像识别中的应用研究综 述 计 算 机 工 程 与 应 用，（）：卢虹竹 基于深度学习算法的人脸识别管理系统信息技术，（）：李俊俊，杨华民，张澍裕，等 基于神经网络融合的司机违规行为识别 计 算 机 应 用 与 软 件，（）：李方舒光学图像的自卷积运算与旋转操控 厦门：厦门大学，（）：严春满，王铖卷积神经网络模型发展及应用计算机科学与探索，（）：徐冰冰，岑科廷，黄俊杰，等图卷积神经网络综 述计算机学报，（）：，（）：，：，：，：，：，：，：，：（收稿日期：）