基于分离卷积二值化网络的模型压缩方法研究_张雷.pdf

收稿日期:20210508修回日期:20210515第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02039005基于分离卷积二值化网络的模型压缩方法研究张雷，杨薪颖(沈阳航空航天大学电子信息工程学院，辽宁 沈阳 110136)摘要:深度卷积神经网络(DeepConvolutional Neural Networks，DCNNs)在各个领域的应用愈加广泛，而在实际应用中 DCNN需要大量的计算和内存资源，在资源有限的移动设备上难以部署。因此提出了一种基于深度可分离卷积二值化网络的模型压缩与优化加速的方法，首先在深度卷积神经网络中使用深度可分卷积代替传统的卷积，其次将网络中的权重和激活值进行二值化，并通过教师网络引导训练，在最大限度的增加计算速度和减少内存资源占用的同时，保持网络的分类精度。实验结果表明，使用上述方法对花卉数据集进行分类识别，在精度仅下降 2.2%的情况下，可大幅减少计算时间和内存资源的占用，有利于移动设备的部署。关键词:模型压缩;深度可分离卷积;二值化网络中图分类号:TP391.9文献标识码:BModel Compression Based on Separable ConvolutionalBinarized NeuralNetworkZHANG Lei，YANG Xinying(College of Electronic Information Engineering，Shenyang Aerospace University，Shenyang Liaoning 110136，China)ABSTACT:Deep Convolutional Neural Networks(DCNNs)are more and more widely used in various fields How-ever，in practical applications，DCNN requires a lot of computing and memory resources，and it is difficult to deployon mobile devices with limited resources This paper proposes a model compression and optimization accelerationmethod based on deep separable convolutional binarized network Firstly，the deep separable convolution is was usedto replace the traditional convolution in the deep convolution neural network Secondly，the weights and activationvalues in the network awerere binarized，and the training waiss guided through the teacher network to maintain theclassification accuracy of the network，increase the calculation speed and reduce the occupation of memory resourcesThe experimental results show that using the proposed method to classify and recognize the flower dataset can greatlyreduce the calculation time and memory resource occupation when the accuracy is only reduced by 22%，which isbeneficial to the deployment of mobile devicesKEYWODS:Model compression;Depthwise separable convolution;Binarized neural network1引言目前，深度卷积神经网络(DeepConvolutional Neural Net-work，DCNN)已经广泛应用于图像分类1、人脸识别2、音频分类3 和语音识别4 等研究。在 DCNN 快速发展的同时，网络的层数和模型的体积也在不断扩大，规模的扩大和计算复杂度的增加使得这些模型很难部署5 和应用于实时性要求较高的场景，阻碍了其在更广阔领域的应用和推广，因此，优化卷积神经网络结构，压缩并加速网络模型已成为工业界和学术界亟待解决的难题之一。为了解决这一问题，大量的网络模型压缩方法被相继提出611。目前具有代表性的网络模型压缩方法有五种:权重剪枝法、近端梯度法、知识蒸馏、深度可分离卷积和二值化。权重剪枝法6 在早期的神经网络时期就已经被提出，其主要通过减少网络全连接层中的权重数量，从而达到减少网络中的冗余、提高网络计算效率的要求，在不显著影响精度的情况下删除一部分网络权重，最终可以减少数十倍的内存需求。相对于传统的随机梯度下降法，近端梯度法7 则是在目标函数中加入 L2 范数正则化项，产生稀疏模型，这种方法不仅可以避免过拟合问题，而且提高了网络收敛速度，缩短了训练时093间。不同于以上两种方法，知识蒸馏8 法通过构建出新的小网络来达到压缩模型的效果，将一个高精度且复杂的教师网络转换为一个结构紧凑简单的学生网络，教师网络将细粒度知识迁移到学生网络中，进而使学生网络和教师网络拥有同样的性能。深度可分离卷积9 与权重剪枝类似，通过减少了参数数量来优化网络模型，其已经广泛应用于一些轻量级网络中，如 Google 所 提 出 的 Inception12、MobileNet13 和SqueezeNet，该方法的核心思想是将一个完整的卷积运算分为两步，相比与标准的卷积操作，不仅可以有效的提取特征，还极大的减少了参数量，降低了运算复杂度，通过深度可分离卷积，在 CPU 上可以实现 2 到 4 倍的加速，并且可以保持分类精度。二值化网络10 又称为二进制神经网络，主要思想是将网络参数值量化为+1 或1，使原本 32 位的浮点数参数量化至 1 位定点数，此外，其纯逻辑计算极大得压缩了网络模型，并保持了与原始模型中相同的参数数量，在分类MNIST 数据集时，速度可提升 7 倍14。上述方法均已在模型压缩与优化加速技术中成功地应用与普及。本文结合深度可分离卷积和二值化网络两种模型压缩方法，设计了一种深度可分离卷积二值化网络模型，使用深度可分离卷积代替标准卷积，再对网络进行二值化，并通过实值教师网络引导训练使二值化网络模型在最大化压缩的同时保持了分类精度。实验结果表明，深度可分离卷积二值化网络在分类精度略有损失的情况下，可以大幅减少内存占用、提高计算速度，有利于移动端部署。2深度可分离卷积二值化网络模型在本节中，构建了一个基础的深度卷积神经网络 DCNN8，并详细介绍了在 DCNN8 的基础上采用的两种优化方法:深度可分离卷积和二值化网络。2.1构建深度卷积神经网络 DCNN8深度卷积神经网络是最成功的深度学习算法之一15，作为一种有监督的学习算法，其无需人工对图像进行大量而复杂的特征提取，而是通过网络中的卷积运算提取特征，达到分类识别的目的，与传统机器学习方法16 相比具有更强的特征学习能力和表达能力。本文搭建的 DCNN8 包含 8 个卷积层，2 个最大池化层、1 个特征融合层、2 个全连接层和一个 Softmax 分类层，每一个卷积层的卷积核尺寸为 55，且都包含批标准化和修正线性单元，具体的网络结构如图 1 所示。图 1DCNN8 网络结构图2.2深度可分离卷积深度可分离卷积(depthwise separable convolution)由逐通道卷积(depthwise，DW)和逐点卷积(pointwise，PW)两个部分组成，相比与标准的卷积操作，其参数数量和运算成本相对较低。图 2标准卷积方式图 2、图 3 分别为标准卷积和深度可分离卷积，在标准的卷积操作中假设步长为 1，大小为 HWN 的输入特征映射，图 3深度可分离卷积方式生成 HWM 的特征映射，其中 H 表示特征图的高度，W 表示特征图的宽度，N 表示输入通道的数量，M 为输出通道的数量。标准卷积由 KKNM 的卷积核计算，其中 K 是卷积核的尺寸，所以标准卷积参数量为Pc=N M K K(1)深度可分卷积包括两层:逐通道卷积和 11 逐点卷积，其参数量如下Ps=N K K+1 1 N M(2)193深度可分离卷积参数量与标准卷积参数量之比为PsPc=N K K+1 1 N MN M K K=1M+1K2(3)标准的卷积同时增强了空间相关性和通道相关性，而深度可分卷积首先增强空间相关性，然后增强了通道相关性。因此，使用深度可分离卷积，不仅可以对输入特征图进行有效的提取，保持网络分类精度，还大大减少了参数数量和运算成本。在本文搭建的 DCNN8 中，使用卷积核尺寸为 55(K=5)的深度可分离卷积来代替传统的卷积，根据式(3)，采用深度可分卷积代替后，卷积层的总参数数量减少了 10 倍以上。2.3二值化网络二值化网络(Binary neural network，BNN)被认为是将分类模型部署到资源有限的设备上最有前途的模型压缩方法之一7。网络权重和激活值通过 sign 函数进行二值化，其值被限制为+1 或1xb=sign(x)=+1if x 0 1if x 0(4)式中 x 为真实变量值，xb为二值化后的变量值。通过二值化，使网络权重和激活值的精度降低到 1 位，然后将 32 个二值化变量存储在一个 32 位的寄存器中，因此，二值化后的模型压缩比最大可以达到 32 倍。在二值化网络的卷积层中，由于权重和激活值都被限制为+1 或1，因此可以用轻量级的按位同或(XNO)操作和计算二进制串中 1 的数量(popcount)操作代替浮点型的复杂矩阵乘法运算Xb*Wb=popcount(XNO(Xb，Wb)(5)式中 Xb和 Wb分别为二值化后的激活值和权重矩阵。二值化网络作为压缩算法中的极端情况，其拥有高压缩比、高加速比的性能优势，但是缺陷也较为明显。由于二值化网络将数值精度降低到+1 或1，卷积层输出的特征图很难携带足够的特征信息并保证输出值的范围适合下一层的二值化操作，如果直接使用 sign 函数对网络中传递的实数值进行二值化可能会导致特征图携带的特征信息过低，最终影响网络的分类精度，并且二值化网络在传播时采用的是1，无法直接计算梯度信息，因此二值化网络一直缺乏有效的训练算法。针对以上问题，文献 17中提出 sign 和 PeLu函数，通过使用可学习参数让网络学习到最适合的二值化阈值和激活值的分布，如图 4 所示，通过使用 sign、PeLu，缓解了二值化网络对于特征分布学习的困难，获得了良好的二值化特征，使网络的性能得到提高。sign 公式如下xbi=h(xri)=+1，if xri ai 1，if xri ai(6)图 4sign 和 PeLu 函数式中 xri是第 i 个通道中的实值输入，xbi是二值化后的输出，ai是控制二值化阈值的可学习系数。PeLu 公式如下f(xi)=xii+i，if xi ii(xii)+，if xi i(7)式中 xi是 PeLu 在第 i 个通道的输入，i是控制负部分斜率的可学习系数，i和 i是移动分布的可学习位移量。针对经过深度可分离卷积处理的 DCNN8(SDCNN8)，本文采用 sign、PeLu 替换 elu 激活函数作为二值化方法，如图 5 所示，将网络模型进一步压缩。图 5二值化结构本文为了弥补二值化导致的精度损失，通过实值教师网络来引导学生网络的训练