基于稀疏化卷积网络剪枝的图像识别方法研究_叶汉民.pdf

ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 41 卷 第 12 期Vol41 No122022 年 12 月Dec 2022DOI:10 19927/j cnki syyt 2022 12 003基于稀疏化卷积网络剪枝的图像识别方法研究叶汉民，李志波，程小辉，周颖慧(桂林理工大学 信息科学与工程学院;广西嵌入式技术与智能系统重点实验室，广西 桂林 541004)摘要:为了搜索到在资源受限条件下图像识别最佳网络模型，提出一种基于非结构剪枝的稀疏性训练方法:引入随机掩码进行网络初始化，根据设定的权重比例与稀疏度剔除较小权重;增加同等数量随机权重，线性缩放权重保留比例且遍历网络模型中参数;迭代剔除和增加权重训练，提高稀疏性训练效率，得到精简的网络模型。实验结果表明，该方法在基于公共数据集 CIFA10/100 在较大剪枝率条件下(98%)，采用 esNet 及 VGG 架构时模型精度分别达到了 89 27%和60 18%、92 76%和 69 14%;在其他剪枝比例下仍能够保持高准确度。该方法可以有效解决模型中过参数化问题，可以应用于神经网络的模型压缩，实现先进神经网络在存储及计算能力相对较弱的嵌入式设备中的移植部署。关键词:非结构剪枝;稀疏性;掩码;准确度;模型压缩中图分类号:TP 183文献标志码:A文章编号:1006 7167(2022)12 0009 05esearch on Method of Image Detection for Pruning ConvolutionNetwork Based on SparseYE Hanmin，LI Zhibo，CHENG Xiaohui，ZHOU Yinghui(School of Information Science and Engineering;Guangxi Key Laboratory of Embedded Technology andIntelligent System，Guilin University of Technology，Guilin 541004，Guangxi，China)Abstract:In order to search for the optimal network under constraints，a sparsity method is proposed based onunstructured architecture Firstly，the random mask is introduced for network initialization，then the weight proportionand sparsity are set to eliminate small weights，and the same number of random weights are added We scale weightretention ratio linearly and traversing parameters in network model iteratively Finally，iterative training is added toimprove the sparsity efficiency，a simplified network model is then obtained With the condition of large pruning rate(98%)based on the datasets of Cifar 10/100 of esNet and VGG architecture，the experimental results show that theaccuracy of the proposed method is 89 27%and 60 18%，92 76%and 69 14%，which can still maintain highaccuracy with other pruning ratios The method can solve the problem of over parameterization in the model effectively，and can be applied to neural network model compression to realize the transplantation and deployment of advanced neuralnetwork in embedded devices with relatively weak storage and computing capabilitiesKey words:unstructured pruning;sparsity;mask;accuracy;model compression收稿日期:2022-04-08基金项目:国家自然科学基金项目(61662017);国家青年科学基金项目(61906051);广西嵌入式技术与智能系统重点实验室开放(主任)基金资助(2019-02-06)作者简介:叶汉民(1965 )，男，湖北蕲春人，教授，现主要从事机器学习科研教学及制能装备研制工作。Tel:18977300158;E-mail:yehanmin163 com0引言目前，深度神经网络1 以自动学习目标深度特征、模型泛化能力强等诸多优点成为工业界及学术界的热点研究领域，同时带来了神经网络在时间和空间复杂度上导致的计算资源紧张问题，进一步制约先进第 41 卷神经网络模型在有限计算资源条件下的应用扩展。网络通过压缩与加速可以将先进的神经网络模型部署于嵌入式系统或便携式设备，摆脱对存储和计算资源的硬性要求，推广深度神经网络的应用领域2。因此如何保证模型精确度前提下使得计算资源最小化是深度神经网络压缩的关键问题。网络剪枝能够在获得较大的压缩比的同时对网络中的精度影响较小，加速模型推理运算性能，有效减少模型计算存储的内存消耗。现有对网络剪枝开展的研究包含:对于非结构化剪枝而言，Han 等3 首次提出训练-剪枝-微调经典剪枝策略，但通过该方式带来额外的计算及训练时间代价。Blalock 等4 以剪枝后的梯度范数为准则，对剪枝后梯度范数减少最少的权重进行剪枝，并提出标准化基准指标，防止陷入对比剪枝方法时的常见误区。Chen 等5 利用深度强化学习技术，结合动态剪枝信息及静态剪枝信息，通过减少动态剪枝的存储空间需求，解决平衡动态灵活性和存储空间的矛盾。Molchanov 等6 通过泰勒分解理论化来移除对损失影响的参数，利用反向传播梯度的度量来解决在不损坏网络时对哪些参数进行修剪;在进行全局及局部剪枝时，Li 等7 考虑到所选标准能够应用于网络架构中所有的参数或过滤器，采用逐层局部剪枝方法时可以避免层崩溃现象，得到更好的剪枝效果，但时间开销成本较大。综合以上研究，本文在非结构剪枝结构下进行稀疏性训练，在进行网络初始化引入随机掩码，计算和保留贡献程度较大的权重参数，通过动态更新网络中掩码分布及权重数量完成模型参数遍历，将得到的精简网络模型基于公共数据集 CIFA10/100 进行剪枝方法性能测试。1基本原理和设计思路1 1结构化剪枝基于幅值权重剪枝8 并没有减小网络计算成本，而是通过剔除对于对结果影响精度较小的卷积核，将网络的这些影响较小的卷积核以及特征图进行一并移除，在减少计算成本的同时避免产生稀疏连接结构。利用稀疏化尺度因子9 进行网络剪枝，主要通过批量规范化层缩放因子 衡量不同通道的必要性，移除对结果贡献度较小的通道，加速网络参数运算，实现网络架构的精简。通过结构化学习思想10 可以有效规范参数最大可能稀疏，使用网络权重以组的方式调制到零附近，实现学习参数结构化稀疏，进行网络推理的加速。当网络剪枝在不依赖于训练数据时11，采用相同数量卷积单元过滤器及其对应卷积层进行剪枝，将分值低的卷积单元进行过滤，通过结构化剪枝去除卷积滤波器及内核，可以直接对神经网络加速并部署，但应对比改变网络层次的输入所导致输出维度的差异。1 2非结构化剪枝近年来，在不影响性能情况下能够进行大量剪枝连接，最精细粒度可以对卷积核内参数修剪，剪枝权重不受约束限制，但大多数网络处理架构及硬件无法对稀疏矩阵运算进行加速处理。彩票假设12 揭示随机初始化网络架构中存在的一个经单独训练可达到与原网络在同等条件下性能相似的精简网络，可以通过保留原网络初始化权重进行训练，确定最小权重位置，创建相应的剪枝掩码，随后使用初始化权重进行网络初始化，按照得到的掩码进行修剪，并通过实验证明了修剪发现的中奖彩票网络架构比原始网络学习能力更强，能够达到更高准确度和泛化能力。为避免产生额外训练时间开销，将权重的连接敏感度13 作为是否剪枝的评判标准，利用损失函数及连接敏感度的梯度进行剪枝，随后对剪枝的网络进行再训练，移除不重要的连接，节省了剪枝-微调迭代周期。此外，为避免梯度传递出现问题，采用迭代突触流剪枝思想14 有效解决网络崩塌及过早剪枝导致网络不可训练等问题，该方法在不需要额外数据样本支撑时持平或超越软剪枝测试性能。1 3研究思路与模型基础本文使用 Data=xi，yini=1表示训练数据集合，xi、yi分别为神经网络中训练的标签和样本原始标签，n 为样本数量。由于本文在 CIFA10/100 数据集在进行算法验证，网络初始化定义为具有 H 层的神经网络用于分类任务 T。其中:wH(wHmH)表示第 H 层中的权重值;mH代表第 H 层中的权重数量;f(W1，W2，W3，WH;x)为网络输入。分类目标则是在网络和目标 标 签 的 输 出 上 使 得 误 差 函 数 最 小 化，即Hi=1l(f(W1，W2，WH;xi)，yi)，通过不断优化误差函数来加速模型收敛速度，并在测试数据集上进行性能测试，以获得最佳网络精简模型。在开展神经网络的剪枝研究中，其背后假设神经网络通常是过度参数化的，可通过一个参数量更少的网络获得相似性能，在空间、时间、效率及应用等方面资源利用达到最大合理化。通过设定数据集 Data 及稀疏度 k 等变量，网络剪枝可写成以下约束优化13 问题，即:minwL(w，Data)=minw1HHi=1l(w;(xi，yi)w m，w0k(1)式中:l()为损失函数;w 为网络参数;m 为网络参数数量总和;0为标准 L0 范数。在进行优化目标问题时，通常采取增加稀疏性惩罚措施。对于结果稀疏性而言，需要迭代调整超参数01第 12 期叶汉民，等:基于稀疏化卷积网络剪枝的图像识别方法研究才能获得较好性能。此外，可以将上述问题转化为通过某种策略移除网络架构中冗余参数或连接方式，冗余连接可定义为si=w(i)w2(i)Hii2orw2(i)2H1ii(2)式中:si为显著性程度;w(i)为网络权重;Hii为海森矩阵值，H=2Lw2m m。本文在开展剪枝实验时，对于每个稀疏连接层，在经历一轮训练时，利用随机掩码(0，1)进行网络初始化，修剪部分接近零的最低权重，随后增加新的随机权重替换已被修剪过的权重，迭代执行修剪移除权重与增加随机权重的过程进行网络训练。通过线性缩放权重比例遍历网络，实现网络模型稀疏训练。在网络剪枝训练中，掩码的初始化设置是随机的，逐渐对其进行调整，同时在网络中各层之间保持相同的稀疏级别。其基本流程:利用随机掩码初始化神经网络模型;设置网络层的权重保留比例，计算并保存网络指定稀疏度的权重(1 k)Hi=1mi);剔除相对较小且接近 0 的权重，增加同等数量随机权重进行网络训练与更新;线性缩放权重保留比例并遍历网络中所有参数，最终保存权重数量等同于中权重数量;迭代执行流程 ，最终获得精简剪枝模型。本实验使用随机梯度下降作为梯度优化器，为保证网络训练高效性，所以在架构中引进批量规范化层(Batch-Normalization，BN)层