改进Inception结构的图像分类方法_董跃华.pdf

第 22卷 第 2期2023年 2月Vol.22 No.2Feb.2023软 件 导 刊Software Guide改进Inception结构的图像分类方法董跃华，彭辉林（江西理工大学 信息工程学院，江西 赣州 341000）摘要：为解决图像分类中Inception结构复杂且在深度网络中存在参数冗余的问题，提出一种改进的Inception结构。该结构整合了传统Inception结构中繁杂的11卷积操作，通过引入深度卷积增加Inception结构的特征多样性，降低模型参数量，并结合残差结构防止梯度爆炸及梯度消失。同时引入注意力机制，获取关键特征权重信息，优化资源分配方式，并在此基础上设计了一个基于标准卷积与非对称卷积的轻量化网络模型。实验对象选择苹果叶病害数据集与CIFAR-10数据集，通过与经典卷积神经网络VGG16、Inception-V3与MobileNet进行比较后发现，改进Inception结构的轻量化模型具有参数量少、训练时间短、分类效果好的优势。同时，通过比较改进前后Inception结构在所提网络模型中的训练结果，证明了改进Inception结构较传统Inception结构分类性能更好。关键词：图像分类；Inception；深度卷积；苹果叶病害；卷积神经网络DOI：10.11907/rjdk.221304开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP391.4 文献标识码：A文章编号：1672-7800（2023）002-0041-06Image Classification Method Based on Improved Inception StructureDONG Yue-hua，PENG Hui-lin（School of Information Engineering，Jiangxi University of Science and Technology，Ganzhou 341000，China）Abstract：In order to solve the problem of complex Inception structure and redundant parameters in deep network in image classification，an improved Inception structure is proposed，which integrates the complicated 11 convolution operation in the traditional Inception structure，and introduces depthwise convolution.Increase the feature diversity of the Inception structure，reduce the amount of parameters，and combine the residual structure to prevent gradient explosion and gradient disappearance.At the same time，an attention mechanism is introduced to obtain key feature weight information and optimize resource allocation.On this basis，a lightweight network model based on standard convolution and asymmetric convolution is designed.In the experiment，the apple leaf disease dataset and the CIFAR-10 dataset were selected as the experimental objects.The results after comparing with the classic convolutional neural network VGG16，Inception-V3 and MobileNet show that the lightweight model of the improved Inception structure has fewer parameters，the advantages of short training time and better classification effect prove that the quality of the model proposed is better than that of VGG16，Inception-V3 and MobileNet.At the same time，by comparing the training results of the Inception structure before and after the improvement in the proposed network，it is also proved that the improved Inception structure is better than the traditional Inception structure.Key Words：image classification；Inception；deep convolution；apple foliage disease；convolutional neural network0 引言自 21世纪始，互联网及大数据不断推动着深度学习算法的发展，其在语音识别1、目标检测2、图像分类3等众多领域都取得了重大成就。其中，卷积神经网络（Convolutional Neural Network，CNN）以其优秀的特征提取能力、泛化能力成为图像分类领域中的研究热门之一。Alex Krizhevsky4在ImageNet大赛上提出的AlexNet网络一举得魁后，成功地将CNN推向了图像分类领域的研究热门之一，并 带 动 了 一 系 列 CNN，如 VGGNet5、Inception6-9、ResNet10、DenseNet11、MobileNet12-14等模型不断被提出，关于CNN模型的研究尤如井喷式增长。早期CNN的发展趋势是网络深度越来越深。2015年ImageNet 竞赛冠军 ResNet 层数为 AlexNet 的 20 多倍，是VGGNet的 8倍多，通过增加网络层数可以产生更好的特收稿日期：2022-03-19作者简介：董跃华（1964-），女，硕士，江西理工大学信息工程学院副教授，研究方向为软件工程等；彭辉林（1997-），男，江西理工大学信息工程学院硕士研究生，研究方向为图像分类。本文通讯作者：彭辉林。2023 年软 件 导 刊征表达。然而增加网络层数的同时也增加了CNN的整体复杂程度，在深度网络中会导致大量参数冗余，并产生过拟合、网络退化问题等，从而使模型变得难以优化，所设计的网络不利于应用在目前发展迅速的移动端市场。因此，在保持模型精度的基础上进一步减少模型参数量和复杂度的轻量化 CNN 模型逐渐引起人们的关注。2017 年，Google提出采用深度可分离卷积代替标准卷积的轻量化网络 MobileNet；2018 年，Zhang 等15提出 ShuffleNet，对输入的通道进行分组；2020年，华为提出GhostNet16，通过廉价操作以更少的参数生成更多特征。轻量化网络通过降低模型参数量，不仅降低了对模型训练的硬件设施要求，还极大降低了模型训练时间，推动了CNN走出实验室，更广泛地应用于移动端市场。但在深度CNN中，其计算成本往往是由大量卷积操作所导致的，尽管在轻量化网络引入分组卷积等操作，以小卷积构建网络，但在深度网络中仍然会导致大量冗余参数。为解决深度网络中容易陷入性能饱和区的问题，由Google 提出的 Inception 系列模型首先提出一种基于多分组并行卷积结构的 Inception 模块。Inception 模块的诞生使网络不再局限于向更深层次，而是向更宽的方向改进。通过并行训练多组不同尺寸的卷积池化操作，不仅可提升模型对不同尺度的适应性，还可拓展网络宽度，有效提升了CNN的分类性能。然而，由于使用了大量小卷积操作，导致其在深度网络中同样存在大量冗余参数，从而使得网络难以优化。基于以上背景，文献 17-18 提出采用空洞卷积替代Inception结构中的标准卷积，有效提升了模型的特征交互能力，但其结构复杂度使其在深度网络中仍然会产生大量冗余参数；文献 19 通过简化Inception结构，有效解决了随着网络不断加深而导致的参数大幅增长问题，但同时也弱化了网络对不同尺度的适应性。受以上研究工作启发，本文提出一个改进Inception结构的轻量化网络模型，通过提取Inception模块各分组中的11卷积压缩 Inception 模块结构，减少由于使用大量 11卷积而带来的冗余参数，并结合GhostNet模型，以廉价的深度卷积生成更多特征图。模型主体以标准卷积与非对称卷积交互结合，以此增加网络深度及其非线性表达能力。同时，将CIFAR-10数据集以及苹果叶病害数据集20作为实验数据，对VGG16、Inception-V3、MobileNet模型分别进行训练，并采用准确率、训练时间及模型参数量等评价指标与本文模型进行比较，以验证本文模型的性能。1 模型相关技术1.1卷积结构传统 CNN 模型一般由卷积层（Convolution）、激活层（activation）、池化层（pooling）和全连接层（fully connected neural network，FC）组成。为提高模型准确率，通常对其进行组合加深，或对某一种或多种结构进行改进。通过对卷积层进行改进可以在一定程度上改善模型性能，由其延伸而来的非对称卷积、深度卷积等卷积操作以及由卷积等操作结合的模块化结构取得很大成功。1.1.1标准卷积对于一个标准卷积而言，其卷积过程如图1所示。在输入特征图大小为 HWM（其中 HW 为长宽，M为通道数），卷积核大小为KK，卷积核数量为N，padding值为1，步长为1的情况下，得到的输出特征图大小为HWN，计算过程为：对于输入特征图上 KKM 大小的特征，与KK大小的卷积核进行点乘求和，得到输出图中1个通道的1个点，其计算量为KKM；为得到输出单通道为HW大小的特征图，需重复步骤中的操作HW次，得到一个卷积核的卷积计算量为KKMHW；对卷积核数量为 N 个的卷积操作过程，还需对每个卷积核重复上述步骤，得到卷积操作计算量为KKMHWN。最终可得标准卷积操作的计算公式为：Params=K K M H W N（1）1.1.2深度卷积深度卷积与标准卷积的区别在于深度卷积的每次卷积操作只需与单个通道信息融合，如图2所示，若输入特征图大小为 HWM，卷积核大小为 KK，则输出大小为HWM，其计算过程仅为标准卷积操作的前两步即可。深度卷积的计算公式表示为：Params=K K M H W（2）1.2Inception在Inception系列模型之前，大部分CNN的改进方式为.Input：H W MKernel：K K NOutput：H W N Fig.1Standard convolution process图1标准卷积过程Input：H W MOuput：H W MKernel：K K M Fig.2Deep convolution process图2深度卷积过程 42第 2 期董跃华，彭辉林：改进Inception结构的图像分类方法通过增加传统的卷积、池化等操作加深网络，从而提取更深层次的特征。Inception 系列模型设计的 Inception 模块是具有优