基于NS-StyleGAN2的鱼类图像扩充方法_李海涛.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第1期总第329期0引 言随着人工神经网络的不断发展，深度学习这一人工智能重要领域有了更好的前景，其中图像识别与分类已经有了广泛的应用，包括人脸识别、停车场车牌识别、医疗图像分析、安防监控等1。但是当深度学习逐渐扩展到更多行业中时，其局限性也慢慢暴露出来：数据的不足会使深度学习与其他传统方法相比没有优势，甚至达不到其他传统方法取得的效果。这一局限性在图像识别与分类中，具体表现为数据集质量参差不齐、数据多样性不足、数据集类别不平衡等问题2。其中数据集类别不平衡问题较为常见且影响较大，表现为数据集中某几类样本的数据量较多，而另外几类样本的数据量较少，若人工神经网络采用此种数据集训练，最后的判别准确率会在某几类上出现明显的偏差。解决类别不平衡问题最直观、有效的方法是对数量少的样本图像进行扩充。传统的图像扩充方法主要依据计算机图形学相关理论，通过在几何变换方面对原始图像进行平移、缩放、旋转、仿射、透视；在图像增强方面对原始图像进行亮度、色度、对比度、锐度调整；在噪声方面对原始图像添加高斯噪声或椒盐噪声3。采用传统图像扩充方法可以在不增加无意义数据的同时简单快速地扩充样本图像数量，但在数据多样性提升方面效果不佳。近年来随着神经网络不断改进变革，涌现出了卷积神经网络、递归神经网络、深度神经网络等众多复杂的多节点网络模型，依托于此，诞生了生成对抗网络（Generative Adversarial Networks，GANs）及其一文章编号：1006-2475（2023）01-0013-05基于NS-StyleGAN2的鱼类图像扩充方法李海涛，胡泽涛，张俊虎（青岛科技大学信息科学与技术学院，山东 青岛 266061）摘要：图像多分类领域中经常出现类别不平衡问题，这会对分类模型的学习训练产生负面影响。通过对样本数量较少的类别进行扩充可以有效解决类别不平衡问题。生成对抗网络作为近年来新兴的一种神经网络，输入真实图像样本训练可以输出与真实样本非常相似的生成样本。根据此特性，本文结合第二代样式生成对抗网络（StyleGAN2）的设计思想与鱼类图像的特点，设计一种噪声抑制样式生成对抗网络NS-StyleGAN2（Noise-Suppressed Style Generative Adversarial Networks 2）。NS-StyleGN2去除了StyleGAN2合成网络中低分辨率层的噪声输入，从而抑制低分辨率层的噪声权重，使StyleGAN2生成样本细节特征更逼近真实样本特征。采用202张鲢鱼图像进行训练，本文提出的方法在起始分数、弗雷歇起始距离、内核起始距离得分等方面均优于DCGAN、WGAN、StyleGAN2，表明该方法可以有效进行图像扩充。关键词：样式生成对抗网络；图像扩充；噪声抑制；起始分数；弗雷歇起始距离中图分类号：TP391.4文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.01.003Method of Fish Image Expansion Based on NS-StyleGAN2 NetworkLI Hai-tao，HU Ze-tao，ZHANG Jun-hu（Information Science and Technology Academy，Qingdao University of Science and Technology，Qingdao 266061，China）Abstract:Category imbalance often occurs in the field of image multi-classification，which has a negative impact on the learningand training of the classification model.It can be effectively solved by expanding the category with fewer samples.Generative adversarial network，as a newly developed neural network in recent years，can output generated samples that are very similar to realsamples when trained by real image samples.According to this characteristic，this paper designs a noise-suppressed second generation style generation adversarial network 2（NS-StyleGAN2）by combining the design philosophy of the second generationstyle generation adversarial network（StyleGAN2）and the characteristics of fish image.NS-StyleGAN2 removes the noise inputof the low-resolution layer in the StyleGAN2 s synthetic network，so as to suppress the noise weight of the low-resolution layerand make the StyleGAN2-generated samplesdetail features more close to the real samples.202 images of silver carp are usedfor training.The method proposed in this paper is superior to DCGAN，WGAN and StyleGAN2 in inception score，Frechet inception distance and kernel inception distance，which shows this method can be used for image expansion effectively.Key words:StyleGAN（Style Generative Adversarial Networks）；image augmentation；noise suppression；IS；FID收稿日期：2022-01-28；修回日期：2022-03-02基金项目：山东省重点研发计划（科技示范工程）项目（2021SFGC0701）作者简介：李海涛（1978），男，山东菏泽人，副教授，博士，研究方向：地理信息系统，北斗定位导航，移动物联网，E-mail：；胡泽涛（1997），男，山东菏泽人，硕士研究生，研究方向：智慧海洋，智慧渔业，E-mail：huzetao_；张俊虎（1974），男，副教授，博士，研究方向：分布式数据处理，E-mail：。计算机与现代化2023年第1期系列改进网络。生成对抗网络通过生成器与判别器二者进行博弈式训练，可使生成器生成与真实样本极其相似的生成样本4。根据生成对抗网络的结构和特性，可以利用其进行有效的图像扩充，使生成图像多样性更加丰富。考虑到生成对抗网络所生成样本的分辨率、多样性等指标，本文选取 StyleGAN2 作为原始网络。在StyleGAN2的基础上，针对鱼类图像由低到高不同层级特征的变化特点，以及StyleGAN2控制不同层级特征变化的方式，本文设计一种噪声抑制样式生成对抗网络NS-StyleGAN2。NS-StyleGAN2 通过去除 StyleGAN2的合成网络中44至1616分辨率层的噪声叠加模块，保留其他分辨率层的噪声叠加模块，抑制了StyleGAN2合成网络中的低分辨率层噪声输入。同时本文对DCGAN、WGAN等其他生成对抗网络进行相同实验对比，发现利用NS-StyleGAN2网络对鱼类图像样本训练，可以生成更真实、更多样化的鱼类图像样本。1生成对抗网络GANs于2014年由Goodfellow等人提出，是一种无监督学习方法5。GANs包括 2大部分：生成器 G（Generator）和判别器D（Discriminator）6。生成器将随机噪声z作为输入，经过多层网络运算处理输出生成样本图像G（z）。判别器将生成样本图像和真实样本图像作为输入x，经过多层网络运算处理得到二值输出D（x），值为0时表示输入x为生成样本图像，值为1时表示输入x为真实样本图像7。最初的GANs使用梯度下降法达到纳什均衡，训练过程极不稳定，会出现梯度消失、模式崩溃（ModelCollapse）等问题，造成训练能效低、生成样本多样性低、图像质量差8-12等问题。为了解决原始GANs的问题，经过后人研究衍生了若干GANs的变种。1.1深度卷积生成对抗网络DCGAN深度卷积生成对抗网络与原始 GANs相比修改了生成器和判别器的网络结构，在生成器中使用分数步长卷积（Fractional-strided Convolutions）代替池化层，在判别器中使用步长卷积（Strided Convolutions）代替池化层，以此加深网络层级，学习样本更多的特征13。为了加快网络收敛，DCGAN使用池化层将生成器和判别器的随机输入直接与卷积层特征输入进行连接，去掉了参数过多的全连接层14-15。1.2基于推土机距离的生成对抗网络WGAN基于推土机距离的生成对抗网络（WassersteinGAN，WGAN）的改进方式与 DCGAN 的根据经验调整网络架构不同，它从原始GANs的公式定理方面着手，针对推理出的问题从算法逻辑进行改进。WGAN相较于原始GANs，从理论上解决了梯度消失问题，同时引入了Wasserstein距离作为GAN训练指标，使网络训练更加稳定并减少了模式崩塌现象16-18。但WGAN没有对网络结构进行大幅度调整，仍然难以生成高分辨率图像。1.3第二代基于样式的生成对抗网络StyleGAN2基于样式的生成对抗网络（Style Based GAN，StyleGAN）是英伟达公司于 2019年提出的一种基于ProGAN 改进的生成对抗网络变体19。StyleGAN 网络结构与GANs类似，包括生成器和判别器，其改进点主要集中在生成器。StyleGAN的生成器网络主要包括2个部分：映射网络（Mapping Network）和合成网络（Synthesis Network），整体网络结构如图 1 所示。图1StyleGAN网络结构MappingNetwork 主 要 对 隐 藏 空 间（LatentSpace）进行解耦，寻找数据之间耦合性高的特征之间更深层次的关系，将这些关系解耦得到隐藏特征（Latent Code）。Mapping Network的8个全连接层将Latent Code（z）仿射变换（A）为中间变量w，使z的分布函数变为非均匀密度分布函数，更符合实际情况的特征分布。通过Mapping Network模型可以生成一个不需要跟随训练数据分布的向量w，并可以减少样本特征之间的耦合性，达到控制单一特征而不影响其原始被纠缠的特征20-23。StyleGAN作为目前最先进的高分辨率图像生成方法之一，其仍存在缺点，包括网络训练速度慢以及生成的各级特征图像都包含明显的斑点伪影（artifacts）。为解决StyleGAN出现的问题，NVIDIA发布了StyleGAN的升级版StyleGAN2。StyleGAN2通过实验发现出现artifacts的原因在于AdaIN操作，于是在一代的基础上修改合成网络架构，首先将AdaIN转化为归一化与调制这2个操作，并将多余的偏差和噪声广播操作移至不同分辨率层之间，最终使用解调代替归