基于卷积神经网络和语义分割的苗族刺绣风格数字模拟_谭永前.pdf

基于卷积神经网络和语义分割的苗族刺绣风格数字模拟谭永前，曾凡菊*（凯里学院，贵州 凯里556011）摘要：传统神经网络算法在对苗族刺绣图像风格模拟过程中，存在模拟图像边缘轮廓模糊，生成的风格化模拟图像纹理细节缺乏立体感、线条扭曲以及模拟效果图的前景和背景层次不清等问题.本文提出了一种基于卷积神经网络和语义分割的苗族刺绣风格数字模拟算法：首先对内容图像和风格图像进行预处理，检测内容图像的边缘轮廓并增强，利用FCN-CRF图像语义分割算法对内容图像和苗族刺绣风格图像进行语义分割并进行标注，同时获取相应的二值化掩膜.然后把内容图像和苗族刺绣风格图像及相应掩膜输入到CNN中进行网络计算，完成苗族刺绣风格的转换，获得苗族刺绣风格初始模拟图像.最后把边缘轮廓增强图像和绣布与初始模拟图像进行融合，达到更好的效果.实验表明，改进后的方法能提高风格模拟效果图中前景图和背景图的层次感，风格模拟效果图的边缘信息清晰度得到改善，取得了比传统算法更好的风格模拟视觉效果.关键字：卷积神经网络；边缘信息；语义分割；风格化处理；苗族刺绣中图分类号：TP391文献标识码：A文章编号：1673-9329（2023）03-0064-101引言利用深度学习的神经网络转换图像风格是指将一张作品图像的风格通过相应的计算机算法转换到另一张作品图像上的技术，该技术可使内容图像既保留了原作品图像的内容信息又具有艺术作品图像的“画风”.Gatys等1首次开创性地把卷积神经网络（Convolutional Neural Networks，CNN）应用于图像的艺术风格迁移，取得了较传统算法更好的艺术效果.之后，基于神经网络的图像风格转换受到越来越多学者的关注，并在Gatys算法基础上提出了一些改进算法2-4.目前，利用基于深度学习的神经网络图像风格迁移技术已实现中国水墨画5、乱针绣6、烙画7和剪纸等作品的风格数字模拟，但对苗族刺绣风格的数字模拟还鲜有涉及，尤其是针对苗族刺绣风格的数字模拟研究.苗族刺绣是一门古老的技艺，是苗族人民在生活中以勤劳和智慧创造的一门艺术，其蕴含的文化内涵可折射出苗族的历史变迁过程.苗族刺绣是苗族人民辈辈相传的手工技艺，图案内容大多来源苗族人民的生活.刺绣图案（如图1）饱满、色彩鲜艳、对比强烈，体现了苗族人民纯真、古朴、大方的特点.刺绣图案内容丰富多彩，主要以花朵、飞鸟、鱼、龙和蝴蝶等为题材，每个图案都收稿日期：2023-02-27基金项目：贵州省2022年度基础研究计划（自然科学）项目（黔科合基础-ZK 2022 一般526）作者简介：谭永前（1984-），男，贵州黄平人，凯里学院大数据工程学院副教授，研究方向为图形图像处理.*通讯作者：曾凡菊（1986-），女，贵州黄平人，博士，凯里学院大数据工程学院教授，研究方向为光学图像.第 41 卷第 3 期2023 年 6 月凯里学院学报Journal of Kaili UniversityVol.41 No.3Jun.2023计算机科学64有着一个的传说，都蕴含着苗族文化，是苗族历史与生活的展示，堪称苗族的“无字史书”.长期以来，苗族刺绣这一技艺的传承主要靠长辈心口相传，技法传承也只局限于家族内部，刺绣的技艺掌握受益于家庭环境的熏陶8.但这种仅仅依靠祖辈相传、心记来传承苗族刺绣技艺的方法，不利于苗族刺绣技艺的保护、传承、推广和发展.特别是随着经济的发展，学习苗族刺绣这一传统技法的人也越来越少，使得苗族刺绣技艺和艺术作品在传承和发展方面面临着种种困难.为推广苗族刺绣艺术作品和传承苗族刺绣技艺，我们利用计算机对苗族刺绣风格艺术作品进行数字模拟，这样不仅能弘扬民族文化和保护传统文化艺术作品，还能继承传统文化并进行现代艺术创作.图1苗族刺绣风格作品本文提出一种基于卷积神经网络和语义分割来实现苗族刺绣风格迁移的方法.首先，使用图像语义分割算法对目标图像进行语义分割并标注，获取图像掩膜，检测并提取内容图像的边缘信息.然后，利用卷积神经网络实现苗族刺绣风格模拟.最后，利用掩膜、边缘轮廓信息与刺绣模拟图像进行融合，经过锐化处理，获得具有苗族刺绣风格的模拟结果.2苗族刺绣风格数字模拟相关理论基础2.1基于卷积神经网络的艺术风格模拟Gatys 等1在2016年首次提出利用卷积神经网络实现图像的风格转移，该算法利用卷积神经网络把图像的内容特征和风格特征分离，并通过单独处理卷积神经网络的高层分离出来的风格特征来实现图像的风格转移，可达到很好的艺术效果，如图2所示.a艺术风格图像b内容图像c风格模拟结果图像图2风格数字模拟结果Gatys等1实现风格模拟的核心思想是利用VGG训练模型，提取内容图像和风格图像的高层特征并进行表示.然后初始化一张白噪声图像，并通过不断迭代优化的方式重建一张既具有内容图像的内容又具有风格图像风格的合成图像，VGG模型结构如图3所示.65224 224 3 224 224 64112 112 12856 56 25628 28 51214 14 5127 7 5121 1 40961 11000fully connected+ReLUconvolution+ReLUmax poolingsoftmax图3VGG模型结构2.1.1内容图像特征表示在Gatys 等1的算法中，使用式（1）定义白噪声图像与原内容图像两类特征表示之间的误差平方损失函数作为内容图像总损失函数：Lcontent(p?,x?,l)=12i,j(Flij-Plij)2（1）式中p?为输入的原内容图像，x?为初始化的白噪声图像，l表示卷积层的顺序值，Flij表示白噪声图像在第l层、第i个卷积核在位置j处的激活函数特征值，Plij表示原内容图像在第l层、第i个卷积核在位置j处的激活函数特征值7.内容损失函数Lcontent(p?,x?,l)对Flij求偏导数可得到对应的l层的激活函数：LcontentFlij=Flij-Plij,if Flij 00,if Flij 00,if Flij 0（6）式中Flij表示内容图像特征，表示过程中初始化的白噪声在第l层的特征表示，Al、Gl分别表示在风格图像特征表示过程中初始化的白噪声图像和输入的风格图像在第l层的风格特征.2.1.3风格转移为了将风格图像a?的风格转移到内容图像p?上，需要同步匹配风格图像a?的风格特征和内容图像p?的内容特征来合成一个新的图像x?，同时将从卷积神经网络的一层获取的内容图像损失特征表示和大量层上获取的风格图像总损失特征表示最小化，如式（7）：Ltotal(p?,a?,x?)=Lcontent(p?,x?,l)+Lstyle(a?,x?,l)（7）式中、分别代表语义内容和风格的权重因子1，+=1，用于调节内容图像特征损失函数和风格图像特征各自的权重，Ltotal(p?,a?,x?)表示由内容图像损失和风格图像损失的线性组合构成的总损失.利用反向传播算法迭代更新权重和偏置参数，从而更新输入图像，即对总损失Ltotal(p?,a?,x?)对x?求导，然后乘以步长，就得到更新的大小12.因此x?就在图4中间部分的网络中循环，使得x?不断的同时接近内容图像的特征和风格图像的特征，直到优化得到最小值，风格迁移流程如图4所示.内容图像p?的内容特征来合成一个新的图像x?，同时将从卷积神经网络的一层获取的内容图像损失特征表示和大量层上获取的风格图像总损失特征表示最小化，如式子（7）.(,)(,)(,)totalcontentstyleLp a xLp x lLa x l=+?（7）式子（7）中，分别代表语义内容和风格的权重因子1，1+=，用于调节内容图像特征损失函数和风格图像特征各自的权重，(,)totalLp a x?表示由内容图像损失和风格图像损失的线性组合构成的总损失.利用反向传播算法迭代更新权重和偏置参数，从而更新输入图像，即对总损失(,)totalLp a x?对x?求导，然后乘以步长，就得到更新的大小12.因此x?就在图 4 中间部分的网络中循环，使得x?不断的同时接近内容图像的特征和风格图像的特征，直到优化得到最小值，风格迁移流程如图 4 所示.图 4 风格迁移算法流程2.2 图像语义分割和边缘提取增强图像的语义分割是将场景图像从像素的角度根据图片中不同对象分割出若干个有意义的图像区域，并对不同图像区域进行标注的过程13.传统基于 CNN 网络的语义分割算法存储开销大，分割精确和清晰度不高.Long 等人提出了全卷积神经网络（fully convolutionalnetwork，FCN）14，FCN 网络可以通过像素级到像素级的训练方式实现像素级别的语义分图4风格迁移算法流程672.2图像语义分割和边缘提取增强图像的语义分割是将场景图像从像素的角度根据图片中不同对象分割出若干个有意义的图像区域，并对不同图像区域进行标注的过程13.传统基于CNN网络的语义分割算法存储开销大，分割精度和清晰度不高.Long等14提出了全卷积神经网络（Fully Convolutional Network，FCN），FCN网络可以通过像素级到像素级的训练方式实现像素级别的语义分割，比基于CNN网络能够获得更高的分割精度和更好的运算效率，但分割结果边缘仍然粗糙.Chen等15将条件随机场（Conditional Random Field，CRF）与FCN网络结合起来，提出一种基于FCN-CRF图像语义分割算法，该算法克服了FCN算法分割结果边缘较为粗糙的问题.本文借鉴了FCN-CRF图像语义分割算法思想，采用FCN-CRF语义分割算法对内容图像和苗族刺绣风格图像进行语义分割，并对分割结果进行二值化处理后获得内容图像的内容掩膜和刺绣风格图像的风格掩膜，图像语义分割及其掩膜获取如图5所示.a内容图像b内容图像语义分割c内容图像二值化掩膜d刺绣风格图像e刺绣图像语义分割f刺绣图像二值化掩膜图5图像语义分割及其掩模获取Gatys等1采用卷积神经网络实现图像风格转换过程中，内容图像的结构信息和边缘信息会被弱化或丢失，导致风格化结果图像的边缘信息模糊不清，影响了视觉效果.本文首先对内容图像进行边缘提取并进行边缘信息增强，然后将增强的边缘信息与风格化后的图像进行融合，达到改善风格化图像边缘的效果.本文采用sobel算子对内容图像进行边缘检测并进行边缘轮廓的提取，边缘轮廓检测提取结果如图6所示.a输入图像b边缘轮廓提取图图6sobel算子边缘轮廓提取结果683图像融合本文借鉴了文献 16-18 在图像指定区域中进行纹理模拟的算法思想，首先在卷积神经网络进行风格转换过程中，添加刺绣艺术风格图像的掩模和内容图像的掩模，达到在指定目标区域进行风格转换的目的；然后将绣布背景与得到的指定目标区域风格转换模拟图像进行融合；最后把边缘轮廓图融合到风格转换图像中，完成最终的图像融合.图像的融合计算公式可用式（8）来描述：Presult=(1-Pmask)Pbackground+Pstyle Pmask（8）其中，Pmask为掩膜图像，Pbackground为背景图像，Pstyle为指定目标区域风格转换的模拟图像，Pmask、Pbackground、Pstyle三种图像的尺寸完全相同，Presult为融合后的最终图像.两次图像融合如图7所示.图7苗族刺绣风格数字模拟流程图4基于卷积神经网络和语义分割的苗族刺绣风格数字模拟本文方法流程图如图7所示：对选取输入的内容图像和苗族刺绣风格图像进行去噪处理，减少噪声对后续各环节的影响；对内容图像进行边缘轮廓检测和边缘轮廓增强；对内容图像和苗族刺绣风格图像使用FCN-CRF图像语义分割算法进行语义分割并标注，对分割结果进行二值化处理后获取内容图像的内容掩膜和苗族刺绣风格图像的风格掩膜；把内容图像和苗族刺绣风格图像以及对应的二值化掩膜输入到CNN中进行网络计算，完成苗族刺绣风格的转换，获得苗族刺绣风格初始模拟图像；对苗族刺绣风格初始模拟图像、内容掩膜图像以及绣布背景图像进行第一次图像融合；对上一步得到的结果与边缘轮廓增强图像进行第二次图像融合，经锐化处理，获得最终苗族刺绣风格模拟图像