基于StyleGAN的草图生成产品设计效果图方法研究_邓正根.pdf

包 装 工 程 第 44 卷 第 6 期 188 PACKAGING ENGINEERING 2023 年 3 月 收稿日期：20221013 基金项目：国家自然科学基金（52065010）；贵州省科技计划项目（黔科合基础-ZK2021一般 341、黔科合支撑2021一般 397）；贵阳市科技局成果转化项目（筑科合同20217-3）作者简介：邓正根（1999），男，硕士生，主攻研究智能设计。通信作者：吕健（1983），男，副教授，主要研究方向为产品设计、智能设计等。基于 StyleGAN 的草图生成产品设计效果图方法研究 邓正根1，吕健1，刘翔1，侯宇康1，王帅2（1.贵州大学 现代制造技术教育部重点实验室，贵阳 550025；2.长安大学 工程机械学院，西安 710064）摘要：目的目的 解决当前产品设计表达中存在对设计师要求高、设计思维具有局限性、设计周期长等问题。方法方法 提出基于 StyleGAN 的草图快速生成产品效果图像的方法，该方法利用图像变形技术，将不同程度的产品草图生成真实产品效果图像。结果结果 该方法可有效地满足设计师创作需求，也能为没有绘画基础的用户生成高质量的产品设计方案。结论结论 将基于深度学习的 StyleGAN 模型应用于草图生成真实产品效果图像中，能快速、高效地完成产品设计表达过程，为产品设计表达提供了一个基于深度学习技术的参考框架，也是传统产品设计在人工智能时代的一次创新性探索。关键词：产品设计；手绘草图；图像变形技术；汽车造型；StyleGAN 中图分类号：TB472 文献标识码：A 文章编号：1001-3563(2023)06-0188-08 DOI：10.19554/ki.1001-3563.2023.06.020 StyleGAN-based Sketch Generation Method for Product Design Renderings DENG Zheng-gen1,LYU Jian1,LIU Xiang1,HOU Yu-kang1,WANG Shuai2(1.Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education,Guizhou University,Guiyang 550025,China;2.School of Construction Machinery,Changan University,Xian 710064,China)ABSTRACT:The work aims to solve the current problems of high requirements for designers,limited design thinking and long design cycles in product design expression.A method for fast generation of product renderings from sketches based on StyleGAN was proposed.The image deformation techniques was adopted to generate real product renderings from product sketches of different degrees.The method can effectively meet the creative needs of designers and generate high-quality product design solutions for users who have no basic drawing skills.Applying the StyleGAN model based on deep learning in sketches to generate real product renderings can quickly and efficiently complete the product design expression process.It provides a reference framework based on deep learning technology for product design expression and is an innovative exploration of traditional product design in the era of artificial intelligence.KEY WORDS:product design;hand sketching;image morphing technology;automotive styling;StyleGAN 对于产品造型设计师来说，绘制草图只是整个设计表达流程中的第一步，除此之外还需要花费大量时间完成产品三维建模、CMF 设计和生成最终渲染效果图，产品经过“二维三维二维”的表达过程。如果能利用人工智能技术，将设计师绘制的产品草图生成真实产品效果图，即表达过程缩短为“二维二维”，能极大地减少设计师的工作量及降低产品设计师入门门槛，促进产品设计领域的高速发展。近年来，风格迁移技术在生成图像速度、质量方面都有大幅提升，复杂繁琐的人工制作也逐渐被基于深度神经网络的智能化、标准化的作业流程替代。目前，风格迁移技术已经运用到商业应用中。董荪1以第 44 卷 第 6 期 邓正根，等：基于 StyleGAN 的草图生成产品设计效果图方法研究 189 梵高之眼影片为例，在动画设计中运用风格迁移技术，把梵高星空的绘画元素迁移到影片中，为动画创作提供一种新的研究发展思路；王君2以Prisma 作为风格化图像处理的工具，把丝巾作为设计载体进行个性化定制设计，尝试性探索将人工智能技术与传统纺织行业市场化相结合；钱潇驰等3借助深度神经网络方法，提取分析非遗唐卡的色彩特征，高效且快速地实现非遗唐卡风格迁移；侯国栋等4把深度学习模型应用在日常拍摄的风景图像上，利用VGG19 模型把不同场景下的艺术作品风格迁移到拍摄的风景图像上；陈捷等5把风格迁移算法应用到漆器文创产品的开发设计中，通过前期收集漆器相关技法、模拟运算、demo 测试、利用绘图软件二次叠加效果等实验流程，最终成功应用到漆器餐具、文具类文创产品设计中。然而，在草图生成真实产品效果图像方面，风格迁移技术还未完全发挥优势，已有研究采用草图识别技术来识别用户绘制的内容并提供建议性指导6、相似草图推荐7和即兴反馈8等，但这些研究专注于学习草图的语义，无法完成草图到设计方案效果图的转换9。另一类研究利用卷积神经网络中的风格迁移技术将油画风格迁移到普通照片上10，并有后续研究将该方法扩展到照片风格迁移11、肖像风格迁移7和字体风格迁移12上。然而该方法只迁移图像低层次的纹理和颜色，也仅限于两张完整图像之间的风格迁移，同样也无法完成从草图到设计方案效果图的转换9，要实现草图到真实产品图像转变，存在以下两点挑战。1）存在一定程度的模型塌陷问题。如 pix2pix、CycleGAN13等神经网络模型，对数据集要求较高（需草图与真实图像成对的数据集）、生成的效果不太理想等问题。2）形状改变的限制。现阶段大部分研究者对风格迁移技术，主要只针对图像的颜色、纹理等进行简单改变，而忽略了在形状方面的影响14。然而在特定场景下，设计师除了希望模型能实现草图与真实产品图像之间的风格转换外，还希望能结合适当的图像形变，以满足不同程度的设计草图生成产品设计效果图像的需求。为了解决上述问题，本文提出一种基于 StyleGAN的草图生成产品设计效果图像方法，该方法主要采用图像变形技术实现两者之间的转换。首先，以该产品图像作为数据集训练 StyleGAN 模型；其次，按照产品草图的设计表达程度分为专业设计草图、业余设计草图，并分别矢量化处理；然后，为每张草图选取市面上的产品图像作为目标风格，并利用 StyleGAN 的图像变形技术实现草图在风格、形状等方面逐渐接近于目标风格图像的效果；最后，分别在专业设计草图中选取较小形变的风格迁移方案、在业余设计草图中选取较大形变的风格迁移方案，来获得最佳设计方案。该研究是将基于深度学习的 StyleGAN 模型应用于草图生成真实产品效果图像，能帮助设计师快速、高效地完成设计表达过程，为产品设计表达提供了一个基于深度学习技术的参考框架，是传统产品设计在人工智能时代下的一次创新性探索。1 基本原理 1.1 GAN GAN 模型包含生成器、判别器网络。生成器旨在生成判别器无法判断真伪的图像，判别器旨在区分传入的图片真伪性。生成器与判别器相互博弈，在训练过程中，判别器和生成器会各自更新参数，使得损失最小，通过这种不断迭代优化的方式，最终达到纳什均衡的状态（生成器能生成出判别器判断不出真伪的图像）。GAN 的目标函数定义如下：data(x)()min max()lglg()()1ZzXPGDzPDV GD xz,DEEG=（1）式中：X 表示从真实图片data(x)P分布中随机取样的样本，sb(,)yyy表示来自正态分布里取样的随机向量，()D x就表示把真样本分类成真的概率，1()D G z表示把假的样本分类成假的概率。1.2 StyleGAN StyleGAN 是 GAN 的衍生网络，主要改进生成器的网络架构，旨在减少特征纠缠及提高对样式控制的能力。StyleGAN 将生成器改为由映射网络、合成网络两部分构成15（见图 1），分别具有以下作用。图 1 StyleGAN 生成器结构框架 Fig.1 Architecture framework of StyleGAN generator 第一，为了减少特征纠缠，将映射网络设计成由8 个全连接层构成，该网络能将输入向量编码转化为中间向量，再将中间向量通过一个可学习的仿射变换为特征码（样式控制向量）sb(,)yyy，以自适应实例规范化（AdaIN）16运算控制在合成网络中每个卷积层，AdaIN操作定义如下：190 包 装 工 程 2023 年 3 月 ,AdaIN(,)iiis ib iiXXXyyyX(2)式中：iX表示每个特征图，iX、iX分别代表特征图的均值和标准差。第二，为了提高样式控制和训练效率，合成网络的结构借鉴了ProGAN模型。首先学习在低分辨率图像中也能显示出来的基本特征，把学习到的基本特征作为创建图像的基本部分，随着分辨率的增加，学习到的细节也随之增加。同时，以低分辨率图像开始训练，不仅简单、快速，还有助于提高整体的训练效率，而且在一定条件下，还能控制与修改图像的不同视觉特征。基于上述原理，StyleGAN的合成网络设计成由8个逐渐层构成（分辨率从42变换到82，最终变换到5122）。中间向量传给合成网络中的16个特征码，分别作用于合成网络中的8个分辨率层，每个分辨率层由两个特征码来控制特定的特征，例如：1、2特征码来控制42分辨率层的特征样式，以此类推。按照特征码控制的不同层（分辨率），分为粗糙层、中间层、精细层3种类型，每个特征层对应的特征码控制着图像不同的特征，其关系见表1。表 1 特征层与特征码、控制的图像分辨率及 图像特征的关系 Tab.1 Relationship between feature layer and feature code,controlled image resolution,and image features 名称 对应 特征码 控制的图 像分辨率 控制图像的特征 粗糙层 14 4282 控制图像样式的整体形态、姿势等宏观特征 中间层 58 162322 继承较小比例的、更精细的整体形态宏观特征 精细层 916 6425122 不能控制整体形态特征等宏观特征，但可以精细地控制颜色、肌理等微观特征 综上所述，StyleGAN