基于子图卷积神经网络的多精度服装建模方法_陈治旭.pdf

第 49卷 第 4期2023年 4月Computer Engineering 计算机工程基于子图卷积神经网络的多精度服装建模方法陈治旭，靳雁霞，芦烨，杨晶，刘亚变，史志儒（中北大学 大数据学院，太原 030051）摘要：现有融合机器学习的服装仿真方法大多在单一精度网格上进行仿真，导致在变形较小的区域内进行不必要的计算。提出一种基于子图卷积神经网络的多精度服装建模方法。采用基于物理模拟的方法进行服装仿真，利用瑞利熵曲率计算服装各区域的平均变形度，依据平均变形度对服装网格阈值进行划分，构建与原始网格相对应的多精度服装网格。结合人体结构化模型，从多精度服装网格中提取基于时空的多精度服装图结构。在此基础上，利用子图卷积神经网络为给定顶点采样邻居节点，通过聚合给定顶点和邻居节点的特征，以更新顶点特征数据。实验结果表明，与 TailorNet方法相比，该方法的布料计算效率提升 25.3%，不仅保留了从物理模拟中学习的褶皱，而且具有更加真实的模拟效果，并提高了计算效率。关键词：服装建模；机器学习；多精度网格；图卷积神经网络；子图训练开放科学（资源服务）标志码（OSID）：中文引用格式：陈治旭，靳雁霞，芦烨，等.基于子图卷积神经网络的多精度服装建模方法 J.计算机工程，2023，49（4）：174-181.英文引用格式：CHEN Z X，JIN Y X，LU Y，et al.Multi-precision clothing modeling method based on subgraph convolutional neural network J.Computer Engineering，2023，49（4）：174-181.Multi-Precision Clothing Modeling Method Based on Subgraph Convolutional Neural NetworkCHEN Zhixu，JIN Yanxia，LU Ye，YANG Jing，LIU Yabian，SHI Zhiru（School of Big Data，North University of China，Taiyuan 030051，China）【Abstract】Exsiting clothing simulation methods combining machine learning are simulated on a single precision grid，resulting in unnecessary calculation in the area with small deformation.Therefore，a multi-precision clothing modeling method based on a subgraph Convolutional Neural Network（CNN）is proposed for the physical simulation of clothes.The average deformation degree of each area of clothing is calculated using Rayleigh entropy curvature or continuous probability distribution.The threshold value of the clothing grid is divided according to the average deformation degree，and a multi-precision clothing grid corresponding to the original grid is constructed.Combined with the structural model of the human body，a multi-precision clothing graph structure based on time-space is extracted from the multi-precision clothing grid.The subgraph CNN is used to sample the neighbor nodes for a given vertex，and the vertex feature data are updated by aggregating the features of the given vertex and neighbor nodes.The experimental results show that with the use of the proposed method，the cloth computational efficiency improved by 25.3%compared with that of the TailorNet methods.The proposed method can not only retain the wrinkles learned from the physical simulation but also has a more realistic simulation effect and improves the computational efficiency.【Key words】clothing modeling；machine learning；multi-precision grid；graph Convolutional Neural Network（CNN）；subgraph trainingDOI：10.19678/j.issn.1000-3428.00641940概述主流的布料模拟一般采用弹簧-质点模型1-2，该模型通过离散服装得到一系列规则排列的粒子，并将数学和物理规律应用到粒子上。为反映布料的物理特性，需要大量的粒子来确保真实感，通过大量的粒子和显式积分或隐式积分求解，导致计算时间延基金项目：国家自然科学基金（62071281）；山西省重点研发计划（201803D421012）；山西省自然科学基金（202103021224218）。作者简介：陈治旭（1997），男，硕士研究生，主研方向为虚拟仿真、图形图像处理；靳雁霞，副教授、博士；芦烨、杨晶、刘亚变、史志儒，硕士研究生。收稿日期：2022-03-16 修回日期：2022-05-04 Email：图形图像处理文章编号：1000-3428（2023）04-0174-08 文献标志码：A 中图分类号：TP391第 49卷 第 4期陈治旭，靳雁霞，芦烨，等：基于子图卷积神经网络的多精度服装建模方法长。为兼顾服装模拟的精度与速度，NARAIN 等3使用动态张量场对边进行分割、翻转和塌陷三种基本操作，从而动态地对服装网格进行细化和粗化，该方法较完整地保留了服装的褶皱，但是在服装运动过程中，速度差会导致网格过度细化，增大了计算复杂度。HAN 等4提出一种基于细分三角形网格的多精度服装建模方法，采用邻边翻转策略使得未细分区域与已细分区域之间不会有 T 型的节点，但是因邻边的翻转，导致在运动过程中出现不可逆的局部失真。钟李涛等5通过对低精度布料实例运动数据进行采样，获取布料平均变形度，在依据平均变形度划分高、中、低变形区域后，对不同区域进行不同程度的细分，但其布料模拟过程仍然需要计算迭代积分和非线性物理方程。在服装模拟领域中，研究人员将机器学习的思想 与 服 装 建 模 的 优 化 相 联 系，GUAN 等6构 建DRAPE 模型，该模型将服装变形划分为仅由姿势变化与仅由身体形状引起的服装变形，将变形表示为一系列的非线性变化，通过训练学习非线性变化，将两种服装变形相整合，获得最终的 DRAPE 模型。DENG 等7在文献 6 研究的基础上，提取影响服装变形的 11 个人体关节节点，采用 BP 神经网络初步寻找人体运动与服装变形的关系。石敏等8进一步定义了每个关节的特征表达式，使用四种不同的机器学习模型从实例中学习人体运动与服装变形的关系。OH 等9将传统基于物理的布料建模方式与深度神经网络（Deep Neural Network，DNN）相结合，在物理模拟的布料网格上通过 DNN 模型来推算分层布料中更加精细的节点。SANTESTEBAN 等10训练一个多层感知机（Multi-Layer Perceptron，MLP）和一 个 循 环 神 经 网 络（Recurrent Neural Network，RNN），通过将服装变形分解为静态和动态褶皱来模拟 网 络。文 献11提 出 一 种 双 流 结 构 的 网 络GarNet，身体流将 3D 点云表示的身体作为输入，服装流将 3D 三角网格表示的服装作为输入，两个流的输出被反馈到一组由 MLP 构成的融合模块，从而对服装与人体的相互作用进行建模。TailorNet12模型将服装变形分解成高频和低频分量，低频分量是利用 MLP 从姿态、形状和风格参数三个方面进行预测，而高频分量是利用形状风格特定的混合姿态模型来预测。JIN 等13提出一种基于像素的数据驱动服装框架，将三角网格数据重组为基于图像的数据，给 定 输 入 人 体 姿 势 参 数，训 练 卷 积 神 经 网 络（Convolutional Neural Network，CNN）来预测布料图像，最后从布料图像中恢复出 3D 服装形状。以上方法均使用单精度布料网格，这类网格在不同变形区域内的顶点密度大致相同，对于变形程度较低的区域，顶点个数不需太多，而这些顶点的计算增加了计算时间。图卷积神经网络14的研究最早起源于2009年，将图中的节点映射成向量，将节点的状态迭代到均衡状态，随后根据其状态为每个节点生成输出。BRUNA等15使用图拉普拉斯矩阵引入来自谱域的图卷积，起到与信号处理的傅里叶基相似的作用。DEFFERRARD等16提出ChebNet网络，使用切比雪夫多项式，定义局部卷积过滤器，并通过二叉树进行高效池化操作来定义图上的操作。KIPF等17将残差连接添加到现有GCN中，以跳过某些层，并证明添加残差连接可以增加网络的深度，即GCN 中的卷积层数。由于图中节点遵循幂律分布，因此邻居节点的扩展增长迅速。为解决此问题，HAMILTON等18提出GraphSAGE，在训练期间使每个节点统一采样固定数量的邻居节点。PETAR等19提出GAT，通过注意力机制来定义聚合函数，从而学习具有权重的邻域信息。现有融合机器学习的服装建模方法主要使用单一精度的网格，对于变形程度较低的区域，不需要太多的顶点个数，但是对这些顶点的计算延长了计算时间。为此，本文提出基于子图卷积神经网络的多精度服装建模方法。从多精度服装网格结构中结合人体结构化模型，提取基于时空的多精度服装图结构，将子图卷积神经网络运用在多精度服装图结构上，为给定顶点采样邻居节点的特征，通过聚合给定顶点和邻居节点的特征来预测服装顶点在下一时刻的位置，生成高效逼真的服装动画。1相关工作1.1瑞利熵曲率度量高斯曲率是衡量三角形网格面片间弯曲程度的方式，MEYER等20定义了离散高斯曲率，如式（1）所示：KiGC=1Ai()2-k NFiK（1）其中：K表示第K个三角形面片的角度；NFi表示第i个顶点的F个相邻三角形面片组成的邻域；Ai表示第i个顶点周围的三角形面片邻域总面积。高斯曲率表示两个主曲率的乘积，其在低形变服装区域和中形变服装区域中表示曲面弯曲程度，但是在高形变服装区域内，一个较大的主曲率乘以一个较小的主曲率，结果有可能还是一个较小的主曲率，这样不能较好地呈现褶皱的变形趋势。因此，GUNDOGDU等21引入特征曲率，计算每个顶点的协方差矩阵Ki,并将其定义为：Ki=1Ki NKi(Gj-G?i)(Gj-G?i)T（2）其中：Gi表示顶点i的3D位置；Gj表示与顶点i共享