基于INTESIM5.0的...静力学大规模分布式并行计算_刘天成.pdf

汽 车 文 摘刘天成张群代民果宋德健（英特工程仿真技术有限公司，大连 116000）【摘要】针对现如今汽车工业对高精度、高效率数值仿真的迫切需求，研究了支持分布式并行计算的工业仿真软件INTESIM5.0对于大规模精细仿真的适用性。研究方法包括建立3个网格规模不同的气缸体模型，分别使用INTESIM和某商软模拟100万网格模型，对比两者结果以验证INTESIM的计算正确性。使用INTESIM在神威太湖之光的商用计算系统，模拟1亿网格模型，发现并行加速比和并行效率符合一般规律。对比3个模型的INTESIM求解结果，论证精细建模的优越性。研究结果表明INTESIM完全胜任超大规模并行计算，从而以低时间成本获得高精度仿真结果，有助于提升汽车发动机缸体的可靠性和耐久性优化效率。主题词：工业仿真有限元并行计算亿级网格发动机气缸计算机集群中图分类号：TP311.1文献标识码：ADOI:10.19822/ki.1671-6329.20220100Large Scale Distributed Parallel Computation of Cylinder Block StaticAnalysis Based on INTESIM5.0Liu Tiancheng,Zhang Qun,Dai Minguo,Song Dejian（INTESIM Engineering Simulation Technology Co.,Ltd,Dalian 116000）【Abstract】Aimed at the urgent need of high precision and high efficiency numerical simulation in the automobileindustry,the applicability of the industrial simulation software INTESIM 5.0 supporting distributed parallel computing forlarge-scale fine simulation is studied.The research method is as follows:3 cylinder models with different grid sizes areestablished,INTESIM and a commercial software are used to simulate 1 million grid models respectively.The results of 2models are compared to verify the correctness of INTESIM calculations.INTESIM is used to simulate 100 million gridmodels on the commercial computing system of Sunway TaihuLight,it is found that the parallel speed up ratio and parallelefficiency conform to the general law.The advantages of fine modeling are demonstrated by comparing the results of 3models solved by INTESIM.The results show that INTESIM is fully competent for large-scale parallel computing,to obtainhigh-precision simulation results with low time cost,which is helpful to improve the optimization efficiency of the reliabilityand durability of automobile engine cylinder block.Key words:Industrial simulation，Finite Element Method(FEM)，Parallel computing，Hundred-million-class grid，Engine cylinder block，Computer cluster基于INTESIM5.0的气缸体静力学大规模分布式并行计算【欢迎引用】刘天成，张群，代民果，等.基于INTESIM5.0的气缸体静力学大规模分布式并行计算J.汽车文摘,2023(2):59-62.【Cite this paper】LIU T C,ZHANG Q,DAI M G,et al.Large Scale Distributed Parallel Computation of Cylinder Block Static AnalysisBased on INTESIM5.0J.Automotive Digest(Chinese),2023(2):59-62.1引言汽车CAE贯穿于汽车研发设计的整个流程，CAE复杂度高、计算量大，对并行计算有很高要求。缸体作为汽车发动机主体结构，几何结构越来越复杂。现代缸体结构在传统结构基础上，大多增加了油泵壳体、水泵壳体和各种回油道结构。其凸台根部、孔洞边缘等倒角、倒圆处会产生应力集中，水套底部拐角等处容易出现结构设计上的应力集中。对此有很多基于ANSYS、Altair等CAE仿真工具的相关研究1-5，但普遍存在计算模型偏小，计算准确性仍有不足的问题。从有限元数学分析的角度看，在缸体薄壁、孔洞、Automotive Digest592023年 第2期结构过渡的关键区域布置充分细的网格，是缸体全模型精细化分析的关键，也是确保其结构可靠性耐久性的重要手段。这对计算提出了巨大挑战。随着计算技术的发展，使得对缸体全模型进行亿级网格建模，利用超级计算集群求解数千万自由度的力学模型成为可能。近年来，英特工程仿真技术有限公司开发的INTESIM5.0等国产CAE软件在功能、精度以及高性能计算方面取得长足进步，不仅可以覆盖ANSYS和Altair等国外商业软件的绝大部分应用领域，而且在大规模并行计算具有独特优势，比如完全基于分布式内存的高速I/O和并行预处理，有更大的并行计算规模等。本文采用国产工业仿真软件INTESIM5.0，对某缸体分别建立26万个网格单元、100个万网格单元、1亿个网格单元的3个CAE模型进行静力学仿真分析。首先基于26万个网格单元模型，比较INTESIM与某商软计算结果，以验证INTESIM计算结果的正确性。然后通过INTESIM 3个CAE模型计算结果对比，验证对于缸体这样的重要零部件，进行精细化建模分析的重要性和必要性。2缸体有限元模型缸体基本结构和材料参数如表1所示。如表2所示，建立3个有限元网格模型，网格数量最多达到1亿7百万个。3INTESIM计算精度验证INTESIM-Structure结构分析模块是其核心产品之一，是技术领先的自主研发结构力学分析工具，具备强大的分析功能和丰富的模块配置，能够模拟复杂的固体力学问题，特别是结构高度非线性问题，包括几何大变形、材料非线性、接触非线性问题。目前主要支持结构稳态线性和非线性分析、瞬态分析、模态分析、转子动力学分析、特征值屈曲分析、谐响应分析、响应谱分析和随机振动分析。对于模型2，分别使用INTESIM和某商业软件在Windows系统上进行单机模拟，均采用直接法求解，计算所得合位移大小的空间分布分别如图1所示。从图1中对比结果可以看到，模型下部位移幅度较小，上部位移幅度较大，受直接支撑部分的位移幅度较小，受侧面支撑部分的位移幅度较大，符合客观规律。两者合位移大小的最值基本相等，空间分布规律基本一致，相对残差均约为10-11。由此INTESIM仿真计算的正确性得到验证。4INTESIM大规模并行计算INTESIM-HPC高性能求解模块是面向高性能计算硬件和大型CAE模型仿真需求开发的高级功能。采用网格重叠一层的ghost技术。计算区域划分后相表1缸体基本结构和材料参数几何尺寸材料属性（钢）振动指标长/mm宽/mm高/mm密度/gcm-3弹性模量/GPa泊松比底面作完全固定约束，整体受9.8 m/s2重力加速度5404603807.82100.3表23个有限元网格模型个模型号模型1模型2模型3网格数268 3291 055 103107 364 565求解自由度192 387653 48751 427 569系数矩阵非零元个数7 289 45126 446 3472 404 653 18300.19010-40.38010-40.56910-40.75910-40.94910-40.11410-30.13310-30.15210-30.17110-3Displacement sum/mm1.780 210-41.518 410-41.328 610-41.138 810-49.490 210-57.592 110-55.694 110-53.796 110-51.898 010-50Displacement sum/mm（a）INTESIM计算的位移量（b）某商业软件计算的位移量图1合位移大小的空间分布汽车文摘60汽 车 文 摘当于把总体矩阵按行分配到每个处理器，每个子域内的单元分析和总体矩阵的形式都是完全并行。在对整个结构分区的过程中，同样可以对边界进行分区施加，因此形成右端向量以及约束处理也可以完全并行实现。这样，系数矩阵和右端项都分布存储在各个处理器。这种数据的独立性，还可通过并行输入/输出（I/O）进一步提高程序性能。独特的分布式并行排序算法，使得多物理场仿真高性能计算（High Performance Computing，HPC）的数据预处理完全基于分布式内存，具有很好的载平衡，因此无需单独的胖节点，直接在计算节点即可完成亿级网格规模的预处理6-8。另一方面，数据常驻内存，这一阶段不存在硬盘I/O，省去数据文件的多次读写和胖瘦节点间转移，可以迅速进入求解迭代循环。对于模型3，使用INTESIM在神威太湖之光的商用计算系统的q_x86_vio_share队列，使用25个计算节点（每节点16核）进行了强扩展测试（表3）。图2展示了加速比S及并行效率E与进程数n的变化关系。计 算 系 统 的 CPU 为 Intel(R)Xeon(R)CPU E5-2630 v3 2.40GHz，求解方法采用共轭梯度法迭代求解。随着并行规模增加到400个进程，数据粒度不断减小，通讯时间消耗不断增加。如果以25个进程定基，400个进程的并行效率不低于30%，基本满足大规模并行计算要求。为了适配不同计算队列，在 q_x86_cn_sim 队列上，还进行5节点120核测试。图3为120进程时以矩阵表达的通信结构，共有870个非零位置，在这些位置上，进程将触发通信。通信矩阵的特点是主对角位置均为0，表示进程自身与自身不发生通信。应当指出，实际收发的字节长度为每次通信收发字长的累加，约等于ghost网格点总数乘以每个网格点上所需交换的变量个数，以及整型字长（4 字节）或实型字长（8 字节）。本例中，ghost 网格点总数为2 169 874个，若交换4个实型量，总字节长度就超过1亿字节，通信量非常大。如何隐藏通信，提升并行计算效率，是另一个需要研究的方向。图4是该模型被划分为120个分区的效果图。图5给出了120进程计算得到的合位移大小空间分布。可见，其分布规律与第3节中的结果一致。不同n值对应的结果相一致，不再详细描述。表3强扩展测试进程数n/个2550100200400耗时t/s9 485.154 767.072 938.722 498.831928.88加速比S11.983.223.794.91并行效率E/%9980.547