第23卷第1期2023年3月南京师范大学学报(工程技术版)JOURNALOFNANJINGNORMALUNIVERSITY(ENGINEERINGANDTECHNOLOGYEDITION)Vol.23No.1Mar,2023收稿日期:2022-09-15.基金项目:江苏省研究生实践创新计划项目(SJCX22-1676).通讯作者:胡荣林,博士,副教授,研究方向:人机交互技术.E-mail:huronglin@hyit.edu.cndoi:10.3969/j.issn.1672-1292.2023.01.007基于胶囊卷积网络的多视图三维重建胡荣林,付浩志,何旭琴,张新新,陆文豪(淮阴工学院计算机与软件工程学院,江苏淮安223003)[摘要]从深度神经网络对重建效果影响的角度,提出了基于胶囊卷积网络的多视图三维重建模型Caps-MVSNet,包括特征提取、构建代价体、代价体正则化、回归深度图和细化深度图5个阶段.提出了FENet-T特征提取网络和3D-CapsCNN网络,并分别应用于模型的特征提取阶段和代价体正则化阶段.其中,FENet-T利用高效的Block计数比率以及大尺度空洞卷积和分组卷积提高网络的特征提取效率.3D-CapsCNN使用比卷积神经网络更强空间表示能力的3D胶囊网络来正则化代价体.Caps-MVSNet在DTU数据集上完成了效果测试,结果表明,与先前主流重建方法相比该模型在完整性上达到了最优结果,在准确性、整体性上均取得较大提升.另外,与基准模型MVSNet相比,该模型在准确性、整体性和完整性上分别提高3.3%、4.9%和8.2%,参数量减少3.3%.[关键词]特征提取网络,3D胶囊网络,空洞卷积,分组卷积,多视立体匹配[中图分类号]TP391[文献标志码]A[文章编号]1672-1292(2023)01-0046-10Multi-View3DReconstructionBasedonCapsuleConvolutionNetworkHuRonglin,FuHaozhi,HeXuqin,ZhangXinxin,LuWenhao(FacultyofComputerandSoftwareEngineering,HuaiyinInstituteofTechnology,Huai’an223003,China)Abstract:Byexploringtheinfluenceofdeepneuralnetworksonthereconstructioneffect,thepaperproposesamulti-view3DreconstructionmodelCaps-MVSNetbasedonacapsuleconvolutionalnetwork.Caps-MVSNetincludesfivestages:featureextraction,constructioncostvolume,costvolumeregularization,regressiondepthmapandrefinementdepthmap.ThispaperfocusesontheFENet-Tfeatureextractionnetworkandthe3D-CapsCNNnetwork,whichareusedforthefeatureextractionstageandthecostvolumeregularizationstageofthemodel,respectively.Amongwhich,FENet-Tusesaneffi...