电子测量技术ELECTRONICMEASUREMENTTECHNOLOGY第45卷第23期2022年12月DOI:10.19651/j.cnki.emt.2209922基于改进Adam优化算法的中文短文本分类方法*赵志杰张艳艳毛翔宇(南京信息工程大学南京210044)摘要:针对BERT模型中编码器提取特征信息时因并行计算而缺少文本的时序信息及模型网络复杂度较高易受偏差影响等问题,本文提出一种基于改进Adam优化算法的模型DTSCF-Net。模型采用BERT模型提取短文本的语义特征表示,将语义特征输入到Bi-GRU中,提取具有上下文时序特征的语义信息,输入Maxpooling层筛选最优特征,分类得到该短文本的类别。针对Adam算法在拟合中产生的动量偏差添加校正算法来缓解性能下降,对比两个连续时间步上的校正动量值,选取两个时间步中的动量最大值代入梯度计算,并对学习率添加自适应调节因子,利用上一次迭代的梯度值,实现学习率的自适应调节,提高分类精度。实验表明,DTSCF-Net的分类准确率为94.86%,相较于同实验环境下的基准模型BERT、BERT-Bi-GRU分别提高2.07%、1.71%。结果证明本文所提方法具有一定的性能提升。关键词:文本分类;自适应矩估计;BERT;Bi-GRU;短文本中图分类号:TP391.1文献标识码:A国家标准学科分类代码:520.2020ResearchonChineseshorttextclassificationmethodbasedonimprovedAdamoptimizationalgorithmZhaoZhijieZhangYanyanMaoXiangyu(NanjingUniversityofInformationScienceandTechnology,Nanjing210044,China)Abstract:ThemodelusestheBERTtoextractthesemanticfeaturerepresentationoftheshorttext,inputsthesemanticfeaturesintotheBi-GRUandextractsthesemanticinformationwithcontextualtimingfeatures.ThemodelfeedsthefeaturesintotheMaxpoolinglayertofiltertheoptimalfeaturesandclassifythemtogetthecategoryoftheshorttext.AcorrectionalgorithmisaddedtomitigatetheperformancedegradationforthemomentumbiasgeneratedbytheAdamalgorithminthefitting.TheAdamalgorithmisimprovedbycomparingthecorrectedmomentumvaluesattwoconsecutivetimestepsandselectingthemaximumvalueofmomentuminthetwotimestepstosubstituteintothegradientcalculation.TheimprovedAdamalgorithmaddsanadaptiveadjustmentfactortothelearningrateandusesthegradientvalueofthepreviousiterationtoachieveadaptiveadjustmentofthelearningrateandimprovetheclassificationaccuracy.Experimentsshowthattheclassificationaccur...
