第61卷第4期吉林大学学报(理学版)Vol.61No.42023年7月JournalofJilinUniversity(ScienceEdition)July2023doi:10.13413/j.cnki.jdxblxb.2022075基于注意力机制归纳网络的小样本关系抽取模型季泊男,张永刚(吉林大学计算机科学与技术学院,长春130012)摘要:针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为:5-way5-shot情形下准确率为(88.38±0.27)%,5-way10-shot情形下准确率为(89.91±0.33)%,10-way5-shot情形下准确率为(77.92±0.44)%,10-way10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.关键词:关系抽取;小样本学习;归纳网络;自然语言处理;长短期记忆网络中图分类号:TP39文献标志码:A文章编号:1671-5489(2023)04-0845-08Few-ShotRelationExtractionModelBasedonAttentionMechanismInductionNetworkJIBonan,ZHANGYonggang(CollegeofComputerScienceandTechnology,JilinUniversity,Changchun130012,China)收稿日期:2022-03-03.第一作者简介:季泊男(1997—),女,汉族,硕士研究生,从事自然语言处理的研究,E-mail:jibn19@mails.jlu.edu.cn.通信作者简介:张永刚(1975—),男,汉族,博士,教授,博士生导师,从事人工智能和约束求解与优化的研究,E-mail:zhangyg@jlu.edu.cn.基金项目:国家自然科学基金(批准号:61373052;61170314;60773097)和吉林省青年科研基金(批准号:20080107).Abstract:Aimingattheproblemoffew-shotrelationextraction,weproposedaninductionnetworkbasedonattentionmechanism.Firstly,weuseddynamicroutingalgorithmininductionnetworktolearntheclassrepresentation.Secondly,weproposedinstance-levelattentionmechanismtoadjustsupportsetandobtainhigh-levelinformationbetweensupportsetandquerysetsamples,therebyobtainingthesupportsetsamplesthatweremorerelevanttothequeryinstances.Theproposedmodeleffectivelysolvedtheproblemofhowtoextractrelationshipswhenthetrainingdatawasinsufficient.Theexperimentwasconductedonthe...
