基于交互注意力和图卷积网络的方面级情感分析_王娅丽.pdf

h t t p:/ww w.j s j k x.c o mD O I:1 0.1 1 8 9 6/j s j k x.2 2 0 1 0 0 1 0 5到稿日期:2 0 2 2-0 1-1 1 返修日期:2 0 2 2-0 9-0 1基金项目:国家自然科学基金(6 1 7 7 3 3 2 4);四川省重点研发项目(2 0 2 0 Y F G 0 0 3 5)T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(6 1 7 7 3 3 2 4)a n dS i c h u a nK e yR&DP r o j e c t(2 0 2 0 Y F G 0 0 3 5).通信作者:李天瑞(t r l i s w j t u.e d u.c n)基于交互注意力和图卷积网络的方面级情感分析王娅丽1张 凡1,2余 增1,2李天瑞1,21西南交通大学计算机与人工智能学院 成都6 1 1 7 5 62综合交通大数据应用技术国家工程实验室 成都6 1 1 7 5 6(1 8 3 9 8 6 1 8 8 2 11 6 3.c o m)摘 要 方面级情感分析是细粒度情感分析中的一项关键任务,旨在预测一个句子中不同方面术语的情感倾向。针对目前结合图卷积网络的研究忽略方面术语本身的含义以及方面术语与上下文之间的交互的问题,文中提出了基于交互注意力和图卷积网络的模型(I n t e r a c t i v eA t t e n t i o nG r a p hC o n v o l u t i o nN e t w o r k,I A G C N)。该模型首先结合B i L S TM和修正动态权重层对上下文进行建模,其次在句法依存树上使用图卷积网络对句法信息进行编码,然后利用交互注意力机制学习上下文和方面术语中的注意力,重构上下文和方面术语的表示,最后通过s o f t m a x层获取给定方面术语的情感极性。与基线模型相比,所提模型在5个数据集中的准确率和F 1值分别提高了0.5 6%1.7 5%和1.3 4%4.0 4%。同时,将预训练模型B E R T应用到此任务中,相比基于G l o V e的I AG C N模型,其准确率和F 1值分别提高了1.4 7%3.9 5%和2.5 9%7.5 5%,模型效果有了进一步的提升。关键词:方面级情感分析;深度学习;图卷积网络;交互注意力机制;B E R T中图法分类号 T P 1 8 1 A s p e c t-l e v e l S e n t i m e n tC l a s s i f i c a t i o nB a s e do nI n t e r a c t i v eA t t e n t i o na n dG r a p hC o n v o l u t i o n a lN e t w o r kWANGY a l i1,Z HAN GF a n1,2,YUZ e n g1,2a n dL IT i a n r u i1,21S c h o o l o fC o m p u t i n ga n dA r t i f i c i a l I n t e l l i g e n c e,S o u t h w e s t J i a o t o n gU n i v e r s i t y,C h e n g d u6 1 1 7 5 6,C h i n a2N a t i o n a lE n g i n e e r i n gL a b o r a t o r yo f I n t e g r a t e dT r a n s p o r t a t i o nB i gD a t aA p p l i c a t i o nT e c h n o l o g y,C h e n g d u6 1 1 7 5 6,C h i n a A b s t r a c t A s p e c t-l e v e l s e n t i m e n ta n a l y s i si sak e yt a s ki nf i n e-g r a i n e ds e n t i m e n ta n a l y s i s,w h i c ha i m st op r e d i c tt h es e n t i m e n tt e n d e n c yo fd i f f e r e n t a s p e c t t e r m s i nas e n t e n c e.I nv i e wo f t h ef a c tt h a t t h ec u r r e n tr e s e a r c hc o m b i n e dw i t hg r a p hc o n v o l u t i o nn e t w o r k i g n o r e s t h em e a n i n go f a s p e c t t e r m s t h e m s e l v e sa n dt h e i n t e r a c t i o nb e t w e e na s p e c t t e r m sa n dc o n t e x t,a n i n t e r a c t i v ea t-t e n t i o ng r a p hc o n v o l u t i o n a l n e t w o r km o d e l i sp r o p o s e d,n a m e d i n t e r a c t i v ea t t e n t i o ng r a p hc o n v o l u t i o nn e t w o r k(I A G C N).I t f i r s t l yc o m b i n e sB i L S TMa n dm o d i f i e dd y n a m i cw e i g h t st om o d e l c o n t e x t.S e c o n d l y,t h es y n t a c t i c i n f o r m a t i o ni se n c o d e db ye x p l o i t i n gg r a p hc o n v o l u t i o n a l n e t w o r ko ns y n t a c t i cd e p e n d e n c yt r e e.T h e n,t h ea t t e n t i o na m o n gc o n t e x ta n da s p e c tt e r m si si n v e s t i g a t e dt h r o u g hi n t e r a c t i v ea t t e n t i o nm e c h a n i s ma n d t h e r e p r e s e n t a t i o no f c o n t e x t a n da s p e c t t e r mi s r e c o n s t r u c t e d.F i n a l l y,t h e s e n t i m e n tp o l a r i t yo f ag i v e na s p e c t t e r mi so b t a i n e dt h r o u g has o f t m a x l a y e r.C o m p a r e dw i t ht h eb a s e l i n em o d e l s,t h ea c c u r a c yr a t ea n dF 1s c o r eo f t h ep r o p o s e dm o d e l i m p r o v e sb y0.5 6%1.7 5%a n d1.3 4%4.0 4%o n5d a t a s e t s,r e s p e c t i v e l y.A t t h e s a m e t i m e,t h ep r e-t r a i n i n gm o d e lB E R Ti s a p p l i e d t o t h i s t a s k.C o m p a r e dw i t h t h e I A G C Nb a s e do nG l o V em o d e l,i t s a c c u r a c y r a t e a n dF 1s c o r ei n c r e a s e sb y1.4 7%3.9 5%a n d2.5 9%7.5 5%,r e s p e c t i v e l y.T h u s,t h em o d e l e f f e c th a sb e e nf u r t h e r i m p r o v e d.K e y w o r d s A s p e c t-l e v e l s e n t i m e n t a n a l y s i s,D e e p l e a r n i n g,G r a p hc o n v o l u t i o n a ln e t w o r k,I n t e r a c t i v ea t t e n t i o nm e c h a n i s m,B E R T 1 引言随着互联网时代的到来,各种网络平台层出不穷,越来越多的人在平台上发表自己的评价和建议,就此产生了海量的评价数据。对这类数据进行情感分析处理,可以为用户提供建议,同时为各平台提供决策支持。文本情感分析1以往主要针对篇章和句子级别,将文章或句子看作一个信息单元进行整体情感分析,但针对一篇文章或单个句子中存在多种情感极性的情况,其情感分析效果并不好。因此,目前许多学者将研究内容从文本情感分析转向方面级情感分析。方面级情感分析2旨在识别出给定句子中给定方面的情 感极 性。例 如,在 餐厅 评 论“T h ee n v i r o n-m e n ti sg r e a tb u tt h es e r v i c ea t t i t u d ei sp o o r”中,“e n v i r o n-m e n t”和“s e r v i c ea t t i t u d e”这两个方面术语对应的情感极性分别是积极和消极。注意力机制3能够在模型训练的过程中高度关注指定的目标,已经被广泛应用到基于深度学习的自然语言处理的各项子任务中。在方面级情感分析领域,结合注意力机制的模型4-5可以关注给定方面术语的重要特征信息,增强句子中各单词与方面术语之间的联系。然而,注意力机制容易忽略句子的句法结构,当给定的方面术语与情感描述词相隔较远时,注意力机制往往识别不到正确的情感描述词。而句法依存树可以表达句子中词与词之间的相互依存关系,也可被视作图结构6,可以利用图卷积网络(G r a p hC o n v o l u-t i o nN e t w o r k,G C N)7提取依存信息。因此,本文提出了一种结合交互注意力机制和图卷积网络的模型I AG C N。该模型通过图卷积网络来捕获句子中单词之间的依存关系,较好地提取了结合上下文句法信息的方面术语,利用修正动态权重对句法位置的距离进行修正,以提取更多的上下文语义信息,结合交互注意力机制学习上下文和方面术语中的注意力,捕捉上下文和方面术语之间的相关性,正确识别上下文中给定方面术语的情感极性。在5个标准的数据集上验证了此模型的有效性,本文的主要工作如下:(1)为了解决模型错误地将与句法无关的词识别为情感描述词的问题,本文在句法依存树上利用G C N进行建模,结合句法