基于多层交互注意力机制的商品属性抽取_苏明星.pdf

研究论文数据分析与知识发现基于多层交互注意力机制的商品属性抽取*苏明星 吴厚月 李健 黄菊 张顺香（安徽理工大学计算机科学与工程学院 淮南 232001）摘要:【目的】提升模型对文本结构特征和文本特征间关联性的感知，充分挖掘文本内在语义，深层次指导抽取任务。【方法】对文本、句法和词性进行特征抽取，得到各自的特征；将不同的特征进行融合，获得完备的文本结构特征；再设计一个多层交互注意力机制，该机制聚焦于文本结构特征和文本特征之间的深层关联，并采用双线性融合策略，以保证信息的完整性；最后，通过常用的分类器进行属性抽取。【结果】在公开的数据集上，所提模型的属性抽取准确率相比于已有模型至少提高了1.2个百分点。【局限】所提模型对隐式属性词感知迟钝，句子中出现三个以上隐式属性词，模型的性能将大幅度降低。【结论】在显式的商品属性词抽取任务中，建模文本结构特征与文本特征间关联性的方法可以有效提高属性抽取的准确率。关键词:属性抽取 交互注意力机制 依存关系 BiGRU BERT分类号:TP391DOI:10.11925/infotech.2096.3467.2022.1083引用本文:苏明星，吴厚月，李健等.基于多层交互注意力机制的商品属性抽取 J.数据分析与知识发现，2023，7（2）：108-118.(Su Mingxing,Wu Houyue,Li Jian,et al.AEMIA:Extracting Commodity Attributes Based on Multi-level Interactive Attention MechanismJ.Data Analysis and Knowledge Discovery,2023,7(2):108-118.)1 引 言商品属性抽取是指从给定的评论文本中抽取出与商品直接相关的属性词，该属性是用户发表评论观点的直接对象1。例如，一条有关餐厅的评论语句“这家餐厅的装修真好看，但是价格确实也偏贵一些”，其中“装修”和“价格”是用户发表评论的直接对象，即商品属性抽取的目标。同时，在商品评论文本研究领域中，商品属性抽取也为方面级情感分析、知识图谱和问答系统等任务提供了重要的数据支持。属性抽取任务，目前主流的解决方法是将其转换为机器学习中的序列标注任务（先利用神经网络从大量的标注数据中获取文本的高维度表示，再利用机器学习方法抽取属性词），并在此基础之上，添加额外的文本结构特征，从而进一步提高抽取的准确率。虽然，已有方法通过采用串联的方式将文本结构特征融入文本特征中，提高了抽取的准确率，但未深入考虑串联的特征融合方式无法深层次建模文本结构特征和文本特征，导致模型感知两者间关联性受限，未能充分挖掘出文本结构特征对提升属性抽取任务准确率的潜力，仅在浅层语义层面上指导抽取任务。针对上述问题，本文提出一种基于多层交互注意力机制的商品属性抽取模型（Attribute Extraction Based on Multi-level Interactive Attention Mechanism，AEMIA），该模型是在主流的属性抽取方法基础之上，通过一个以文本结构特征和文本特征为核心的通讯作者（Corresponding author）：张顺香（Zhang Shunxiang），ORCID：0000-0002-0540-7593，E-mail：。*本文系国家自然科学基金项目（项目编号：62076006）和安徽省属高校协同创新项目（项目编号：GXXT-2021-008）的研究成果之一。The work is supported by the National Natural Science Foundation of China(Grant No.62076006),the University Synergy Innovation Program of Anhui Province(Grant No.GXXT-2021-008).多层交互注意力机制提升模型对两种特征间关联性的感知，具体主要分为以下两个阶段。（1）特征获取阶段。该阶段模型并行获取文本结构特征和文本特征。获取文本结构特征的主要步骤为：首先分别对评论文本、文本的词性和基于单词依赖的句法进行嵌入学习；再将文本特征、词性特征和句法特征进行融合，获得完备的文本结构特征。获取文本特征的主要步骤为：首先对输入文本采用词嵌入技术得到动态的文本特征；接着，为了保证两种特征维度上的一致性，对文本特征进行 Padding操作。（2）多层交互阶段。为了提升模型对两种特征间关联性的感知，在多层交互阶段，分别以文本结构特征为查询向量指导文本特征，以文本特征为查询向量指导文本结构特征。通过该交互式的注意力机制解决目前主流模型无法深层感知两种特征间关联性的缺陷。最后，采用双线性融合策略，保证融合后的特征在高维度上的信息完整性。本文的主要贡献如下。（1）提出一个属性抽取模型AEMIA，有效提高了属性抽取准确率。（2）设计了一个多层交互注意力机制，深层建模文本结构特征和文本特征之间的交互，使模型学习到两者间的内在关联性。（3）同时引入词性和基于依存关系的句法，进一步验证了在属性抽取任务中，引入文本的结构特征能提高属性抽取的准确率。2 相关工作按照国内外属性抽取研究方法的不同，可以将其归纳为三类：基于规则和统计的方法、基于传统机器学习的方法和基于深度学习的方法。2.1基于规则和统计的方法基于规则和统计的方法是指以人工设计的抽取规则结合统计学的先验概率对评论文本进行属性抽取。Hu等2通过观察大量评论文本，分析总结出显式属性词大多数情况下为名词或名词性短语，因此，提出将名词性关联规则引入属性抽取任务中，提高了抽取的准确率。在此基础之上，Blair-Goldensohn等3将主观句中的名词或名词短语的出现频率作为依据，指定其中出现频率较高的名词作为属性词。Poria等4提出一种基于规则的方法，利用常识知识和句子依赖树检测产品评论的显式和隐式方面，从而解决了产品评论的属性抽取问题。由于之前的方法过于依赖解析器根据语法规则和语言约束生成的语法关系，Rana等5提出一种基于双重规则的模型（Two-Fold Rule-Based Model，TF-RBM），该模型依赖从客户评论中挖掘的顺序模式来定义语言规则，第一层提取与领域独立意见相关的属性，第二层提取与领域依赖意见相关的属性。2.2基于传统机器学习的方法基于传统机器学习的属性抽取方法是将属性抽取转化为序列标注任务，通过人工观察数据分布的特点，人工选择其数据特征，最后利用机器学习的相关数学原理建立属性抽取模型。Wang 等6利用Bootstrapping算法对评价对象和评价意见进行交替识别。在隐含狄利克雷分布模型的基础之上，Titov等7提出多粒度主体模型，更适用于全局数据的抽取属性。进一步地，Jakob等8首次在评论文本的商品属性抽取任务中采用条件随机场（Conditional Random Field，CRF）模型，实验结果证明属性抽取的准确率有所提高。在条件随机场模型的基础之上，Hamdan等9提出基于BIO标记的条件随机场模型，该模型包含语法、词汇、语义和情感词典等多种特征。Gupta 等10基于粒子群优化（Particle Swarm Optimization，PSO）原理，在条件随机场模型的学习框架内进行特征选择。彭春艳等11将条件随机场模型、单词间的距离依赖关系和单词的结构特征相结合，在生物命名实体识别任务中识别准确度有较高的提升。2.3基于深度学习的方法深度学习方法可以通过大量数据进行自主特征学习，避免了复杂的人工特征选择过程。因此，近年来越来越多的研究者采用深度学习的方法研究属性抽取任务。Toh等12在传统的条件随机场模型的基础 上，引 入 双 向 循 环 神 经 网 络（Bidirectional Recurrent Neural Network，BiRNN），在官方数据集SemEval2016中获得最优的实验效果。Poria等13使用一个 7 层深度卷积神经网络标记句子中的每个词，同时还开发了一套标记语言模式，并将它们与神108总第 74 期 2023 年 第 2 期Data Analysis and Knowledge Discovery多层交互注意力机制提升模型对两种特征间关联性的感知，具体主要分为以下两个阶段。（1）特征获取阶段。该阶段模型并行获取文本结构特征和文本特征。获取文本结构特征的主要步骤为：首先分别对评论文本、文本的词性和基于单词依赖的句法进行嵌入学习；再将文本特征、词性特征和句法特征进行融合，获得完备的文本结构特征。获取文本特征的主要步骤为：首先对输入文本采用词嵌入技术得到动态的文本特征；接着，为了保证两种特征维度上的一致性，对文本特征进行 Padding操作。（2）多层交互阶段。为了提升模型对两种特征间关联性的感知，在多层交互阶段，分别以文本结构特征为查询向量指导文本特征，以文本特征为查询向量指导文本结构特征。通过该交互式的注意力机制解决目前主流模型无法深层感知两种特征间关联性的缺陷。最后，采用双线性融合策略，保证融合后的特征在高维度上的信息完整性。本文的主要贡献如下。（1）提出一个属性抽取模型AEMIA，有效提高了属性抽取准确率。（2）设计了一个多层交互注意力机制，深层建模文本结构特征和文本特征之间的交互，使模型学习到两者间的内在关联性。（3）同时引入词性和基于依存关系的句法，进一步验证了在属性抽取任务中，引入文本的结构特征能提高属性抽取的准确率。2 相关工作按照国内外属性抽取研究方法的不同，可以将其归纳为三类：基于规则和统计的方法、基于传统机器学习的方法和基于深度学习的方法。2.1基于规则和统计的方法基于规则和统计的方法是指以人工设计的抽取规则结合统计学的先验概率对评论文本进行属性抽取。Hu等2通过观察大量评论文本，分析总结出显式属性词大多数情况下为名词或名词性短语，因此，提出将名词性关联规则引入属性抽取任务中，提高了抽取的准确率。在此基础之上，Blair-Goldensohn等3将主观句中的名词或名词短语的出现频率作为依据，指定其中出现频率较高的名词作为属性词。Poria等4提出一种基于规则的方法，利用常识知识和句子依赖树检测产品评论的显式和隐式方面，从而解决了产品评论的属性抽取问题。由于之前的方法过于依赖解析器根据语法规则和语言约束生成的语法关系，Rana等5提出一种基于双重规则的模型（Two-Fold Rule-Based Model，TF-RBM），该模型依赖从客户评论中挖掘的顺序模式来定义语言规则，第一层提取与领域独立意见相关的属性，第二层提取与领域依赖意见相关的属性。2.2基于传统机器学习的方法基于传统机器学习的属性抽取方法是将属性抽取转化为序列标注任务，通过人工观察数据分布的特点，人工选择其数据特征，最后利用机器学习的相关数学原理建立属性抽取模型。Wang 等6利用Bootstrapping算法对评价对象和评价意见进行交替识别。在隐含狄利克雷分布模型的基础之上，Titov等7提出多粒度主体模型，更适用于全局数据的抽取属性。进一步地，Jakob等8首次在评论文本的商品属性抽取任务中采用条件随机场（Conditional Random Field，CRF）模型，实验结果证明属性抽取的准确率有所提高。在条件随机场模型的基础之上，Hamdan等9提出基于BIO标记的条件随机场模型，该模型包含语法、词汇、语义和情感词典等多种特征。Gupta 等10基于粒子群优化（Particle Swarm Optimization，PSO）原理，在条件随机场模型的学习框架内进行特征选择。彭春艳等11将条件随机场模型、单词间的距离依赖关系和单词的结构特征相结合，在生物命名实体识别任务中识别准确度有较高的提升。2.3基于深度学习的方法深度学习方法可以通过大量数据进行自主特征学习，避免了复杂的人工特征选择过程。因此，近年来越来越多的研究者采用深度学习的方法研究属性抽取任务。Toh等12在传统的条件随