第３５卷第１期重庆邮电大学学报（自然科学版）Ｖｏｌ．３５Ｎｏ．１２０２３年２月ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ｆｅｂ．２０２３ＤＯＩ：１０．３９７９／ｊ．ｉｓｓｎ．１６７３⁃８２５Ｘ．２０２１０９０５０３１７多注意力机制ＢＥＲＴ分类模型及其在电力运维中的应用收稿日期：２０２１⁃０９⁃０５修订日期：２０２２⁃１１⁃１０通讯作者：胡峰ｈｕｆｅｎｇ＠ｃｑｕｐｔ．ｅｄｕ．ｃｎ基金项目：国家自然科学基金（６１７７２０９６）；国家重点研发计划资助项目（２０１８ＹＦＣ０８３２１００，２０１８ＹＦＣ０８３２１０２）ＦｏｕｎｄａｔｉｏｎＩｔｅｍｓ：ＴｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（６１７７２０９６）；ＳｔａｔｅＫｅｙＲ＆ＤＰｒｏｇｒａｍＦｕｎｄｅｄＰｒｏｊｅｃｔｓ（２０１８ＹＦＣ０８３２１００，２０１８ＹＦＣ０８３２１０２）王文娟１，何晓莲２，胡峰２，赵伟３，钟淘淘４（１．国网重庆市电力公司信息通信分公司调控中心，重庆４０１１２１；２．重庆邮电大学计算智能重庆市重点实验室，重庆４０００６５；３．重庆邮电大学国际合作与交流处，重庆４０００６５；４．国网重庆市电力公司信息通信分公司技术发展部，重庆４０１１２１）摘要：为了提高变换网路中双向编码表示（ｂｉｄｉｒｅｃｔｉｏｎａｌｅｎｃｏｄｅｒｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍｔｒａｎｓｆｏｒｍｅｒｓ，ＢＥＲＴ）在文本分类中的应用效果，针对基于ＢＥＲＴ的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题，提出了一种基于多注意力机制的ＢＥＲＴ分类模型。对ＢＥＲＴ模型框架中后四层的每一层输入向量，设计词向量注意力机制，捕捉向量表中每一个词的重要性；对得到的ＢＥＲＴ模型框架中后四层，设计层向量注意力机制，将这四层上由自适应权重计算得到的每一层输出向量进行融合，获得最终的ＢＥＲＴ模型输出向量，更好地提升模型的特征抽取能力。在公开数据集ＩＭＤＢ和ＴＨＵＣＮｅｗｓ上的实验表明，提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中，该模型也取得了比基线模型更好的效果，较好地解决了电力运维规模预测混乱问题。关键词：分类；多注意力机制；电力运维系...
