第２６卷第３期２０２３年７月西安文理学院学报(自然科学版)ＪｏｕｒｎａｌｏｆＸｉ̓ａｎＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)Ｖｏｌ２６Ｎｏ３Ｊｕｌ２０２３文章编号:１００８￣５５６４(２０２３)０３￣００４９￣０５基于ＢＥＲＴ＋ＢｉＬＳＴＭ＋Ａｔｔｅｎｔｉｏｎ的对抗训练新闻文本分类模型汪辉ꎬ于瓅(安徽理工大学计算机科学与工程学院ꎬ安徽淮南２３２００１)摘要:新闻文本分类是长文本分类的典型问题ꎬ因此提取词与词之间的关系特征就尤为重要.提出了基于双向Ｔｒａｎｓｆｏｒｍｅｒ编码表示的预训练模型(ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓꎬＢＥＲＴ)和双向长短时记忆网络(Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙꎬＢｉＬＳＴＭ)以及注意力机制的对抗训练分类模型(ＢＢＡ－ＡＴ).将预处理新闻文本数据经过ＢＥＲＴ进行训练得到词嵌入编码ꎬ在训练后的词向量级别上进行扰动达到数据增广的效果ꎬ以此来进行对抗训练ꎬ之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的ＢＢＡ－ＡＴ模型Ｆ１值在ＴＮＥＷＳ数据集上比ＢＥＲＴ模型提升了１.３４％.关键词:ＢｉＬＳＴＭꎻ新闻文本分类ꎻ对抗训练ꎻＢＥＲＴ中图分类号:ＴＰ３９１.１文献标志码:ＡＡＭｏｄｅｌｆｏｒＡｄｖｅｒｓａｒｉａｌＴｒａｉｎｉｎｇＮｅｗｓＴｅｘｔＣｌａｓｓｉｆｉｃａｔｉｏｎＢａｓｅｄｏｎＢＥＲＴ＋ＢｉＬＳＴＭ＋ＡｔｔｅｎｔｉｏｎＷＡＮＧＨｕｉꎬＹＵＬｉ(ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇꎬＡｎｈｕｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙꎬＨｕａｉｎａｎ２３２００１ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:Ｎｅｗｓｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｉｓａｔｙｐｉｃａｌｐｒｏｂｌｅｍｉｎｌｏｎｇｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎꎬｓｏｅｘｔｒａｃｔｉｎｇｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｆｅａｔｕｒｅｓｂｅｔｗｅｅｎｗｏｒｄｓｉｓｐａｒｔｉｃｕｌａｒｌｙｉｍｐｏｒｔａｎｔ.ＩｎｔｈｉｓｐａｐｅｒꎬａｐｒｅｔｒａｉｎｉｎｇｍｏｄｅｌｂａｓｅｄｏｎＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ(ＢＥＲＴ)ꎬｔｈｅＢｉｄｉ￣...
