2023.6电脑编程技巧与维护Input层BERT层BiLSTM层IDCNN层多头注意力机制CRF层B-DISMulti_HeadAttentionIDCNNBLOCK_4IDCNNBLOCK_3IDCNNBLOCK_2IDCNNBLOCK_1LSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMT1T2TNTrmTrmTrmTrmTrmTrmE1E2ENw1w2w3…wn-1wn…………CRFOO…I-DISI-DIS1概述随着计算机技术的发展，医疗领域信息化日趋完善，海量的电子病历作为医疗信息的重要载体，蕴含大量重要的实体，通过命名实体识别技术从医疗文本中识别出特定的医疗实体对医学病理的研究具有重要的应用意义。因此，以BERT-BiLSTM-CRF为基线模型，结合多头注意力机制提出融合多网络进行特征提取的BBIMC实体识别模型。2相关工作命名实体识别按照技术发展阶段可分为3类。（1）基于词典和规则的方法。这是命名实体识别最初使用的方法，相关专家根据文本人工构建出对应的词典或规则模板，再通过字符串匹配的方式进行实体识别。（2）基于统计机器学习的方法。传统机器学习方法仍然需要人工选取特征，并且对特征选取的要求较高，主要包括隐马尔可夫模型（HMM）、支持向量机（SVM）、条件随机场（CRF）[1]、最大熵马尔可夫模型(MEMM)等。（3）基于深度学习的方法。近年来，基于深度学习的NER模型已经成为主流。COLLOBERT[2]等人首次提出基于神经网络的模型CNN-CRF来进行命名实体识别，实验表明该模型优于之前最好的统计机器学习模型；LAMPLE[3]等人提出NER的经典模型BiLSTM-CRF，在数据集CoNLL上获得了不错的结果；近期研究大多结合BERT进行语言预训练或引入注意力机制等来提高模型的准确率。为解决BiLSTM模型无法充分利用硬件设备的问题，STRUBELL等人[4]提出使用迭代膨胀卷积神经网络；李妮等人[5]提出用BERT训练词向量并结合IDCNN-CRF模型对中文实体进行识别，在保持性能的同时减少了训练时间；蒋翔等人[6]提出基于字嵌入的BiLSTM-IDCNN-CRF模型，给中文实体识别提供了新的思路。3BBIMC模型设计3.1模型介绍为了弥补基线模型的不足，提出的BBIMC模型主要分为以下几个部分：（1）使用预训练模型BERT训练词向量。（2）将BiLSTM层和IDCNN层相结合获取不同粒度的特征，将文本序列的全局特征和实体附近的局部特征有效融合。（3）使用多头注意力机制使模型聚焦于与实体词相关的字符特征上。（4）利用CRF层实现最优序列标注。BBIMC模型结构如图1所示。3.2BERT层在自然语言处理领域，使用较多的词向量模型是融合多网络特征提取的命名实体识别方法王舸（东北大学理学院，沈阳110819）摘要...
