基于ChineseBert的中文拼写纠错方法.pdf

DOI:10.13232u.2023.02.013CNATURASCIENCEMar.,20232023年3月JOURNALUNIVERSITYVol.59,No.2第59 卷第2 期南京大学学报（自然科学）基于ChineseBert的中文拼写纠错方法崔凡，强继朋*，朱毅，李云（扬州大学信息工程学院，扬州，2 2 512 7）摘要：中文拼写错误主要集中在拼音相似和字形相似两个方面，而通用的预训练语言模型只考虑文本的语义信息，忽略了中文的拼音和字形特征，最新的中文拼写纠错（Chinese SpellingCorrection，CSC)方法在预训练模型的基础上利用额外的网络来融人拼音和字形特征，但和直接微调预训练模型相比，改进的模型没有显著提高模型的性能，因为由小规模拼写任务语料训练的拼音和字形特征，和预训练模型获取的丰富语义特征相比，存在严重的信息不对等现象。将多模态预训练语言模型ChineseBert应用到CSC问题上，由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段，基于ChineseBert的CSC方法不仅无须构建额外的网络，还解决了信息不对等的问题，由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题，进一步提出SepSpell方法.首先利用探测网络检测可能错误的字符，再对可能错误的字符保留拼音特征和字形特征，掩码对应的语义信息进行预测，这样能降低预测过程中错误字符带来的干扰，更好地处理连续错误问题.在三个官方评测数据集上进行评估，提出的两个方法都取得了非常不错的结果关键词：中文拼写纠错，Bert，Ch i n e s e Be r t，多模态语言模型中图分类号：TP391.1文献标志码：AChinese spelling correction method based on ChineseBertCui Fan,Qiang Jipeng,Zhu Yi,Li Yun(School of Information Engineering,Yangzhou University,Yangzhou,225127,China)Abstract:Chinese spelling errors mainly focuse on both phonetic and glyph similar.General pretrained language models onlyconsider the semantic information of the text,ignoring the Chinese phonetic and glyph features.The latest Chinese SpellingCorrection(CSC)methods incorporate pinyin and glyph features via additional networks on the basis of the pretrainedlanguage models.Compared with fine-tuning pretrained model directly,the improved model does not significantly improve theperformance of CSC task.Because of the phonetic and glyphic features trained by the small-scale spelling task corpus,there isa serious information asymmetry compared with the rich semantic features obtained by the pre-training model.To betterlysolve the information asymmetry,this paper tries to apply the multimodal pre-training language model ChineseBert to theCSC problem.Since ChineseBert combines phonetic and glyph information into the pre-training model building stage,CSCbased on ChineseBert not only neednt to build additional networks,but also solve the problem of information asymmetry.The CsC method based on the pretrained model generally cannot deal with continuous errors very well.Therefore,wepropose a novel method SepSpell,which firstly uses the probing network to detect potentially incorrect characters,andpreserves the phonetic and glyphic features of the characters that may be incorrect to predict the coresponding semanticinformation of the mask.SepSpell reduces the interference caused by incorrect characters during the prediction process,so asto better handle the problem of continuous errors.Evaluating on three official evaluation datasets prove both methods withvery good results.Key words:Chinese Spelling Correction,Bert,ChineseBert,multimodal pretrained modeling基金项目：国家自然科学基金（6 2 0 7 6 2 17，6 19 0 6 0 6 0），扬州大学“青蓝工程”收稿日期：2 0 2 2-1114*通讯联系人,E-mail:303第2 期崔凡等：基于Chin的中文拼写纠错方法中文拼写纠错（Chinese Spelling Correction，CSC)是一项中文自然语言处理任务，旨在检测并校正文本错误，可用于浏览器搜索优化1、光学字符识别 2 和论文评分 3 等任务.早期的CSC研究遵循错误检测、候选生成和候选选择的流程4-6但由于缺乏标注语料，这些方法几乎都采用了无监督的n-gram统计语言模型.尽管这些模型具有简单、容易解释等优势，但由于其很难获取文本的深层语义信息，效果不佳.最近，随着大型预训练语言模型的成功（如Bert7,Robertal8），基于预训练语言模型的CSC方法也被提出.Hongetal2提出FASpell模型，采用Bert作为CSC的去噪自动编码器来生成候选字符，并通过计算字符之间的相似度来筛选字符.虽然获得了不错的结果，但由于Bert等预训练语言模型只考虑字符的语义信息，导致生成的候选字符更多地只考虑语义相似的字符.Liuetal9指出，大约8 3%的错误与语音相似性有关，48%与视觉相似性有关.如图1a所示，一些工作在预训练语言模型中，通过额外网络融入语音和视觉信息辅助生成候选字符.例如,Cheng et al10提出SpellGCN模型，利用Bert初始化每个字符的节点特征，再使用两个图卷积网络在混淆集上分别学习字符之间的形状和拼音的相似关系。Xuetall提出REALISE模型，通过额外的GRU(GatedRecurrentUnit）网络和卷积网络分别获取字符的字音和字形特征.Huang et al12提出PHMOSpell模型，通过VGG19和神经TTS网络分别获取字符的字形和字音特征等。但基于该框架训练的CSC模型只能利用CSC语训练得到的拼音和字形特征，与预训练模型获取的语义特征之间存在特征不对等的问题.但如果预训练语言模型在构建时融人拼音和字形等特征（如图1b所示），就不需要构建额外的网络，可直接进行中文拼写纠错，不仅简化了模型结构，也解决了因训练数据不同带来的特征信息不对等问题.近期，Sun etal13提出ChineseBert预训练模型,联合了中文的字形和拼音两个重要特征.和只关注语义特征的预训练模型相比，ChineseBert提升了一些中文下游任务的性能，但还没有工作利用ChineseBert进行CSC任务本文首次将环境污然问题环境污染问题环境污然问题环境污染问题预训练模型语义多模态预语音提取器字形训练模型拼音视觉提取器(a)(b)图1CSC模型结构对比：(a)现有方法通过添加额外的语音和视觉提取网络来获取字符多模态信息；(b)仅通过多模态预训练模型进行中文拼写纠错Fig.1 Comparison of two different CSC frameworks:(a)existing methods which acquire character multimod-al information by adding additional speech and visualextraction networks,(b)CSC performed only throughmulti-model pre-trained modelChineseBert预训练模型应用到CSC任务，在不添加任何额外网络的情况下，仅利用ChineseBert在CSC数据上进行微调.在三个人工标注的数据集SIGHAH2013,SIGHAH2014,SIGHAH2015 上进行实验，获得了非常好的结果，ChineseBert直接对输入的句子进行预测，当句子中存在连续拼写错误时，其真实含义可能会因为错误字符而发生很大的变化，模型几乎不能捕捉句子准确表达的意思，而两个及更多字组成的词出错是很常见的.例如，用户想输入句子“他上课经常迟到”，而根据拼音“chidao选择词的时候，有可能选择“赤道”，造成拼写错误.连续的错误字符通常会混淆上下文语义环境，预测“赤”的可能候选词时会受“道”的干扰，反之亦然，导致模型不能正确预测 14.为了更好地处理连续拼写错误的问题，本文基于ChineseBert进一步提出新的CSC方法Sep-Spell,包含一个探测模型和校正模型，其中探测模型采用与探测任务更吻合的ELECTRA15作为模型编码器，校正模型仍然采用ChineseBert模型.校正过程中，利用探测网络找到可能错误的字符的位置，利用mask字符屏蔽错误字符的语义特征，保留对预测输出有帮助的字形和字音特征。和直接利用ChineseBert的方法相比，SepSpell能较好地处理连续的拼写错误，在三个人工标注的数据集SIGHAH2013,SIGHAH2014,SIGHAH2015上，SepSpell的校正水平比ChineseBert的F1分别提高3.0%，1.9%和2.1%.考虑到官方基304南京大学学报（自然科学）第59 卷准数据集中缺乏连续错误的案例，根据拼音输人法会出现连续错误的特点，构建用于训练和评估连续错误的数据集.在相同数据集训练下，SepSpell的校正水平比直接微调预训练模型的Ro-berta8的F1提高约10%，验证了SepSpell针对连续错误问题的有效性.1相关工作近几年CSC得到了关注 16-18 。和中文语法错误纠正(Grammatical Error Correction,GEC)19-20)不同，GEC包括删除多余的字符和插人缺失的字符，而CSC只专注于检测和纠正字符.尽管CSC只进行字符的替换，但设计高效的CSC方法仍然是一项艰巨的任务，早期的CSC研究主要集中在基于规则的无监督方法上，设计各种规则来处理不同类型的拼写错误(4-6 .这些方法几乎都使用了n-gram语言模型，即如果一个字符在n-gram语言模型中出现的概率低于预定义的阈值，就被认为是拼写错误.在校正方面，混淆集被广泛使用作为候选词的生成.随着神经网络的发展，一些研究将CSC任务视为序列标记任务 2 1，使用双向LSTM(Long Short-TermMemory）作为模型框架.序列对序列框架中的复制机制也被引人CSC,但其只是从混淆集中复制可能的校正词 2 2 .随着大型预训练语言模型的巨大成功 7-8 ,许多基于Bert的CSC模型被提出，也取得了很大进展.Hongetal?2提出的FASpell中，语言模型被用作候选词生成器，并采用置信度-相似度曲线来选择最佳候选词.Soft-Masked-Bert23由基于GRU的错误检测模块和基于Bert的错误纠正模块组成，但Bert预训练语言模型只考虑字符的语义特征，忽略了字符的字形字音特征，为此，很多工作都设计了独特的网络将字形字音特征融人预训练模型10-12 1，然而，这种通过额外网络融合拼音和字形特征的方法，不仅使CSC模型整体更加复杂，而且由于拼音和字形特征和语义特征训练时的语料不同，导致得到的字形、拼音和语义出现特征信息不对等的问题，使模型的性能提升有限.不同于先前的基于预训练语言模型的工作，本文尝试利用文本、拼音和字形训练的多模态中文预训练语言模型ChineseBert来解决CSC任务.最近，一些研究开始关注由错误字符引起的噪声信息问题.Guo etal24提出一个全局注意力解码器（Global Attention Decoder,GAD)来缓解噪声信息的影响.Wangetal141提出动态连接网络(Dynamic Connected Networks,DCN)来学习两个相邻汉字之间的依赖关系，一定程度上避免了模型因噪声影响输出不连贯的语句.Wang andShang25通过对候选句子重新进行评估，找到与原始错误字符相比在字符概率和相似度方面最好的句子来避免噪声的影响.这些方法虽然在一定程度上提高了模型的性能，但本质上都是对模型校正之后结果的重新筛选和排序，噪声信息仍被输人了模型，干扰了模型的预测.与这些方法不同，本文提出的SepSpell方法通过mask字符将屏蔽噪声之后的语句输人模型，从源头解决了噪声干扰问题.2基于ChineseBert的CSC方法2.1CChineseBert简介预训练模型最初是为英语设计的，所以在当前的大规模中文预训练模型中缺少两个特定于中文的重要特征：字形信息和拼音信息。中文是象形文字，字形和字音特征包含重要信息，对语言理解十分重要在此背景下，Sunetal13提出全新的中文预训练模型Chinese-Bert,如图2 所示，根据中文特点，对每个汉字，首先将其语义特征、字形特征和字音特征串联起来，然后通过一个全连接层映射到同一维度，形成融合特征，最后将融合特征向量与位置编码向量一起作为Bert模型的输入，同时使用全词掩蔽 8 和喜欢Bert位置编码01234融合特征我很MM猫Fusion Layer语义特征我很MM猫字形特征我很猫字音特征Wohen0mao我很MM猫图2ChineseBert模型框架Fig.2TheframeworkofChineseBert305崔第2 期凡等：基于Chi口文拼写纠错方法字符掩蔽进行预训练.和通用的中文预训练模型相比，ChineseBert在广泛的中文NLP（Na t u r a lLanguageProcessing)任务上实现了最佳性能，也验证了获取的字形字音特征的有效性。2.2楼模型方法给定一个输入文本序列X=(1,2,),CSC任务的目标是自动纠正拼写错误的字符，生成正确的目标序列Y=（y i,y 2,yn),其中i,y(1iN)表示一个中文字符,N表示字符个数，基于ChineseBert的CSC方法是在不添加额外的网络的前提下，仅利用ChineseBert预训练模型在CSC训练数据集上进行微调，输人包含拼写错误的句子，输出正确的句子.和Bert模型相比，ChineseBert唯一不一样的是输人的是字符的多模态特征，具体地，利用式（1)融合字符z,的语义向量eui、字形向量e和字音向量epi，得到融合向量efusion.t;利用式（2)将融合特征向量ejision/与位置编码向量epos.i一起作为Bert模型的输人进行训练.emson.i=WneuDe.Depl(1)J,=Softmax(w.BERT(emo.e.)(2)其中，表示拼接操作，WER3d,xd.是可学习参数的全连接层，十表示相加操作，BERT表示Bert编码器，WERd表示映射到词表上的全连接层，,表示预测第i个字符的概率分布。最终，ChinesBert使用交叉熵损失对模型进行优化：c(3,y)=-Z-,y.lgy:(3)3SepSpell方法除了ChineseBert的方法，现有的基于预训练模型的CSC方法 10-12 都是直接根据输人句子的信息生成目标句子，其优势是简化了纠错过程，但在句子有连续错误时，此类方法会利用错误字符的语义对另一个错误字符进行预测，所以不能很好地处理连续错误的问题例如，一个句子里有两个错误字符,和,，生成字符,的正确字符时利用了错误字符c,的信息.为此，在ChineseBert方法的基础上，本文进一步提出SepSpell方法.SepSpell的框架如图3所示，该方法将CSC经到4CorrecttionNetworkFusionLayer语义特住他课M常上M字形特征他课经常赤道字音特征tashangkejingchangchidao0.030.010.010.100.040.990.400.01DetectionNetwork课经常赤他道图3SepSpell方法框架Fig.3Theframework of SepSpell method任务分为探测模型和校正模型两个部分.首先，探测模型找到文本中可能错误的字符，屏蔽其语义特征（图3中用M表示），仅保留对模型最终预测有帮助的字形字音特征；然后，将降噪后的融合特征输人校正模型中进行校正，由于校正模型在输人时就已经屏蔽了错误字符的语义特征，再加上字形字音对模型预测的限制，使SepSpell方法能更好地处理连续错误问题.3.1探测模型探测模型的目标是识别错误字符位置，一般被转化为序列标注问题，分别用0 和1表示正确和错误字符.由于探测任务中错误字符相当于对正确字符进行了替换，所以本文采用和探测任务更吻合的ELECTRA15作为模型编码器模型输人的是embeddings的序列E=(ei,e2,en),其中,e;表示字符,特征向量（字符语义特征向量、位置向量和句子段向量之和）.输出标签序列O=(01,02，,0 ）,其中，0,表示第i个字符的标签，1表示该字符不正确，0 表示正确.对于每个字符，利用sigmoid函数获取的概率P表示字符错误的概率，P,越高，字符错误的可能性越大.对于序列的每个字符，其错误概率P,定义如下：P,=Pa(o,=1|X)=o(WaHa+ba)(4)其中，Ha表示字符,经过编码器之后最后一层的输出，Wa和ba是可学习二分类参数.最后，使用二分类的交叉熵损失函数对探测模型进行优化.由于在CSC任务中，句子中的正确字符数远大于错误字符数，为了解决正负样本不均衡的问题，将正确字符与错误字符的损失权306第59 卷南京大学学报（自然科学）重设置为1：5，如式（5）所示：Z 0.(P.)+(1 0.g(1 P.)(5)校正模型对预测正确的字符采取直接复制的方式，所以，为了尽可能发现错误字符，降低了探测模型判断为正类的阈值Err.在二分类任务中，该值通常为0.5.本文实验中将阅值设置为0.0 5，P,0.05时判定该字符错误，P,0.05时判定该字符正确，如式（6)所示：1，if P,0.05P,=(6)0，if P,0.053.2校正模型从训练阶段和推理阶段对校正模型进行介绍.训练阶段，校正模型知道错误字符的位置，不需要进行预测；推理阶段，因为错误字符位置不可见，需要利用探测模型的输出。3.2.1训训练阶段设在模型的训练阶段使用修改的融合特征作为校正模型的输人，将句中所有已知错误字符的语义特征用mask字符屏蔽，此时对应错误字符的融合特征向量（式（1）被改写如下：emsion.=WemsDe.Den.ifo,=1(7)其中，emas表示mask字符的语义特征向量.在模型的推理阶段，错误字符的位置是未知的，很大程度上依赖于探测模型的能力.由于探测模型的准确率不可能达到10 0%，为了验证校正模型的预测能力，在训练阶段随机屏蔽句子长度2 0%的正确字符的语义信息.模型的预测和优化如式（2）和式（3）所示.3.2.2#推理阶段在校正模型进行推理时，由于错误字符的位置未知，需要先借助探测模型找出句子中可能错误的字符，然后将可能错误字符的语义特征用mask字符进行屏蔽，保留字形字音特征.不同于训练阶段，字符,的融合特征efusion.表示为：Weue,Der,ifP,=0(8)sionWemasDe,Dep,ifP,=1由于在输入时屏蔽了错误字符的语义特征，校正模型仅通过上下文信息对屏蔽的语义进行预测，再加上字形和字音信息的限制，能够更好地降低错误字符的影响.在获取所有的预测字符时，模型没有直接使用所有的预测字符作为最后的输出结果.对于探测模型预测为正确的字符，保留输入的原字符；探测模型预测为错误的字符，才使用校正模型的输出结果.如图3所示，校正模型虽然输出了每个字符的预测，但在最终阶段，仅保留探测模型预测为错误的字符“经”“赤道”对应的输出“经”“迟到”4实验与分析4.1实验准备4.1.1评估指标从字符和句子两个层面进行评估。和字符层面相比，句子层面要求句子中的所有错误都被检测或校正时，才被认为是正确的 2.10 .字符层面和句子层面的评估都从探测和校正两个角度进行，采用准确率（Acc）、精确率（P）、召回率（R）和F1作为评价指标.4.1.2数据集遵循先前的工作 2.10 ，使用SIGHAN官方训练数据和Wangetal21生成的伪数据作为训练集，并使用SIGHAN2013,SIGHAN2014，SI G H A N2 0 15为测试集.训练集和测试集的统计结果如表1所示由于原始数据是繁体中文,使用OpenCC（h t t p s:/g i t h u b.c o m/BYVo i d/OpenCC)将其转化为简体中文,再利用Xuet al11的方法，对转化过程中的错误进行处理（如著着，妳你）.由于SIGHAN2013测试集中人为标注语料的质量较差，相当多的助词“的”“地”“得”的混合用法没有标注 10 ，导致性能良好的模型在该数据集上的分数不佳.为了缓解这个问题，本文也采用Xuetal1的后处理方法，从模型输出中删除所有检测和更正的“的”“地”“得”表1实实验中使用的数据集统计Table1Dataset statistics used in experimentsTrain Set#SentAvg.Length#Erors(wang)27132944.4271329SIGHAN201370049.2350SIGHAN2014343549.73432SIGHAN2015233930.02339TestSet#SentAvg.Length#ErrorsSIGHAN2013100074.1996SIGHAN2014106250.1529SIGHAN2015110030.5550307第2 期崔凡等：基于Chi的中文拼写纠错方法4.1.3实验参数设置在具体训练中，所有特征的向量维度均设置为7 6 8；学习率设置为5e一5，并使用线性衰减;dropout设置为0.1;batchsize设置为32；epoch设置为10；学习率预热步数warmup设置为50 0 0；使用Adam优化算法.4.1.4对比方法Roberta8：直接使用CSC训练数据微调Roberta-base得到.SpelIGCNl10);通过图卷积网络（Graph Con-volutionalNetworks，G C N)将预定义的字符混淆集合并到基于Bert的校正模型中.REALISE11I：通过一个GRU网络获取拼音特征，通过卷积网络获取字形特征，最后通过基于Transformer的自适应融合进行预测输出.DCNL14：通过一个独特的动态连接网络，在模型输出阶段生成K个路径（K表示候选词数，n表示句子长度），再通过动态连接网络打分，选择一条最优路径。4.2实验结果分析斤表2 给出了本文方法和四个基线模型在测试集SIGHAN2013，SI G H A N2014，SI G H A N2 0 15上字符级别和句子级别检测和校正水平的评估结果，表中黑体字表示结果最优。由表可见，在字符级别，ChineseBert的探测和校正水平优于Roberta.SepSpell由于在探测模型阶段为了召回更多的错误字符将值Err设置得很低，使输人校正模型的噪声增多，导致其探测水平的精确率比SpellGCN和ChineseBert低在校正水平上，现有的评估方法只针对探测模型预测正确的字符计算得到.以测试集SIGHAN2013表2各算法在SIGHAN2013，SI G H A N2 0 14和SIGHAN2015三个测试集上的实验结果Table2Experimental results of different algorithms on three test sets ofSIGHAN2013,SIGHAN2014 and SIGHAN2015Character LevelSentence LevelDetection LevelCorrection LevelDetection LevelCorrection LevelSIGHAN2013PRFPRFAccPRFAccPRFSpelIGCN82.6%88.9%85.7%98.4%88.4%93.1%()80.1%74.4%77.2%(一)78.3%72.7%75.4%REALISE(一）(一)(一)(一)(一)(一)82.7%88.6%82.5%85.4%81.4%87.2%81.2%84.1%DCN(一)(一)(一）(一)(一)(一)(一)86.8%79.6%83.0%(一)84.7%77.7%81.0%Roberta80.5%88.0%84.1%98.0%86.5%91.9%77.3%85.1%76.9%80.8%75.6%83.6%76.0%79.6%ChineseBert79.4%91.2%84.9%98.1%95.3%96.7%81.4%85.6%81.3%83.4%80.0%84.1%79.9%81.9%SepSpell78.9%91.4%84.7%98.4%95.4%96.9%83.9%88.5%84.0%86.2%82.7%87.2%82.8%84.9%SIGHAN2014PRFPRFAccPRFAccPRFSpellGCN83.6%78.6%81.0%97.2%76.4%85.5%(一)65.1%69.5%67.2%(一)63.1%67.2%65.3%REALISE(一）(一)（一）(一）(一)(一)78.4%67.8%71.5%69.6%77.7%66.3%70.0%68.1%DCN(一)(一)(一)(一)(一)(一)(一)67.4%70.4%68.9%(一)65.8%68.7%67.2%Roberta82.6%78.0%80.2%96.9%75.9%85.1%74.1%61.2%67.3%64.1%73.6%60.3%66.4%63.2%ChineseBert80.3%79.4%79.8%97.1%88.4%92.5%77.1%66.0%68.1%67.1%76.4%64.6%66.5%65.5%SepSpell79.9%79.6%79.8%98.0%89.2%93.4%78.3%67.2%71.2%69.1%77.5%65.5%69.4%67.4%SIGHAN2015PRFPRFAccPRFAccPRFSpellGCN88.9%87.7%88.3%95.7%83.9%89.4%(一)74.8%80.7%77.7%(一)72.1%77.7%75.9%REALISE(一）(一)(一)(一)(一)(一)84.7%77.3%81.3%79.3%84.0%75.9%79.9%77.8%DCN(一)(一)(一)(-)(一)(一)(-)77.1%80.9%79.0%(一)74.5%78.2%76.3%Roberta86.9%87.3%87.1%95.1%82.0%88.1%82.9%73.2%80.4%76.7%81.7%71.0%78.0%74.5%ChineseBert87.5%87.6%87.5%96.1%92.1%94.0%84.9%77.1%81.3%79.1%83.8%75.0%79.1%77.0%SepSpell87.0%86.5%86.7%97.3%92.4%94.8%86.6%81.7%80.6%81.1%85.6%79.6%78.6%79.1%308第59 卷南京大学学报（自然科学）为例，对于探测模型预测正确的所有字符，Sep-Spell的校正模型对其中9 5.4%的字符都进行了修改，且9 8.4%的修改都是正确的.与其他最先进的模型相比，在校正水平上，SepSpell在三个测试集上均获得了最好的结果。在句子级别的评估结果中，ChineseBert的性能接近之前最先进的模型.和ChineseBert相比，SepSpell在SIGHAN2015上检测和校正水平的F1分别又提高了2.0%和2.1%，在SIGHAN2013上分别提高了2.8%和3.0%.和以往的最佳模型REALISE相比，SepSpell仅在SIGHAN2014测试集上校正水平的F1低0.7%，此结果仍然非常具有竞争力，而在SIGHAN2013和SIGHAN2015测试集上校正水平的F1分别提高了0.8%和1.3%.与之前的先进模型相比，使用ChineseBert作为预训练语言模型，将字符的字音和字形特征的提取工作放到预训练模型阶段，不仅极大地简化了整体CSC模型的结构，而且，由于字音和字形特征是经过大规模语料统一训练得到的，也使训练得到的字音特征和字形特征更具泛化性.此外，表3还给出了使用CSC官方测试评估工具(http:/nlp.ee.ncu.edu.tw/resource/csc.ht-ml)评估测试集SIGHAN2015的结果，表中黑体字代表结果最优与最新的方法相比，Chinese-Bert和SepSpell均获得了非常好的结果，充分证明了这两个方法的有效性。表3SIGHAN2015官方工具评估的性能Table 3Performance evaluated by SIGHAN2015official toolsDetection LevelCorrection LevelMethodAccPRFAccPRFSpellGCN83.7%85.9%80.6%83.1%82.2%85.4%77.6%81.3%DCN84.6%88.0%80.2%83.9%83.2%87.6%77.3%82.1%Roberta82.9%84.1%80.4%82.2%81.7%83.7%78.0%80.8%ChineseBert84.9%87.1%81.3%84.1%83.8%86.8%79.1%82.8%SepSpell86.6%91.2%80.6%85.6%85.6%91.0%78.6%84.3%4.3阈值对于探测模型性能的影响为了探究阈值Err对探测模型的影响，将其分别设定为0.03,0.05,0.1,0.2和0.5，并且只使用字符级别的P,R和F1作为评估指标.实验结果如图4所示.由图可见，随着阈值的降低，探测模型的P下降，错误字符的召回率R提高.但由于召回率R已接近最大值10 0%,Err的降低对召回率R的提升增益在不断减小，而精确率P却下降得很快，导致综合性能的F1一直在下降.实验中选择F1最好的Err，即0.0 5.进一步发现探测模型的召回率R在SIGHAN2014上远低于SIGHAN2013和SIGHAN2015，最高也只有9 1.3%，导致SepSpell在SIGHAN2014上没有达到最先进的水平.而在SIGHAN2013上，当Err=0.05时，模型在精确度P=62.3%的前提下，召回率R高达9 5.9%，这也使SepSpell和100.0%95.9%96.1*100.0%100.0%95.3%93.1%94.5%93.3%94.3%95.2%90.7%91.3%90.6%92.2%90.0%88.8%90.0%87.5%90.0%81.5%83.5%80.0%79.0%77.4%75.5%80.0%80.0%74.1%72.5%74.4%70.0%67.9%70.0%70.0%68.7%65.2%66.2%65.9%62.3%61.9%63:1%60.4%61.6%60:0%60.0%58.6%60.0%58.8%54.8%56.1%53.9%54.7%50.9%50.0%50.0%47.9%50.0%45.7%43.7%-PPP40.6%42.5%40.0%一R40.0%+R38.2%40.0%RF1F1F1SIGHAN2013SIGHAN2014SIGHAN201530.0%30.0%30.0%0.50.20.10.050.030.50.20.10.050.030.50.20.10.050.03ErrErrErr图4阈值Err对探测模型性能的影响Fig.4The effect of threshold Err on performance of the detection model309崔第2 期凡等：基于Chinrt的中文拼写纠错方法ChineseBert相比，在SIGHAN2013测试集上的校正性能提升得更明显.可以看出，一个性能优良的探测模型对于模型整体性能的提升必不可少。4.4值对于校正模型性能的影响为了进一步探究探测模型中的超参数Err对校正模型的影响，将Err分别设定为0.0 3,0.0 5,0.1,0.2,0.5进行实验.由于Err对三个测试集影响的趋势相同，所以仅在SIGHAN2015上进行测试，实验结果如图5所示.由图可见，随着探测器阈值Err的降低，校正模型的探测和校正水平的F1在不断提高，在Err二0.0 5时达到最高，随后开始下降.通过前面的实验可以发现，虽然降低Err能提高错误字符的召回率R，但不断的下降使其对召回率R的影响越来越小，而精确率下降得更明显，显然当Err=0.03时，校正模型的性能反而降低了.81.5%81.1%+探测水平80.9%81.0%校正水平80.7%80.5%80.0%79.8%79.8%179.5%79.1%79.0%78.8%78.5%78.5%78.0%77.6%77.6%77.5%0.50.20.10.050.03Err图5阈值Err对校正模型性能的影响Fig.5The effect of threshold Err on the performanceof the correction model4.5案例分析为了更直观地展示字形特征和字音特征对模型预测的影响，表4给出了三个案例的预测结果，和Roberta相比，本文提出的两个方法都融合了字符的字形和字音特征.第一种情况，词语“凭断”中的“凭”是错误字符，如果没有字音限制，模型倾向于将其修改为“判断”.第二种情况，“田”和“由”的字形非常相似，ChineseBert和SepSpell均能将“田来”纠正为更好的“由来”第三种情况更常见，因为汉字的特点，往往字形相似的两个汉字也同时具有相似的发音，尽管R