基于重建误差的任务型对话未知意图检测_毕然.pdf

第 49卷 第 2期2023年 2月Computer Engineering 计算机工程基于重建误差的任务型对话未知意图检测毕然1，2，3，王轶1，3，周喜1，3（1.中国科学院新疆理化技术研究所，乌鲁木齐 830011；2.中国科学院大学，北京 100049；3.新疆民族语音语言信息处理实验室，乌鲁木齐 830011）摘要：现有未知意图检测模型通常将语句映射到向量空间，并使用局部异常因子算法定义密度较小的特征点为未知意图，但经交叉熵损失训练的已知意图特征簇更加狭长，簇内的整体间距、密度和分散情况不均匀，进而增加了检测难度。针对上述问题，提出一种基于自动编码器重建误差的未知意图检测模型。在训练阶段，使用融入标签知识的联合损失函数训练已知意图分类器，使已知意图特征类间距离大且类内距离小，并利用这些特征训练一个仅能获取已知意图信息的自动编码器。在测试阶段，利用自动编码器将重建误差较大的样本视为未知意图，其余样本视为已知意图正常分类。在 SNIPS数据集上的实验结果表明，在已知意图占比为 25%、50%、75%时，该模型的 Macro F1得分相比于表现最优的增强语义的高斯混合损失基线模型分别提升了 16.93%、1.14%和 2.37%，能够检测到更多的未知意图样本，同时在类别分布极不平衡的 ATIS数据集上也有较好的性能表现。关键词：意图识别；任务型对话；未知意图检测；损失函数；自动编码器；重建误差开放科学（资源服务）标志码（OSID）：中文引用格式：毕然，王轶，周喜.基于重建误差的任务型对话未知意图检测 J.计算机工程，2023，49（2）：54-60.英文引用格式：BI R，WANG Y，ZHOU X.Unknown intent detection for task-oriented dialogs based on reconstruction error J.Computer Engineering，2023，49（2）：54-60.Unknown Intent Detection for Task-Oriented Dialogs Based on Reconstruction ErrorBI Ran1，2，3，WANG Yi1，3，ZHOU Xi1，3（1.Xinjiang Technical Institute of Physics and Chemistry，Chinese Academy of Sciences，Urumqi 830011，China；2.University of Chinese Academy of Sciences，Beijing 100049，China；3.Xinjiang Laboratory of Minority Speech and Language Information Processing，Urumqi 830011，China）【Abstract】Existing unknown intent detection models map utterances to the vector space and use the Local Outlier Factor（LOF）algorithm to define the feature points with low density as the unknown intent.However，known intent feature clusters trained by the cross-entropy loss are narrower and longer，which causes the overall spacing in density，and the dispersion in the clusters is not sufficiently uniform for detection.This study proposes an unknown intent detection model based on the autoencoder reconstruction error to solve the above problems.During the training stage，the model uses a joint loss function with label knowledge to train a known intent classifier，which forces the distribution of known intent features to minimize the intraclass distance and maximize the interclass distance.It then uses these features to train an autoencoder that only contains information regarding the known intent.During the testing stage，samples with significant reconstruction errors are regarded as unknown intentions using the automatic encoder，and the other samples are regarded as normal classifications of known intentions.Experiments on the SNIPS dataset show that the Macro F1 score of the proposed model increases by 16.93%，1.14%，and 2.37%compared with the Semantic-Enhanced large-margin Gaussian mixture loss（SEG）model of the best performance in the baseline models when proportions of the known intents are 25%，50%，and 75%，respectively.Moreover，the proposed model can detect more unknown samples.Furthermore，the proposed model exhibits improved performance on the ATIS dataset，in which the intent distribution is highly unbalanced.【Key words】intent identification；task-oriented dialog；unknown intent detection；loss function；autoencoder；reconstruction errorDOI：10.19678/j.issn.1000-3428.0063847基金项目：中国科学院西部之光人才培养引进计划“基于回归分析的新疆高考志愿推荐方法研究”（2018-XBQNXZ-A-003）；新疆维吾尔自治区重大专项“区块链共性关键技术研究”（2020A02001-1）；新疆维吾尔自治区天山青年计划（2019Q030）；新疆维吾尔自治区天山雪松计划“智适应学习中学习行为分析与个性化学习推荐技术研究”（2020XS10）。作者简介：毕 然（1995），男，硕士研究生，主研方向为任务型对话系统；王 轶，副研究员、博士；周 喜，研究员、博士。收稿日期：2022-01-26 修回日期：2022-03-08 Email：人工智能与模式识别文章编号：1000-3428（2023）02-0054-07 文献标志码：A 中图分类号：TP391.1第 49卷 第 2期毕然，王轶，周喜：基于重建误差的任务型对话未知意图检测0概述意图识别1是任务型对话系统2自然语言理解（Natural Language Understanding，NLU）模块3中的子任务，旨在识别用户隐藏在对话语句中的真实意图。随着深度学习技术的发展，意图识别研究不断深入并取得诸多成果。然而在真实场景中，用户意图随着时间推移频繁变化，系统无法针对未在训练过程中出现的新意图进行有效检测。目前，针对未知意图检测任务主要包括基于生 成 对 抗 网 络（Generative Adversarial Networks，GAN）4-6、基 于 置 信 度 分 数7-8以 及 基 于 异 常 检测9-103类方法。基于生成对抗网络的方法生成大量与已知意图在空间上接近的未知意图，再将两者送入分类器学习，然而无法解释生成样本的合理性，且GAN 在文本离散数据中可能表现不佳。基于置信度分数的方法会输出一个额外的置信度分数衡量测试样本属于已知意图或未知意图的概率，然而该方法需要足够且类别分布均匀的样本训练分类器，在类别分布不平衡时可能失效。基于异常检测的方法先通过改进交叉熵损失11-12训练分类器，使模型的类间方差最大化、类内方差最小化，各类别特征的空间 分 布 界 限 分 明，再 通 过 局 部 异 常 因 子（Local Outlier Factor，LOF）13算法将测试样本中的离群点视为未知意图，然而经过交叉熵损失训练得到的特征簇分布相对狭长14，无法保证特征簇的整体间距、密度和分散情况均匀一致，导致 LOF 算法的检测效率受到影响。本文提出一种基于重建误差的未知意图检测模型 LeCosRE，优化特征的空间分布，利用自动编码器无法重建非正类样本的特性检测未知意图。在训练阶 段：首 先 使 用 融 入 标 签 知 识 的 联 合 损 失 函 数LeCos 训练已知意图分类器，使各类别特征尽可能向自身的类别中心靠拢；然后利用自动编码器15-17充分学习已知意图的相关信息，并将其作为未知意图检测器。在测试阶段，利用自动编码器重建已知意图特征，从而将已知意图与未知意图进行有效区分。1相关工作1.1意图识别任务型对话系统先判断用户意图，再提取语句中的关键槽值18，最终将整合的信息传递给对话管理模块，从而完成后续回复。目前，考虑到意图识别和槽值提取任务间存在较大的相关性，许多研究人员将两者作为联合任务进行训练。XU 等19基于CNN 的方法通过聚合相邻单词的词嵌入从而构建句子嵌入表示。LIU等20基于 RNN的方法将单词的词 嵌 入 进 行 顺 序 编 码 以 此 提 取 句 子 嵌 入 表 示。CHEN等21将 BERT引入自然语言理解任务，解决了传统模型泛化能力较差的问题。ZHANG 等22提出意图-槽值联合训练应在语义层面共享参数的思想，并基于 BERT 的方法先检测用户的意图，再通过整体的语义信息和意图语义信息预测槽值的位置。任务型对话在学术界和工业界得到越来越多关注，但也面临一些挑战，例如如何提高数据使用效率以促进资源匮乏环境中的对话建模23。当对话系统预设的意图类别不能满足用户在真实场景下的全部需求时，系统虽然可以利用已有的标注数据训练一个具有较强判别能力的分类器，但在出现新意图时无法进行有效回复。1.2未知意图检测传统意图识别任务训练及测试阶段数据标签类别相同，即在测试阶段不会引入一类完全不同于训练阶段意图类别的新意图。目前，关于未知意图检测问题的研究较少，其研究难点是无法在训练阶段获取未知意图的任何信息。LIN 等9使用增强边缘余弦损失（Large-Margin Cosine Loss，LMCL）训练已知意图分类器，使模型的类间方差最大化，并在测试时使用 LOF 算法检测离群点作为未知意图，而其余正常点送入分类器。LOF算法是一种基于密度的离群点检测算法，通过对每个特征点分配一个依赖于邻域密度的离群因子判断其所属。YAN 等10假设学习