多学习行为协同的知识追踪模型_张凯.pdf

2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1422-1429ISSN 1001-9081CODEN JYIIDUhttp：/多学习行为协同的知识追踪模型张凯*，覃正楚，刘月，秦心怡（长江大学 计算机科学学院，湖北 荆州 434023）（通信作者电子邮箱）摘要：知识追踪模型主要使用学习过程、学习结束和学习间隔等三类学习行为数据，但现有研究没有融合上述类型的学习行为，无法准确描述多种类型学习行为的相互作用。针对上述问题，提出多学习行为协同的知识追踪（MLB-KT）模型。首先采用多头注意力机制描述每类学习行为的同类约束性，然后采用通道注意力机制建模三类学习行为的多类协同性。将MLB-KT模型与深度知识追踪（DKT）、融合注意力机制的时间卷积知识追踪（ATCKT）模型在3个数据集上进行对比，实验结果表明，MLB-KT模型的曲线下面积（AUC）有明显增加，且在ASSISTments2017数据集上的表现最佳，与DKT、ATCKT模型相比分别提升了12.26%、2.77%；表示质量对比实验的结果也表明MLB-KT模型具有更好的表现。可见建模同类约束性和多类协同性能更好地判断学生的知识状态、预测学生未来的答题情况。关键词：知识追踪；学习行为；多头注意力机制；通道注意力机制；序列建模中图分类号：TP183 文献标志码：AMulti-learning behavior collaborated knowledge tracing modelZHANG Kai*，QIN Zhengchu，LIU Yue，QIN Xinyi（School of Computer Science，Yangtze University，Jingzhou Hubei 434023，China）Abstract:Knowledge tracing models mainly use three types of learning behaviors data，including learning process，learning end and learning interval，but the existing studies do not fuse the above types of learning behaviors and cannot accurately describe the interactions of multiple types of learning behaviors.To address these issues，a Multi-Learning Behavior collaborated Knowledge Tracing（MLB-KT）model was proposed.First，the multi-head attention mechanism was used to describe the homo-type constraint for each type of learning behavior，then the channel attention mechanism was used to model the multi-type collaboration in three types of learning behaviors.Comparison experiments of MLB-KT，Deep Knowledge Tracing（DKT）and Temporal Convolutional Knowledge Tracing with Attention mechanism（ATCKT）models were conducted on three datasets.Experimental results show that the MLB-KT model has a significant increase in Area Under the Curve（AUC）and performs best on ASSISTments2017 dataset，the AUC is improved by 12.26%and 2.77%compared to DKT and ATCKT respectively；the results of the representation quality comparison experiments also verify that the MLB-KT model has better performance.In summary，modeling the homo-type constraint and multi-type collaboration can better determine students knowledge status and predict their future answers.Key words:knowledge tracing;learning behavior;multi-head attention mechanism;channel attention mechanism;sequence modeling0 引言 智能导学系统（Intelligent Tutoring System，ITS）和大规模在线开放课程（Massive Open Online Course，MOOC）等智慧教育平台逐渐被大众接受，然而智慧教育的初始内禀属性并未包括判断学生的知识状态、预测学生未来的学习表现等功能。基于上述原因，知识追踪（Knowledge Tracing，KT）成了智慧教育领域的重要研究内容，它通过分析平台收集的学习行为数据判断学生的知识状态，并根据知识状态预测学生未来作答的表现。知识追踪目前被广泛应用于各类在线教育平台，如国家高等教育智慧教育平台、学堂在线、爱学习以及国外的 Khan Academy、edX、Coursera 等。当前知识追踪的主要意义和作用在于通过把握学生的知识状态和未来的答题表现，为智慧教育平台提供细粒度的教育策略，为每个学生提供个性化的教育服务。学习序列由学生的学习记录组成，主要包括学生的学习行为数据。学习行为数据一般可分为学习过程、学习结束和学习间隔数据三类1。学习过程数据主要包括学生尝试作答次数和请求提示次数等；学习结束数据主要包括学生作答的习题及作答的结果等；学习间隔数据主要包括学生相邻两次学习的时间间隔和学习某概念的次数等。图 1展示了学文章编号：1001-9081（2023）05-1422-08DOI：10.11772/j.issn.1001-9081.2022091313收稿日期：2022-09-02；修回日期：2022-11-23；录用日期：2022-11-25。基金项目：国家自然科学基金资助项目（62077018）；科技部高端外国专家引进计划项目（G2022027006L）。作者简介：张凯（1980），男，湖北武汉人，教授，博士，CCF高级会员，主要研究方向：图神经网络、贝叶斯深度学习、知识追踪、知识图谱；覃正楚（1998），男，湖北宜昌人，硕士研究生，CCF会员，主要研究方向：深度学习、知识追踪；刘月（1998），女，湖北十堰人，硕士研究生，主要研究方向：深度学习、知识追踪；秦心怡（1998），女，湖北荆门人，硕士研究生，主要研究方向：深度学习、知识追踪。第 5 期张凯等：多学习行为协同的知识追踪模型习过程行为、学习结束行为和学习间隔行为及其先后关系。经典的知识追踪模型2-4仅使用学习结束数据。这类模型一般通过分析学生的学习结束行为判断学生的基本知识状态，但学习结束数据只包含了学生答对或答错某道习题的信息，无法更加准确地追踪学生的知识状态。例如，学生A、B的学习结束数据相同，但学习过程数据不同，在经典知识追踪模型中无法表示学生A、B不同的知识状态。学生的学习记录中还包括学习过程行为和学习间隔行为，这些行为也是学生知识状态发生变化的映射。有研究者利用学习过程和学习结束数据追踪学生的知识状态5，用学习间隔数据建模学生的遗忘行为6-7，但都没有考虑学习行为的多类协同性，即学习序列中多种类型学习行为的相互作用。为了更加准确地追踪学生的知识状态，本文的主要工作有：1）描述学习行为的同类约束性。首先，选取三类学习行为数据的集合作为输入；然后用多头注意力机制获取输入数据的注意力权重，表示单一类型学习行为在时间序列上的约束关系，用来描述学习行为的同类约束性。2）描述学习行为的多类协同性。首先，拼接三类学习行为数据的集合作为输入；接着用通道注意力机制获取三类学习行为的全局信息；最后将全局信息映射为学习行为之间的注意力权重，表示多种类型学习行为的相互作用，用来描述学习行为的多类协同性。3）提出多学习行为协同的知识追踪（Multi-Learning Behavior collaborated Knowledge Tracing，MLB-KT）模型。首先，使用编码器融合学习行为的同类约束性和学习行为的多类协同性；然后使用解码器通过输入不同的查询向量来获取学生的学习向量和遗忘向量；最终达到更准确地追踪学生知识状态的目的。1 相关工作 1.1知识追踪1.1.1基于学习结束行为的知识追踪模型贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）2首先提出知识追踪的概念，并用概率计算解决知识追踪的任务。BKT以学习结束数据为输入，定义初始学会某概念的概率P(L0)、未学会状态到学会状态的转移概率P(T)、未掌握概念但猜对的概率P(G)、掌握概念但答错的概率P(S)等，并使用隐马尔可夫模型（Hidden Markov Model，HMM）8建模上述四个概率的关系，从而预测学生的未来学习表现。深度知识追踪（Deep Knowledge Tracing，DKT）3首次使用深度序列模型来解决知识追踪的任务。类似于BKT，DKT仍使用学习结束数据作为输入，以循环神经网络（Recurrent Neural Network，RNN）9或 长 短 期 记 忆（Long Short-Term Memory，LSTM）网络10的隐藏状态来表示学生的知识状态，最终以全连接层预测学生的未来学习表现。动 态 键 值 记 忆 网 络（Dynamic Key-Value Memory Network，DKVMN）4受标准记忆增强网络的启发11，提出用记忆矩阵的方法解决知识追踪的任务。DKVMN仍使用学习结束数据作为输入，用一个键（key）矩阵存储概念，一个值（value）矩阵存储学生对概念的掌握状态；模型通过两个矩阵判断学生每次学习时对各个概念的掌握状态，最终以全连接层输出学生未来学习表现的概率。在后续的研究中，研究者仍仅用学习结束数据作为模型的输入建模学生的知识状态：Kser等12在BKT的基础上提出了动态贝叶斯知识追踪模型，建模不同概念之间的依赖关系；Su等13在DKT的基础上为模型的输入添加了习题信息；Abdelrahman 等14在 DKVMN 的基础上使用了 Hop-LSTM 网络结构，使模型能够捕获学生学习记录中的长期约束性。这类模型的变种还有：TLS-BKT（Three Learning States Bayesian Knowledge Tracing）15-16、PDKT-C（Prerequisite-driven Deep Knowledge Tracing with Constraint modeling）17、HMN（Hierarchical Memory Network for knowledge tracing）18等。BKT、DKT和DKVMN是经典的知识追踪模型，这些模型为后续的研究奠定了坚实的基础；但它们在追踪学生的知识状态时仅用学习结束数据建模学习行为的同类约束性，没有使用学习过程数据和学习间隔数据建