面向慕课学习者评估的认知反应模型_王炼红.pdf

第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023面向慕课学习者评估的认知反应模型王炼红1，罗志辉1，刘畅2（1.湖南大学电气与信息工程学院，湖南长沙 410082；2.中国农业银行研发中心，天津 300392）摘要：认知诊断模型从学习者的认知结构出发，建模学习者与试题之间的潜在关系，结合智能算法并根据试题作答结果可评估学习者的知识水平.大多数认知诊断模型是将学习者的高阶能力特征视为单维，忽视了后天努力的影响.为此，本文提出了一种考虑能力特征与努力特征相互补偿的具有二维高阶特征的新认知诊断模型认知反应模型（Cognitive and Response Model，C&RM）.该模型通过设置能力特征与努力特征相互补偿机制来融合两高阶特征参数以精准建模学习者的知识水平.同时，还构建了知识点弱项特征参数，以综合考虑学习者的知识水平与不同知识点对作答试题的影响，进一步提高模型的解释性和预测精度.采用自建的HNU_SYS数据集和Math1，Math2，FrcSub公共数据集，通过实验对比分析了C&RM模型、最新的认知诊断模型和经典诊断模型.当数据训练集为70%最佳比例时，C&RM在4个数据集上分别比次优方法提升了6.3%，4.3%，3.3%，5.2%，其预测性能最佳，验证了本文模型的可行性和有效性.关键词：认知诊断；认知反应模型；评估；慕课；补偿机制基金项目：国家重点研发计划（No.2019YFE0105300）；中国高等教育学会数字化课程资源专项研究课题（No.21SZYB15）中图分类号：TP391文献标识码：A文章编号：0372-2112(2023)01-0018-08电子学报URL:http:/DOI:10.12263/DZXB.20211580Cognitive and Response Model for Evaluation of MOOC LearnersWANG Lian-hong1,LUO Zhi-hui1,LIU Chang2(1.School of Electrical and Information Engineering,Hunan University,Changsha,Hunan 410082,China;2.R&D Center,Agricultural Bank of China,Tianjin 300392,China)Abstract:The cognitive diagnosis model starts from the learners cognitive structure,models the potential relationship between the learner and the test questions,and combines intelligent algorithms to evaluate the learners knowledge level according to the results of the test questions.Most cognitive diagnostic models treat learners higher-order ability characteristics as a single dimension,ignoring the effect of acquired effort.To this end,this paper proposes a cognitive diagnostic model with two-dimensional high-order features that considers the mutual compensation of ability and effort featurescognitive and response model(C&RM).The model integrates two high-order feature parameters by setting the mutual compensation mechanism of ability feature and effort feature to accurately model the knowledge level of the learner.At the same time,the characteristic parameters of knowledge point weaknesses are also constructed to comprehensively consider the knowledge point level of learners and the influence of different knowledge points on answering questions,and further improve the interpretability and prediction accuracy of the model.Using the self-built HNU_SYS data set and the Math1,Math2,FrcSub public data sets,the C&RM model,the latest cognitive diagnostic model and the classic diagnostic model are compared and analyzed through experiments.When the data training set is at the best ratio of 70%,C&RM is improved by 6.3%,4.3%,3.3%,and 5.2%on the four data sets,respectively,and its prediction performance is the best,which verifies the feasibility of the model in this paper.Key words:cognitive diagnosis;cognitive and response model;evaluation;mooc;compensation mechanismFoundation Item(s):National Key R&D Program of China(No.2019YFE0105300);Special Research Project on Digital Curriculum Resources of China Association of Higher Education(No.21SZYB15)收稿日期：2021-11-24；修回日期：2022-06-27；责任编辑：李勇锋第 1 期王炼红:面向慕课学习者评估的认知反应模型1引言学习者习题表现预测旨在根据学习者的历史习题作答记录预测学生未来习题的表现.近年来，随着教育信息化的迅猛发展，涌现了MOOCs等一系列在线教学平台，在线教学平台可为学习者定制个性化学习方案1，实现以学习者为中心的个性化学习.其中，学生的习题表现预测是个性化学习方案定制的基本任务，成为教育数据挖掘领域的研究热点.认知诊断模型使用数学模型描述学习者知识水平、试题特性与学习者的试题作答结果之间的交互关系.通过模型求解算法，可以在学习者的试题作答结果以及试题的部分特性已知的条件下，评估学习者的知识水平，根据评估结果预测习题作答表现，进而对学习者 展 开 个 性 化 教 育 资 源 推 荐，节 约 学 习 者 时 间成本24.现有的认知诊断模型种类繁多，根据模型特点基本可以分为三类：第一类是低阶认知诊断模型，主要有项目反应理论（Item Response Theory，IRT）5、确定输入噪 音 与 门 模 型（Deterministic Inputs，Noisy And gate model，DINA）6、融合模型（Fusion Model，FM）7、属性层级模型（Attribute Hierarchy Model，AHM）8等.该类模型仅对学习者的知识水平与试题作答结果之间的关系进行建模，存在以下问题：（1）将学生的认知过程简单建模为知识决定作答结果的二阶模型，忽视学生和习题本身的特征；（2）模型结构简单，参数空间庞大，容易出现过拟合现象，预测精度不高.第二类是高阶认知诊断模型914.为了使模型架构更符合学生的真实认知结构，高阶模型认为学习者不同知识点水平之间是相关的，各知识水平由学习者的高阶能力特征所主导.高阶 DINA 模型（Higher-Order DINA model，HO-DINA）12、高阶 IRT 模型14是其典型代表，都是采用一维高阶能力特征.高阶DINA模型假设学生的知识掌握程度为二元变量，缺乏细粒度的量化过程；高阶IRT模型将学生能力到知识水平、知识水平到作答结果的过程均建模为逻辑斯蒂函数，缺乏对个性特征的挖掘.为了解决高阶DINA模型中知识水平存在缺乏细粒度划分的问题，Qi Liu13基于模糊集理论构建了模糊认知诊断框架（Fuzzy Cognitive Diagnosis Framework，FuzzyCDF），通过模糊化知识水平来建模知识掌握过程.李忧喜9认为知识点在题库中的重要性影响了学习者的知识掌握过程，在FuzzyCDF基础上，构建了R-FuzzyCDF.R-FuzzyCDF将知识点重要性参数定义为知识点出现频次，针对单个试题而言不具备辨别性.教育心理学研究表明：同一知识点对作答不同试题的重要性也可能是不同的.第三类是结合神经网络的认知诊断模型15，16，这类模型使用神经网络来模拟学习者的认知结构，并对神经网络中的训练参数进行约束、赋予实际意义.通常情况下，这类模型需要大规模的数据进行训练才能取得较好的预测效果，并且由于神经网络的“黑箱”特性，容易出现过拟合.针对上述模型中的不足，本文提出了一种面向慕课数据等中小规模数据集的高阶认知诊断模型认知反应模型（Cognitive and Response Model，C&RM）.C&RM的改进创新之处在于：（1）将一维高阶能力特征扩展为相互独立的能力特征与努力特征，并设置了两者之间的联合补偿机制，基于此机制对学习者的知识掌握过程建模；（2）考虑学习者的知识点水平与知识点对作答试题影响的重要性差异，引入知识点弱项特征参数建模学习者试题作答过程，进一步提高模型的解释性与预测精度.2相关工作2.1低阶认知诊断模型2.1.1IRTIRT模型表示为P(rij=1|i,aj,dj,cj)=cj+1-cj1+exp(-Daj(i-dj)（1）式（1）中，rij表示学习者i对试题j的作答结果，rij=0表示作答错误，rij=1表示作答正确.P(rij=1)表示学习者i正确作答试题j的概率.i表示学习者i的知识水平.aj为试题j的区分度参数，表示试题区分不同知识水平的学生的能力，dj为试题j的难度参数，cj为试题j的猜测度参数，表示学习者通过猜测行为答对试题的概率.D为尺度常数，通常取1.7.IRT模型对学习知识水平的表征是单维的，代表整体的知识水平.2.1.2DINA模型DINA模型表示为P(rij=1|ij,sj,gj)=(1-sj)ijgj(1-ij)（2）ij=k=1Ki kqjk（3）式（2）中，ij表示学习者i是否掌握试题j.sj，gj分别为试题j的粗心参数与猜测参数.sj表示学习者i在掌握试题j的情况下，因粗心导致错误作答的概率，gj表示学习者i在未掌握试题j的情况下，通过猜测行为正确作答的概率.式（3）中，qjk表示试题j是否考察知识点k.并且，ij、i k、qjk取值为0或1的二元类型，即只有掌握和未掌握，或考察和未考察两种状态.1