结合先验信息的多属性诊断测验分类研究_叶子玉.pdf

第 卷 第 期 年 月江西师范大学学报（自然科学版）（）收稿日期：基金项目：教育部教育考试院“十四五”规划支撑专项课题（），江西省社会科学基金（，），南昌市教育大数据智能技术重点实验室课题（），江西省教育厅科技课题（，）和江西省教育科学“十四五”规划课题（，）资助项目通信作者：喻晓锋（），男，安徽太湖人，副教授，博士，主要从事心理统计与测量方面的研究：叶子玉，秦春影，杨建芹，等 结合先验信息的多属性诊断测验分类研究 江西师范大学学报（自然科学版），（）：，（），（）：文章编号：（）结合先验信息的多属性诊断测验分类研究叶子玉，秦春影，杨建芹，喻晓锋，付道轩（江西师范大学心理学院，江西 南昌；南昌师范学院数学与信息科学学院，江西 南昌；江西师范大学江西省心理与认知科学重点实验室，江西 南昌）摘要：在动态的学习过程中，随着学习的深入和知识属性的个数逐渐增加，学生的知识状态也会发生动态变化 在这样的应用场景下如何结合先验信息提高诊断测验的判准率具有较大的挑战 该文提出基于学生对已学习属性的掌握概率来预测包含新属性后的属性向量的先验信息 考虑 种实际的应用情境，并通过模拟和实证研究来评价该方法的表现 结果表明：在 种实际学习情境中，结合先验信息在多属性诊断测验中能起到提高判准率的作用，其中在基于个体先验信息时的表现更好 基于预测先验信息的方法也摆脱了在以往研究中不同学习阶段测验属性个数一致或数量的限制，使得分类精度有较大改进 实证数据分析进一步表明该方法具有较高的应用价值关键词：先验信息；诊断测验；多属性；纵向诊断测评中图分类号：文献标志码：引言认知诊断测评（，）是实现对学生内部心理加工成分和过程的形成性测量，是一种以提供学生认知加工诊断信息为目的而展开的测评 在通常情况下，学生在学习过程中对知识的掌握情况会随着时间动态变化，教师教授的知识点个数也会越来越多 在这个动态的过程中，对学生展开的诊断评估被称为纵向的认知诊断测评（），收集到的数据是纵向诊断数据，通过在教学过程中进行频繁且高效的评估，可以为学生提供及时、丰富的信息反馈，从而改善学习效果近几年，研究者对纵向 表现出了极大的兴趣，构 建 了 许 多 可 以 处 理 纵 向 诊 断 数 据 的 模型，这些研究将潜在转换分析（，）与常规的认知诊断模型（如、等）相结合 也有许多研究者构建了基于高阶潜在结构的纵向认知诊断模型 张颖等在重复测量中对考生进行诊断评估的可行性进行探讨，利用 与在线个性化指导结合，将诊断结果与为学生量身定制的指导联系起来 詹沛达等对纵向诊断模型做了详细的介绍，并通过模拟研究展示纵向诊断评估的分析过程及结果的解读横断 更侧重于对单个时间点（阶段）的评估，而纵向 具有学习评估不断循环的特征在纵向 中单次测验的测验长度较短、涉及到的属性个数较少，而多次测验涉及到的总属性个数相对较多 那么如何在较短的测试长度中不断更新学生的属性掌握模式（又称知识状态，）并保持较高的判准率是一个较大的挑战对于在多属性情况下的，许多研究者提出了不同的策略来解决多属性所带来的诊断数据分析等问题 当属性个数较多且允许 数超过考生人数时，等提出了一种基于惩罚性似然法从所有的潜在类中选择一些必要的，理论上该方法允许潜在类数量为无穷大；提出一种手风琴程序（，）来解决多属性情况下的 参数估计问题；等结合先验信息，考虑了在应用于 多属性情况下的序列吉布斯抽样法，该方法在多属性情况下，可以有效地降低常规 算法的计算成本 这些方法的提出也为研究在多属性条件下的 提供了更多的思路，但是它们也存在应用条件和约束较多的缺点，如需要较大的样本量、对专家的经验有依赖或属于运算密集型算法等，在一定程度上限制了它们的广泛使用基于已有的研究所存在的一些不足，本文考虑 种实际的应用场景，提出利用先验信息在多属性诊断测验中的分类算法，充分利用从每个学习阶段的测验中获得的学生信息，提高学生在下一阶段测验中的分类判准率 从而实现在较短的测验中，更新学生在不同学习阶段的，并维持较高的分类判准率 多属性诊断测验的考生分类为了方便介绍，下面对本文使用到的符号进行列表说明，见表 表 符号含义汇总表符号含义学生编号作为下标时表示项目，作为上标时表示项目，（）用带括号的上标表示学习阶段 在阶段 中的属性个数（，）在阶段 中拥有的可能的 总属性个数总属性下的 个数总属性下的（长度为）学生 在项目 上的得分（，）学生 作答 个项目的作答向量（）学生 在阶段 的作答向量 ，属性子集，又称为域 相关概念属性掌握概率，它描述了考生对属性的掌握程度 考生在测验属性上的掌握概率构成了属性掌握概率向量 如某学生的属性掌握概率向量为（，），表示该学生在这 个属性中的掌握概率分别为 、和 知识状态，它是一个由 和 组成的二值向量，其中向量中的 表示学生掌握了该位置对应属性，表示未掌握该属性 知识状态是通过属性掌握概率转换得到的，一般采用 作为截止点，上文提到的学生的知识状态为（，）基于多属性诊断测验的考生分类从理论上讲，可以估计的属性数量是不受限制的 但在实践中，过多的属性在对数据进行分析时计算资源的要求非常高，因此导致无法完成数据分析的工作，而且也可能导致识别性问题或不合理的参数估计问题 在这种情况下对考生进行准确的分类也会越困难，因为允许的 数量会随着属性的数量增加呈指数级增长 通常纵向的 存在总属性个数较多的情况，因此在多属性条件下对考生进行分类研究也是近期众多学者关注的问题，但是仍然存在一些亟待解决的问题，如调节参数的设定、依赖专家信息和属性个数的限制等 等基于结构化的潜在属性模型（，），在似然函数上添加惩罚实现多属性诊断测验的分类问题，从结果来看，该方法的表现受调节参数的影响较大 提出一种适用于在 中出现的属性个数比较多的情况，通过将属性进行部分“折叠”和“扩展”来解决多属性数据下的参数估计和分类问题 在这个方法里，属性子集的选择需要人为界定，在实际测评中使用会受到一定的限制当教学内容需要进行多次重复学习和测试（如教学内容相对于学习者来说比较难）时，即在不同学习阶段学习和测试的属性集合相同，此时可以使用前一阶段所得的后验信息作为后一阶段的先验信息 即当阶段 与阶段 测量的属性完全一致时，可以使用阶段 的后验信息作为阶段 的先验信息 在现实应用中，更常见的情形是阶段 与阶段 测量的属性个数不一致，此时不能直接利用阶段 的后验信息作为阶段 的先验信息，因为这 个阶段的“长度”不一致 在这种情况下，基于所有阶段考察的总属性来计算后验概率，这样一来，每个阶段考虑的 的“长度”就江西师范大学学报（自然科学版）年相同的，但是它存在的问题是总属性个数不能太多基于 利用先验信息的多属性诊断测验分类 是受到广泛欢迎的诊断模型之一，具有非常好的测量特性，比如它考虑了部分掌握项目考察的属性对于题目正确作答的影响，相对于 模型能更深入细致探讨被试问题解决的加工过程；同时有研究表明该模型有较好的测量性能，被很多研究者所推崇；相对于 模型，它的参数更少，比如考察 个属性的题目，在 模型下这个题目只有 个参数，而在 模型下该题目有 个参数，在多属性 中简洁的参数有利于提高参数估计的效率 因此，本文基于 模型来考虑利用先验信息的多属性诊断测验分类 诊断模型 在 模型中，属性掌握模式为 的被试正确作答第 题的概率为（，）（），（）其中 （），为基线参数，也叫难度参数，即掌握项目 所有考察属性的被试 作答正确该项目的概率 越小，表示项目 越难；（）（）表示未掌握属性 与掌握属性 答对项目 的概率之比，其值越小，说明掌握属性 对答对该题的重要性越大，它也被称为项目 中属性 的区分度参数 属性掌握模式的更新按照常规的横断 的方式对纵向 进行处理是不可行的，因为将所有的属性及对应的题目合在一起进行分析，一方面题目太多且是在不同学习阶段中完成的，考生的 在这个过程中也发生了变化；另一方面属性个数多需要更多的计算资源（如计算机内存等）为探究在纵向 中面临的不同阶段属性集变化、总属性个数多的问题，本文基于，在 种可能的应用情境下分别提出考生 的更新方法 情境：相同属性、多次学习和测量的后验概率更新在动态的教学过程中会有许多的学习阶段 当阶段 测量的属性集合与阶段 完全一致时，可直接将在阶段 中获得的后验概率密度作为在阶段 中的先验信息，首先计算考生 在阶段 中作答 个项目后的后验概率（）（）（）（）（），（）其中（）为先验信息，是学生 对 个项目的反应向量 在初始阶段时，如果没有考生的先验信息，将 按均匀分布处理，即（）当 与 这 个学习阶段测试的属性集合相同时，便可直接将式（）所得的（）作为 阶段的先验信息，即（），这种情况对应的学习内容相对较难且重要，需要多次对同一内容进行教学和测量 情境：不同属性、多次学习和测量、基于预测先验的后验概率更新与上一种情况不同，这里考虑的是 与 的长度不同的情形 为了应对这种情况，考虑基于阶段 获得的后验密度来预测阶段 的先验信息，即利用考生在阶段 的属性掌握概率来预测其在包含新属性的阶段 中 的先验信息 首先，可以通过计算考生在阶段 的属性掌握概率（）（），（）其中（）为阶段 考生 掌握属性 的概率，未掌握概率则为 （）（）为在作答了 个项目后，考生 属于第 种属性掌握模式的后验概率，表示在阶段 中第 种属性掌握模式下属性 的取值，可以为 或 通过式（）可获得考生 在阶段 测量的 个属性上的掌握与未掌握概率 进一步可通过计算在阶段 与阶段 中考察过的相同属性的掌握概率同时发生的概率均值，来预测考生在阶段 中加入新属性后 的先验信息（）（）（）（）下面以 个具体的例子进行说明 假设学生 在 阶段中共学习了 个属性（，），在阶段 中不仅复习了前 个旧属性，还学习了 个新的属性（）如表 所示，就可以通过 阶段已考察过的 个属性所获得的属性掌握概率来预测学生 在阶段 中的先验信息 此时，预测阶段 先验信息的计算方式如表 所示第 期叶子玉，等：结合先验信息的多属性诊断测验分类研究表 学生 在 阶段中的属性掌握概率属性掌握概率未掌握概率 表 学生 在 阶段中预测先验概率计算预测先验概率（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）从上面的计算过程可以看出，这里计算预测先验概率的实质是一种基于已知信息来预测考生在所有考察属性上的掌握情况的方法，这一点和常规的基于贝叶斯的估计思想相同，这里采用增强先验信息来提高估计的准确性在更新考生 在学习过程中的变化时，通过考生对每个属性的掌握概率能直接地反映其在当前学习阶段的能力值大小 因此，利用考生在先前阶段中的属性掌握概率预测考生在下一阶段中的先验信息不仅可以充分利用获得的所有考生信息，从而缩短测验长度，减轻学生负担，还能为下一阶段估计考生 的分类精度做贡献 参数估计方法与评价指标下面介绍 种常见的属性掌握模式估计方法：极大后验估计和期望后验估计 等的研究表明在 模型下它们的表现非常接近，但不知道它们在 模型下是否仍然有相同的性质，因此，这是笔者同时考虑这 种估计方法的原因 极大后验估计极大后验估计（，）的计算方法为（）（）（）期望后验估计（，）的计算步骤，只有最后一步与 不同 它的最后一步不是选出具有最大后验概率的，而是将所有可能的 与其对应的概率相乘后求期望值：（）（）；（）然后对在这个向量中的每个元素进行“四舍五入”式取整，由此将各元素都转化为二分取值 转化后的向量就是该考生 的估计值 评价指标考生分类的评价指标采用属性边际判准率（，）和模式判准率（，），它们的计算方法分别为 （，）（），（）（，），（）其中 为学生总人数；表示测验对单个属性的平均估计准确概率；表示学生的真实属性掌握模式；为真实掌握模式的估计值；为示性函数，当学生的属性估计值或属性掌握模式的估计值与真实属性 或真实掌握模式 完全相等时，示性函数 为，否则为；为在所有学生中 被正确估计的学生比例，即每个学生的 正确估计的概率 模拟研究为验证使用不同类型的先验信息对于分类判准率的影响，考虑了 种先验信息，分别是个体先验（）和群体先验（