变长非参数认知诊断自适应测验终止规则_李俊杰.pdf

收稿日期：基金项目：教育部人文社会科学青年基金（）资助项目通信作者：康春花（），女，江西弋阳人，副教授，博士，主要从事心理测量与评价研究：李俊杰，郑慧婧，康春花 变长非参数认知诊断自适应测验终止规则 江西师范大学学报（自然科学版），（）：，（），（）：文章编号：（）变长非参数认知诊断自适应测验终止规则李俊杰，郑慧婧，康春花（北京师范大学中国基础教育质量监测协同创新中心，北京；浙江师范大学心理学院，浙江 金华）摘要：该文借鉴传统变长参数 的终止规则，结合 方法的指标提出 种非参数变长 的终止规则：最大距离比例终止规则（）和距离比例双重标准终止规则（）模拟研究发现：）种非参数终止规则 和 适用于 计分和混合计分情境下的非参数 测验；）当研究目的在于获得更加准确分类结果时，可在 规则下的增大 值，或者在 规则下增大 值和减小 值；反之，可以减小 值或者增大 值；）当测验终止的条件愈发严格时，即当和 不断接近 或者 和 不断接近 时，采用 或 作为测验终止规则的测验结果和采用后验概率作为终止规则的测验结果逐渐接近关键词：变长；非参数；终止规则中图分类号：文献标志码：引言认知诊断计算机化自适应测验（，）结合了认知诊断理论和 的双重优势，相比传统的测验形式，它可以更精确、更迅速、更灵活地测量出被试的潜在知识状态（，），从而获得被试在知识点上的掌握情况，为教育教学工作者提供有针对性的指导，促进学生的个性化发展 近年来，国内外越来越多的研究者关注 这一领域在对 的众多分类中，依据 使用的诊断方法可将 分为参数 和非参数 参数 的诊断方法常用极大似然估计法（，）、极大后验估计法（，）和期望后验估计法（，）这 种方法都是在项目参数已知的条件下通过概率计算来估计被试的知识状态（，）或属性掌握模式；而非参数 是采用更加简单的有效距离判别法来估计被试的知识状态，在估计过程中不需要进行概率计算，进而也不需要知晓项目参数，所依据的是理想反应和观察反应之间的距离最小的原则，即与观察反应之间距离最小的理想反应所对应的属性掌握模式视为考生的知识状态 参数 和非参数 的结构均包含 个部分：题库、初始项目选择方法、知识状态或能力值的估计、选题策略和终止规则 目前参数 已在选题策略、属性在线标定和终止规则等方面展开了相关的研究 相比于参数，非参数 发展较晚，截至目前，非参数 的研究主要集中在选题策略方面 而大部分围绕选题策略的非参数 研究均是以定长（）的形式作为终止规则，即固定每次测验的长度，在被试完成测验后，根据被试的作答反应估计其知识状态 定长 虽然固定了测验长度，施测较为方便，但对不同的被试会有不同的测量精度一个更加合理的做法是，应该使 形式的测验对每个被试的测量精度相同，这也正是自适应测验优势的体现 与定长 相对应的终止规则第 卷 第 期 江西师范大学学报（自然科学版）年 月 （）为变长（），变长 能够使每个被试具有相同测量精度并由此终止测验 相对于定长，变长 更能体现出自适应的特点和优势，因此，开展这方面的研究非常有意义 总体来讲，传统 测验终止规则可以归纳成 类：）达到预设测验信息量终止规则，即不断施测项目直到测量标准误差落在可接受范围内，或测验信息量达到某个预先设定的指标；）最小信息量终止规则，即在剩余题库中所有项目的项目信息量都低于某个预设水平 在参数 中，等在 以最大后验概率作为测验终止条件的基础上提出了变长 的终止规则（本文将其称为 法）其研究结果表明：当固定属性掌握模式在后验概率分布中的最大后验概率预设水平时，被试的模式判准率会随着第 大后验概率预设水平的降低而增大；当固定知识状态后验分布的第 大后验概率预设水平时，被试的模式判准率会随着最大后验概率预设水平的升高而增大 参数 的变长测验终止规则的提出极大推动了变长参数 发展 正如前文所述，等对变长 的终止规则是建立在后验概率的基础上的，而在非参数 情境中，通常在题库建设过程中标定题目的项目参数，此时 法或 法将无法适用于非参数 情境 那么，在非参数 的体系内有没有类似参数后验概率的指标可用于衡量某个属性掌握是被试真实知识状态的可能性呢？文献率先尝试使用距离加权（）结合理想反应的方式构建了距离加权理想作答选题方法（），并阐述了在测验中随着测验长度的增加，更高可能性是被试的属性掌握模式的 值越大，更低可能性是被试的属性掌握模式的 值越小因此，本文首先借鉴变长参数 的终止规则，随后结合在文献提出的 方法中距离加权（）的指标开发 种非参数变长 的终止规则：最大距离比例终止规则和距离比例双重标准终止规则 认知诊断模型 模型该模型因为仅涉及失误和猜测 个参数，所以真正实现了对认知诊断模型的简化 其表达式为（）（）（），其中 是一个二分变量，它表示被试 是否掌握了第 题所考查的全部属性，表示第 题的猜测参数（），其是未掌握该题所测全部属性的被试答对这道题的概率，表示第 题的失误参数（），其是掌握了该题所测全部属性的被试答错这道题的概率 模型缩减的再参数化统一模型（，）是另一种常用的认知诊断模型 模型的表达式为（）（），这里的难度参数 是掌握了第 题所考查的全部属性的被试答对这个题目的概率 较大的题目说明它所考到的属性能有效地解释被试对该题的反应 区分度参数 是被试未掌握 却答对了第 题的概率与掌握了 并答对该题的概率之比 在一道题中，某个属性的区分度参数越小说明该属性在该题目中越重要 简介模型是在涂冬波等提出的 模型上拓展而来的，的项目反应函数为（），其中 是被试 在项目 上的理想得分，是项目 的满分值，（）是对被试的理想得分进行取整，其他，（）（），（）（）（），其中（）表示被试在题目 上得 分及 分以上的概率，的取值范围为 （项目 的满分值），（）为属性掌握模式 的被试得 分的概率选题方法 最优准则 等提出的 最优准则的依据为：当考察在领域中的所有属性（设共有 个）时一个测试所需的题量至少为，即给出了使用最小测江西师范大学学报（自然科学版）年试长度 是识别所有属性掌握模式的充要条件 特别是为了达到最小测试长度，在测试中的第 项应当只考察 个属性，随后的题目依次添加 个新属性 应用 最优准则选择 前 个题目的具体过程如下：）初始化题库（）；）为被试 从（）中随机选题，使得题目 的向量 通过删除题目来更新（），即（）（）；）被试作答题目，并记录反应向量；）当 时，从题库（）中选取题目，使得 （）是独立的伯努利变量，设定正确回答的概率为 ，随后删除题目 来更新（），即（）（）；）对被试施测题目，通过（）（，（）更新反应向量；）令 ，重复步骤）步骤）直至 非参数选题策略（）等提出了适用于 的非参数选题方法（方法）首先根据 最优准则选择前个题目；）记为被试最有可能的属性掌握模式，?为被试第 可能的属性掌握模式，随后从剩余题库中选择能够使得?的题目给被试作答；）重复步骤）直到测验终止 距离加权理想作答选题（）文献 基于理想作答反应构建了非参 选题策略，其核心思想是：依据不同属性掌握模式在同一个题目上的理想反应存在差异来选择能够区分被试的估计属性掌握模式与其他属性掌握模式的题目 具体算法如下：（，）（，），（）（）（），其中为属性个数，（，）表示在第 题上的理想得分，（，），为被试已测试的题目，为被试 在第 题上的观察反应，（，）为属性掌握模式 在第 题上的理想反应 方法选题过程：）根据 选题策略，计算题库中剩余题目的值，并将在题库中的最大值对应的多个题目组成待选题库；）从待选题库中随机选取一题对被试进行施测；）重复）、）的步骤直至满足测验终止规则变长测验终止规则 法 提出了变长 的经验性准则，即当被试属于某种知识状态的后验概率超过设定的标准时，测验终止 法 等基于 的思想，进一步提出了双重标准的变长 终止规则，即当被试在某种知识状态下的最大后验概率 不低于某个预设水平（如），并且第 后验概率不高于某个预设水平（如 ）时，测验终止 最大距离比例终止规则（，）在方法中采用后验概率作为终止测验的精度指标，其原理是若某种属性掌握模式的后验概率越大则这种属性掌握模式就越可能是被试的真实知识状态 已有研究表明：与观察反应的距离越小的理想反应所对应的属性掌握模式越可能是被试真正的属性掌握模式 文献 采用距离权重的方式用于衡量每个属性掌握模式是被试真实知识状态的可能性，属性掌握模式 越大的更有可能是被试的真正属性掌握模式 不难看出，非参数的 同样能 够 作 为 终 止 测 验 的 精 度 指 标，同 时 受 启发，本文首先提出最大距离比例终止规则 最大距离比例 计算如下：，其中为潜在的属性掌握模式的种数，为在种潜在的属性掌握模式中 值最大所对应的属性掌握模式 可以看出，的 值占比越大，的值将会越大最大距离比重终止规则：当被试属于某种属性掌握模式的最大距离比例 超过设定的标准时，测验终止 距离比例双重标准终止规则（，）在文献 的基础上，等提出了采用双重标准的终止规则以进一步确保测量精度因此，本文在非参数视角下的最大距离比例 基础上进一步结合第 大距离比例，提出了距离比例双重标准法第 期李俊杰，等：变长非参数认知诊断自适应测验终止规则准则当最大距离比例不小于预定值（如）时，停止准则 当最大的非参数比例 不小于预定值（如 ），并且第 大距离比例 也不大于预定值（如 ）时，停止在准则 中考虑，这可以有效避免 个竞争的属性掌握模式 如假设 的预定值设置为 ，使用准则，当 达到 时，停止，此时可能仍然很高（如接近）若是这样，则会出现 个相互竞争的属性掌握模式，这 个属性掌握模式均有较高的可能性是被试的真实属性掌握模式 解决这个问题的一种方法是将 的预定值从 增加到 ，当 只有对测验结果非常有信心时，才会停止 有时候，这种程度的自信可能是不必要的 解决这个问题的另一种方法是将设定一个标准，如只有当不小于 且不大于 时，才能停止 尽管在理论上可以在第 种或其他 上设置另一种标准，但根据笔者的经验，考虑第 和第 大非参数比例就足够了在 计分情境下的非参数变长终止规则性能 研究目的通过模拟研究检验 和 在 计分情境中作为变长终止规则是否具有良好的性能 研究设计该研究采用 选题方法（、）测验终止规则（、）题库质量（、）属性掌握模式分布（均匀分布、多元正态分布）共 个条件生成数据进行模拟研究，其中选题方法为组内变量，其余变量为组间变量终止标准设置：在和中包含 个水平（和）；的 包含 个水平（、）在和法中同样包含 个水平（和），法包含 个水平（、），在计算 和时，采用生成参数真值计算在题库方面，研究参照 等的研究设计思路，项目库由 个项目组成，其中 项目遵守了 模型和其他 项目符合；高质量题库（）项目的猜测和滑动均服从均匀分布（，），低质量题库（）项目的猜测和滑动均服从均匀分布（，），混合质量库（）项目的猜测和滑动均服从均匀分布（，）在模拟研究中，以 的概率考察每个属性生成题目的 向量在模拟被试方面，模拟被试 人，分别服从 种属性掌握模式分布）被试的属性掌握模式由均匀分布（每个属性掌握模式的概率为）生成；）考生的知识状态服从协方差为 的多元正态（）分布 研究设定最大测验长度为 题，若被试施测 题后仍未达到测验终止的要求，则仍然终止测验评价指标采用属性掌握模式判准率：，其中 表示被试 的知识状态估计与真值之间一致性，若一致则 ，否则 ，为测验总人数为考生知识状态估计正确的比例，越大表明对被试整体知识状态的估计越精确此外还有平均测验长度（）和测验长度的标准差（）在 中采用 最优准则进行初始选题，整个研究用 语言自编所有程序进行模拟验证 研究结果表 和表 呈现了在均匀分布下 法、法、在 计分情境下的表现，由表 和表 可以发现 是当 的 时的特殊情况；法是当 法的 时的特殊情况 整体而言，和 在使用距离比例作为终止规则时的分类准确性比后验概率终止规则更高，但测验长度更长 可以发现距离比例终止规则与后验概率终止规则类似，测验终止条件越苛刻 和 的分类准确性越高，不同的是 和 分别受到的是 和 的影响 在 题库条件下，取值范围为 ，和 的属性分类准确性