认知诊断模型Q矩阵修正：完整信息矩阵的作用_刘彦楼.pdf

心理学报 2023,Vol.55,No.1,142-158 2023中国心理学会 Acta Psychologica Sinica https:/doi.org/10.3724/SP.J.1041.2023.00142 收稿日期:2022-03-09*国家自然科学基金青年项目(31900794)、山东省自然科学基金项目(ZR2019BC084)资助。吴琼琼为共同第一作者。通信作者:刘彦楼,E-mail: 142 认知诊断模型Q矩阵修正：完整信息矩阵的作用*刘彦楼1 吴琼琼2(1曲阜师范大学教育大数据研究院;2曲阜师范大学心理学院,山东 济宁 273165)摘 要 Q矩阵是CDM的核心元素之一,反映了测验的内部结构和内容设计,通常由领域专家根据经验进行主观界定,因此需要对可能存在的错误进行修正。本研究提出了一种新的 Q 矩阵修正方法基于完整经验交叉相乘信息矩阵的 Wald-XPD 方法。采用 Monte Carlo 模拟检验了新方法的表现,并与同类方法进行了比较。研究表明：新开发的 Wald-XPD 方法在 Q 矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这 3 个主要指标上均有较好的表现,且整体上优于其他方法,尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD 方法在 Q 矩阵修正中的良好表现。总之,本研究为 Q 矩阵修正提供了有效的方法。关键词 认知诊断模型,Q 矩阵,XPD 矩阵,Wald 检验 分类号 B841 1 引言 经典心理测量理论及项目反应理论采用单一的测验分数来描述被试在某个阶段的学习效果。作为新一代心理测量理论,认知诊断(cognitive diagnosis)的主要目的是提供关于被试的多维、细粒度潜在特质(如知识、认识过程、技能、策略、人格特质或心理障碍等,统称为属性)的诊断性评价信息,认知诊断模型(cognitive diagnostic model,CDM)是研究者为了实现以上主要目的而提出的一类离散潜变量模型(Rupp et al.,2010)。目前,CDM已广泛应用于心理、教育、精神病理学等领域(Sorrel et al.,2016)。Q矩阵是CDM的核心元素之一,定义了测验所测属性与项目之间的对应关系(Tatsuoka,1990),它不仅决定着测验的内部结构,也关系到认知诊断结果的准确性。正确设定的Q矩阵是获得准确的模型参数估计和被试分类的关键因素(Njera et al.,2020),错误设定的Q矩阵会产生很多不良的影响,如降低模型参数估计准确性、导致较差的模型数据拟合、导致错误的属性估计和被试分类等(Chiu,2013;de la Torre,2009;Rupp&Templin,2008)。CDM中获取Q矩阵的方法主要是由领域专家根据经验构建(Sorrel et al.,2016),但这种方法包含一定的主观性。实践中,原始Q矩阵有较大可能包含一些错误设定(Rupp&Templin,2008),如何修正原始Q矩阵中可能存在的错误是研究者面临的重要理论与现实问题。为了获得正确设定的Q矩阵,国内外研究者提出了多种修正方法(李佳 等,2021)。根据是否采用参数化的CDM描述Q矩阵与观察作答数据之间的关系,可以将Q矩阵修正方法分为两类：参数化和非参数化的修正方法,前者需要参数化CDM的参与,后者不需要。例如,欧氏距离法(Chiu,2013)、海明距离(汪大勋,高旭亮,韩雨婷 等,2018)、交差方法(intersection and difference;Wang et al.,2018)第1期 刘彦楼 等:认知诊断模型Q矩阵修正：完整信息矩阵的作用 143 等属于非参数化的修正方法。一般而言,非参数化方法比较的是理想反应与观察作答反应之间的拟合,从而达到修正Q矩阵的目的。在非参数化方法中,理想反应大多都是在限制条件较为严格的情景下获得的,例如,限定所有项目只适用于某个或某几个特殊的(亦称,简化的)CDM。换言之,非参数化的Q矩阵修正方法具有样本量要求小、易实现等优点,但严格的前提条件限制了这些方法的拓展性及实用性。参数化Q矩阵修正方法是在参数化模型框架下,使用各种统计量估计出最能拟合观察数据的Q矩阵。在特殊的CDM框架下,如DINA、DINO、R-RUM等(de la Torre,2011),研究者开发的参数化修正方法主要有：法(de la Torre,2008)、法(涂冬波 等,2012)、S统计量方法(Liu et al.,2012)、迭代修正序列搜索(iterative modified sequential search;Terzi&de la Torre,2018)、RMSEA统计量(Kang et al.,2019)、加权残差R法(Yu&Cheng,2020)、最优反应分布纯度方法(李佳 等,2022)等。在饱和CDM框架下(如,G-DINA,generalized deterministic input noisy output“and”gate;de la Torre,2011)的参数化Q矩阵修正方法主要包括：GDI(G-DINA discrimination index)方法(de la Torre&Chiu,2016)、残差方法(Chen,2017)、iJSD(iterative Jensen-Shannon divergence)方法以及iGDI(iterative GDI)方法(Terzi,2017)、TLP(truncated L1 penalty function)方法(Xu&Shang,2018)、相对拟合统计量方法(汪大勋 等,2020)、Ma和de la Torre(2020)提出的GDI和基于不完整信息矩阵(incomplete information matrix)的Wald检验相结合的Stepwise方法(为了便于理解且与本文中提出的新方法加以区分,将Stepwise方法称为Wald-IC方法)、以及Hull方法(Njera et al.,2021)等。尽管一些参数化的修正方法可能存在运算量大、速度慢的不足之处,但是,这类修正方法尤其是在饱和的CDM框架下开发的方法的优点在于灵活性高、不需要非参数化方法那样严格的前提假设。因为饱和模型包含多类特殊模型作为特例,且在Q矩阵没有错误设定或存在少量错误时,可以较为容易地通过模型比较的方法获得恰当的特殊模型。在饱和CDM框架下开发的以上8种参数化Q矩阵修正方法中,残差方法对于属性过度设定不敏感且在测验长度较短时统计检验力可能会偏低;当样本量较小时,TLP方法会高估错误设定项目的数量且用于减少错误报告率的重抽样校正方法(bootstrap bagging method)的耗时可能会特别长;模拟研究表明iGDI的表现与iJSD的表现相当、甚至在一些条件下优于iJSD(Terzi,2017);相对拟合统计量方法需要比较测验的所有项目关于属性所有可能组合的相对拟合值,尽管研究者提出一些减少计算次数的方法,但是在测验长度较长或属性数量较多的情况下,计算耗时仍有可能特别长。GDI在饱和CDM框架下采用单个项目所有可能的属性掌握模式中正确答对概率的方差来衡量Q矩阵中相对应的q向量的区分能力,选择有最大区分能力的q向量作为正确设定的q向量。相对于GDI而言,iGDI的估计效果有了一定程度的改善,但是这类方法的主要缺点是需要人为地确定一个截止值(Njera et al.,2019)。以GDI研究为基础,Ma和de la Torre(2020)将Q矩阵修正的视角延伸到多级计分模型,在seq-GDINA模型(the sequential GDINA model;Ma&de la Torre,2016)下提出了GDI和基于不完整信息矩阵的Wald检验相结合的Wald-IC方法。Wald-IC方法首先采用GDI方法从单一属性的q向量中确定第一个所需属性,再逐步多次采用Wald统计量决定是否增加或删除属性来选择恰当的q向量。即,在单个项目上Wald-IC仅需执行K 1个统计检验即可完成。Hull方法试图在模型拟合与简约之间找到一种平衡以此选择恰当的q向量,研究者(Njera et al.,2021)通过模拟研究比较了GDI、Wald-IC以及Hull方法,结果表明在大多数条件下Hull的表现最好、Wald-IC的表现稍逊于Hull。但是,Hull和Wald-IC在修正错误标定的属性方面的表现较差,尤其是Q矩阵中存在较多错误设定时。研究者(Ma&de la Torre,2020;Njera et al.,2021)构建的Wald-IC统计量是使用不完整信息矩阵计算的。先前研究表明,采用不完整信息矩阵构建的统计量在后续研究中会导致一些问题,如低估模型参数标准误(Philipp et al.,2018)、用于项目功能差异检验及项目水平模型比较时导致一类错误控制率膨胀(Liu,Andersson,et al.,2019;Liu,Yin,et al.,2019;刘彦楼 等,2016)等。基于此,本研究认为Wald-IC方法在修正错误标定属性方面表现较差的主要原因可能是在Wald统计量的计算中采用了不完整的信息矩阵。研究者(Liu et al.,2016;Liu,Xin,et al.,2019;Liu et al.,2021;Philipp et al.,2018;刘彦楼 等,2016)认为CDM中同时存在两种类型的模型参数：项目参数和结构参数。不完整信息矩阵(de la Torre,144 心 理 学 报 第55卷 2009;2011)忽略了结构参数,计算量较小,有较大可能导致Q矩阵修正结果不够准确。以往研究者提出了多种完整信息矩阵估计方法(Liu,Xin,et al.,2019;Liu et al.,2021;Philipp et al.,2018;刘彦楼 等,2016),但是这些关于模型参数的信息矩阵无法直接用于Q矩阵修正中Wald统计量的计算,因为此类Wald统计量中使用的是关于模型参数的方差协方差矩阵。此外,与其他完整信息矩阵相比,经验交叉相乘信息矩阵(empirical cross-product information matrix,XPD;Liu et al.,2021;Philipp et al.,2018;刘彦楼 等,2016)计算量较小,故本研究在包含全部模型参数的XPD矩阵的基础上,经过转换获得关于项目正确作答概率的方差协方差矩阵,以此构建用于Q矩阵修正的Wald统计量(记为Wald-XPD)。本文的主要目的在于提出一种新的Q矩阵修正方法,并通过模拟研究与实证数据分析考察新方法的表现。模拟研究参考了以往研究者研究中采用的模拟条件(de la Torre&Chiu,2016;Ma&de la Torre,2020;Njera et al.,2021),考察新开发的方法在Q矩阵修正中的表现,并与同类方法进行比较,希望能够为实践研究者在Q矩阵修正方法的选用方面提供方法支持。本研究选择GDI、Hull、Wald-IC方法与Wald-XPD方法进行比较的原因是：首先,Wald-XPD是在Wald-IC方法基础上提出的,新方法与旧方法表现的异同有待探索;其次,先前研究表明在GDI、Hull、Wald-IC三种方法中,Hull的表现是最好的,故有必要比较Hull与Wald-XPD两种方法的表现;第三,限制GDI及iGDI方法实践应用的主要原因是这两种方法均需要人为地设置一个截止值,与iGDI相比,固定的截止值对GDI方法的影响相对较小(Njera et al.,2020),因此本研究将GDI也纳入比较。本文的第二部分介绍了以往研究者在饱和的CDM框架下提出的参数化Q矩阵修正方法。第三部分介绍了新开发的Wald-XPD方法。第四部分采用模拟研究,在较广泛和真实的条件下探索Wald-XPD方法的具体表现,并与GDI、Hull以及Wald-IC方法进行比较。第五部分探讨Wald-XPD方法在实证数据分析