认知诊断在英语测评中的可视化分析_罗娟.pdf

长沙航空职业技术学院学报JOURNAL OF CHANGSHA AERONAUTICAL VOCATIONAL AND TECHNICAL COLLEGE第 23 卷第 1 期2023 年 3 月Vol.23 No.1Mar.2023-87-DOI:10.13829/ki.issn.1671-9654.2023.01.021认知诊断在英语测评中的可视化分析罗娟，刘晓媛（长沙理工大学外国语学院，湖南长沙410004）摘要：以 Web of Science 核心合集数据库及 Semantic Scholar 数据库为数据源，运用 CiteSpace 可视化分析工具，从研究历时性、国家和机构合作、关键词三个方面对国外认知诊断在英语测评中的应用研究进行综合分析。分析发现，国外认知诊断研究在理论与实证方面蓬勃发展，侧重于英语阅读能力诊断研究；因听力过程的复杂性和特殊性，听力能力诊断研究尚处起步阶段。未来认知诊断研究需从加强听力能力诊断、开发诊断性测试、甄选诊断模型、开展课堂评估方面深入挖掘。另外，基于认知诊断的计算机化自适应诊断也正在发展，对进一步学习和研究认知诊断具有重要意义。关键词：认知诊断；英语测评；可视化分析中图分类号：H319.3文献标识码：A文章编号：1671-9654(2023)01-0087-06Visual Analysis of Cognitive Diagnosis in English AssessmentLUO Juan,LIU Xiao-yuan(School of Foreign Languages,Changsha University of Science and Technology,Changsha Hunan 410004)Abstract:This paper presents a visual analysis of cognitive diagnosis research in English assessment with the tool of CiteSpace.The research data were retrieved from the core collection of Web of Science and Semantic Scholar.In the paper,the diachronic research development,cooperation between countries and institutions,and research keywords were visualized and the following findings could be made:The research on cognitive diagnosis abroad has been developed rapidly both in theoretical and empirical field,especially focusing on the diagnosis of English reading ability.While the research on the diagnosis of listening ability is still in the infancy,in the future,cognitive diagnosis research needs to be further explored in terms of strengthening the diagnosis of listening ability,developing diagnostic tests,selecting diagnostic models and conducting classroom assessment.Besides,the computerized adaptive testing based on cognitive diagnosis is in progress,which has important significance for further study and research on cognitive diagnosis.Key words:cognitive diagnosis;English assessment;visual analysis收稿日期：2022-07-25基金项目：本文为湖南省教育厅科学研究重点项目“基于量表的大学生阅读理解能力研究：测评、诊断与提升策略”（编号：19A016）、湖南省普通高等学校教学改革研究项目“一流专业背景下 ESP 听力课程测评教一体化改革研究”（编号：HNJG-2022-0607）阶段性研究成果。作者简介：罗娟（1978），女，湖北鄂州人，副教授，文学博士，研究方向为语言测试、语言教学。传统的测验理论（CTT 和 IRT）关注宏观上的测验分数，忽略了被试内部不同的心理加工过程、策略以及技能（或属性）等微观信息，无法对相同成绩的被试的潜在差异作出合理的解释与分析。认知诊断（Cognitive Diagnosis）是近几年来语言测试领域新兴的测试理论，它以认知心理学和心理测量学为理论基础，强调深入考查被试内部的心理加工过程，为教师和-88-长沙航空职业技术学院学报第 23 卷学生提供详细的诊断报告，以其自身优势在英语测评中受到越来越多的关注。本文以认知诊断在英语测评中的应用研究为分析对象，采用CiteSpace 软件进行描述统计和数据分析，绘制认知诊断在英语测评中的可视化知识图谱，把握研究热点以及研究发展趋势，为该领域的未来研究提供指向性信息。一、分析工具与文献来源（一）分析工具CiteSpace 是一款由美国德雷塞尔大学陈超美教授开发的信息可视化软件，该软件通过对文献的计量分析，挖掘出学术研究的规律以及发展情况，并以可视化方式呈现。（二）文献来源本文以 Web of Science 核心合集数据库及Semantic Scholar 数据库为数据基础，采用主题词搜索方法。搜索主题是“cognitive diagnosis”或“cognitive diagnosis theory”或“cognitive diagnostic assess”，时间段设置为 19852020 年，检索主题共获取文献 336 篇，并根据论文题目和摘要进一步对检索结果进行筛选，在 Web of Science 核心合集数据库得到与研究主题相关的文献共 212 篇，在Semantic Scholar数据库获取相关文献共28篇（已去重）。最后，将共获得的 240 篇代表性文献作为数据源。二、可视化分析（一）历时性分析1997 年以来，国外认知诊断领域的文献数量虽有波动，但整体上呈现上升趋势，经历了“起步迅猛增加缓慢发展”三个阶段。第一阶段（2011年前）是该研究的起步阶段，仅有论文8篇；第二阶段（20122017 年）发文量增长快速，总计达 110 篇。2013 年，自第 35 届国际语言测试大会后，广大学者将目光聚焦于该领域，该年发文量有明显突破，达到19篇。第三阶段（20182020年）发展平稳，发文量有了新突破，这说明认知诊断理论的应用和发展不断受到学者们的关注和重视。从发文期刊来看，大部分论文发表在心理学领域期刊（如图 1），其中 Applied Psychological Measurement 发 文 总 量 为 43 篇，占 总 量（240篇）的 18%。该期刊聚焦各个领域的最新测量方法论和实证研究，为未来的教育评估提供了科学的测量理论及方法。Frontiers in Psychology 是心理学领域影响力最大、最具权威的期刊，发文量达到 24 篇。少量文献散布于以语言测评类研究为主的刊物上，如 Language Testing（11 篇）和Language Assessment Quarterly（6篇）。由于心理学、统计学和语言测试等学科的共同参与，该研究已经形成了丰富的跨学科网络，有效拓宽了认知诊断的研究视野，从而促进其长远发展和创新。图 1 前十位高产期刊发文信息（二）国家和机构合作分析图 2 反映了不同国家和机构在认知诊断领域的文献贡献量及合作网络。节点越大，发文量越多，节点之间的连线表明国家和机构之间存在合作关系。由此可见，发文分布呈现以下特点：（1）认知诊断的主要研究阵地在美国、中国、伊朗、西班牙，且已经形成了以美国和中国为中心的合作群。从发文频次和中介中心性来看，美国走在世界前列（122 次；0.60）。中国的认知诊断研究起步晚，发文量位居第二，且与其他国家存在联系，这表明中国在认知诊断领域的研究蓬勃发展并具有一定影响力。其余国家发文量较少，未来各国之间应加强技术、知识等资源的交流与合作，共同促进认知诊断领域的新发展。（2）认知诊断研究多聚集在高校，美国的伊利诺伊大学、罗格斯大学和佐治亚大学以及中国的北京师范大学、江西师范大学等发文量均大于 10 篇，排名位于前列。其中，以伊利诺伊大学、罗格斯大学、香港大学为代表的研究机构，已形成较为稳定的研究合作群。其余高校虽也有发文量，但未形成合力以助推研究的深度发展。-89-罗娟，等：认知诊断在英语测评中的可视化分析第 1 期图 2 认知诊断领域国家和机构分布图（三）关键词分析研究热点是文章的重点和核心内容，体现在中心度及高频关键词。笔者对关键词提取并将关键词聚类，再将聚类分析结果（如图 3）进一步合并，最终总结出 5 类研究热点：q 矩阵、G-DINA模型、阅读能力诊断、诊断反馈和计算机化自适应诊断。以下对各个类别一一进行概括。（1）q 矩阵：确定测试项目的认知属性是认知诊断研究的起点，构建 q 矩阵是认知诊断研究的核心。一般来说，确定测试项目的认知属性主要有专家确定法、回顾文献法以及有声思维法。目前多数研究采用专家确定法决定认知属性，但没有对专家确认的属性进行验证，而 q 矩阵不规范会影响后续诊断的准确性，在一定程度上削弱诊断结果的解释力。孟亚茹1指出，学生的有声思维是 q 矩阵验证过程中不可缺少的环节，用来保证测试的准确性和有效性。目前，Li 等2采用文献回顾、有声思维以及专家确定三种方法构建了密歇根英语测试的 q 矩阵。Javidanmehr 等3采用同样方法确定了伊朗大学入学考试的 q 矩阵，它包括 5 个阅读认知属性。董艳云等的研究4表明，量化分析可以作为以上方法的补充，进一步保证 q 矩阵的有效性。为此，Chiu5提出了识别并修正 q 矩阵的非参数分类方法，随后又和 Torre合作，为矩阵的不规范验证提出了区别指数法6。（2）G-DINA 模型：由于语言能力中各个认知属性之间的关系，即互补或非互补，难以确认，于是具有饱和性的 G-DINA 模型成为实证研究中的常用模型，满足了大多数研究的要求3。Chen等7运用该模型于听力能力诊断，发现该模型较适合听力能力诊断，可以被广泛应用于具有交互性和层级性的能力测试。Effatpanah8针对雅思听力能力诊断的研究表明，G-DINA 模型在 6 个模型比较中表现最好。Javidanmehr 等3、罗娟9发现 G-DINA 也模型适合诊断阅读能力。（3）阅读能力诊断：认知诊断测评多聚焦于大规模考试的英语阅读理解10-13，目前已经取得了阶段性的成就，涉及阅读属性的确定14、计量模型的选择15-16以及模型的有效性验证17。Lee等16使用专家确定法分析了托福阅读理解的 4 个认知属性，分别是理解词意、理解具体信息、连接信息和综合信息；Kim18在研究成人考试时确立了 10 种属性，结果发现掌握句意衔接的知识最困难，同时总结和推理也是最难掌握的两种策略；Ravand19确认了伊朗大学入学考试的 5 种属性，表明推理和概括主旨最难。（4）诊断反馈：已有证据表明认知诊断评估可以提供有效的诊断性反馈，反馈是推动教学前进的钥匙。Liu 等20研究表明诊断反馈报告有助于老师适时地调整教学安排