基于因子分析法的虚拟实验教学评价指标体系研究_曹琦.pdf

第 卷第 期 年 月高等教育研究学报 .，.收稿日期：基金项目：全国教育科学国防军事教育学科规划项目（）；重庆市高等教育教学改革研究重点项目（）；重庆市高等教育教学改革研究重点项目（）作者简介：曹 琦（），男，重庆人。陆军勤务学院勤务指挥系教授，博士后，博士研究生导师，主要从事计算机模拟训练及虚拟实验教学研究。基于因子分析法的虚拟实验教学评价指标体系研究曹 琦，石 晶，毕方鸿（陆军勤务学院 勤务指挥系，重庆）摘 要：为建立可靠实用的虚拟实验教学评价指标体系，量化虚拟实验教学效果，分别从学生、教师两个主体入手，设计了调查问卷。基于因子分析法对原始评价指标体系进行了验证、筛选和修正，并最终确定虚拟实验教学评价指标体系及其权重。结果表明，虚拟实验不同于传统实验，教师课前应更加关注实验合理性、准确度和创新度的设计；课上应以学生为主体，更多地发挥学生的主观能动性。该指标体系是虚拟实验教学评价的理论基础，可为虚拟实验教学方法的改进提供参考借鉴。关键词：虚拟实验；教学评价；指标体系；因子分析法中图分类号：文献标志码：文章编号：（），（，）：，：；一、引言传统实验教学受客观实验条件的影响较大，教师在有限的时空内将知识和实验方法、技巧等传授给学生，学生按部就班地执行和操作，较为程序化，不利于学生创新与独立思考能力的培养。随着信息技术在高等教育领域的迅猛发展，虚拟实验教学逐步走进高校课堂，通过对学生所学知识的逼真表现，将理论教学和实践教学很好地高等教育研究学报 年第 期（总第 期）融合，从而提高教学效果。例如，美国北卡罗来那大学随时随地学习物理（，简称 ）实验室构建的物理学习网络平台，可以有效支持老师对学生实验的网上指导与评分；罗马尼亚瓦拉几亚大学基于 构建的电子课程实验教学平台，丰富了教学手段与学习场景；北京大学构建的基于 的网上虚拟实验室（，简称），具备流水线设计和 设计的功能；华中科技大学构建的在线测试虚拟实验系统，可以直接基于计算机终端开展虚拟仿真实验。当前，虚拟实验教学系统的开发与应用研究已经逐渐趋于成熟，但是由于虚拟实验过程中具有较多的不确定因素和复杂因素，对其教学评价的研究仅有少量文献。沃尔夫（）对学生在虚拟实验前后分别采用相同测试题进行抽查，以检验实验教学的效果；陈（）等人基于概率统计法，对虚拟实验中教学资源的多媒体形式进行了评估分析；孙福等人认为，虚拟实验教学评价应采用系统工程方法，对实验内容、实验设计、实验流程、教学应用等各个方面进行全方位分析与评估；张海军等人认为，目前虚拟仿真实验项目的评价多为定性评价，在指标体系权重赋权方面有待改进；刘旭光对高职院校虚拟实验教学评估系统进行了设计，并强调了评估虚拟实验平台的重要性。因此，通过建立可靠实用的评价指标体系来量化虚拟实验教学效果显得尤为重要。张咪等人针对虚拟仿真实验学习效果建立了以知识发展、实验技能、交流互动、情感态度为一级指标的评价指标体系；温泉等人设计了以实验建设、教学过程、教学效果、实验环境、实验特色为一级指标的虚拟实验教学评估指标体系；韩月强从教学理念、教学体系、实验教学方式方法、实验教学队伍建设模式、仪器设备配置和安全环境、实验教学中心建设和管理模式、实验教学信息化水平、建设成果与示范作用等方面建立了虚拟仿真实验教学中心建设的指标体系。总的来说，现有指标体系比较宏观和全面，但在紧贴实验教学实际、突出教学效果方面还有所欠缺。为此，本文按照实验前、实验中、实验后的时间维度设计指标体系，重点从教学准备、教学过程、教学效果三个方面展开评价，并在前期建立原始指标体系的基础上引入因子分析法，通过调查问卷，进一步验证、筛选和修正各级指标，最终确定了虚拟实验教学评价指标体系及其权重。二、原始虚拟实验教学评价指标体系 笔者长期从事军事后勤领域的虚拟实验教学，为管理科学与工程、物流管理、物联网工程等专业本科生、研究生开设“后勤保障模拟仿真”“后勤指挥信息保障”“后勤管理决策仿真”等虚拟实验课程共计 门。在前期文献研究基础上，通过咨询多名虚拟实验教学领域专家，初步构建了虚拟实验教学评价的原始指标体系，如表 所示。该指标体系主要包括 个一级指标、个二级指标，以及 个三级指标。表 原始虚拟实验教学评价指标体系一级指标 二级指标三级指标教学准备虚拟实验设计实验资源准备课前讨论实验目的合理程度实验方法设计创新度实验原理准确度实验课程设计完善性实验教学方法合理性预习报告完成率预习资源使用率测评题库完善率测评题库与理论教学联系的密切性知识库资源更新率学生课前讨论与教学内容关联度学生课前讨论深度学生课前讨论积极性教学引导的有效性教学过程学生情感态度学习兴趣是否浓厚是否具有科学探索精神登录平台时长及次数听课认真度记录笔记次数曹 琦，等：基于因子分析法的虚拟实验教学评价指标体系研究续表 一级指标 二级指标三级指标教学过程教师情感态度学生实验资源利用学生实验能力教师实验教学能力交流互动教学热情是否浓厚是否具有科学探索精神能否积极与学生交流互动实验时间及实验次数实验完成度实验器材操作和选择的正确率实验资源库使用频次是否按步骤完成实验实验准确率能否正确观察实验现象能否正确记录分析实验数据能否灵活排除实验故障实验故障时能否迅速找到原因并排除对实验平台的熟练度教学过程中学生是否积极投入交互平台使用频次参与讨论频次实验资源共享频次学生与教师互动次数教学效果实验成绩实验掌握情况实验环境实验作业实验完成率优秀率及格率平均分仪器掌握情况原理掌握情况技能掌握情况系统兼容性及实验开发率系统故障率系统平均故障时长课后实验作业完成情况布置实验作业设计的合理性批改作业并反馈学生的及时性该原始指标体系是定性分析所得，容易陷入经验主义误区，且所含指标过于繁杂冗余，不利于实践应用，因此需要进一步量化和精简。在众多指标体系研究方法中，因子分析法强调找出制约诸多变量的公共因素，并把这些因素分解出来，可以通过少数变量来综合反映指标体系的大部分信息。因此，本文基于因子分析法对上述原始指标体系进行改进。三、基于因子分析法的评价指标体系改进（一）问卷设计本文的数据支撑主要来自问卷调查收集的数据。由于在虚拟实验教学中教师与学生是两个相对独立且同等重要的主体，因此问卷区分为教师卷与学生卷。问卷按照实验前、实验中、实验后的顺序设计，采用“四点式李克特量表”，归类为“非常满意”“满意”“不满意”“非常不满意”不同程度分值。问卷对象为陆军勤务学院 级本科生及其虚拟实验课程任课教师。问卷形式为实验课程结束后现场调查。共发放问卷 份，收回 份。其中，学生卷 份，教师卷 份，满足因子分析的数量要求。（二）可行性检验因子分析法能有效提取原始指标信息，但并不适用于某些结果贡献度较分散的指标体系。通常，共同度、值和 球形检验值可以量化因子分析法的可行性。为此，本文根据收集到的学生问卷调查数据，分别针对教学准备（）、教学过程（）和教学效果（）三个一级指标进行适应性检验，计算各自三级指标的相关系数。主要选用主成分分析法，因子旋转参数为最大变异法，因子分析选项完全排除遗漏值，计算结果如表 所示。结果表明：值均大于.，球形检验最小值为.，.，相关系数矩阵非单位矩阵，因子分析法适用于本研究。表 适应性检验结果指标.球形检验.（三）因子分析分别提取 个一级指标下的各级观测指标的公因子数量，首先输出一级指标的所有公因子，根高等教育研究学报 年第 期（总第 期）据学生问卷调查数据计算特征值和方差贡献率，放弃其中特征值小于 的因子，对其他因子按方差贡献率由大到小排序，并计算其累计方差贡献率。本文目的是建立一个能反映多数原始指标信息的相对精简的指标体系，为此设置方差贡献率阈值为、累计方差贡献率阈值为，即：放弃方差贡献率排序表中不足 的因子。如果最终指标体系的累计贡献率大于，则认为可以提取大部分信息；否则，即为放弃因子太多，影响了分析效果。在教学准备（）中提取 个公因子，累计方差贡献率为.；在教学过程（）中提取 个公因子，累计方差贡献率为.；在教学效果（）中提取 个公因子，累计方差贡献率为.。为了确保每个变量没有对其他因子存在大于.的载荷，需要去除 个或 个以上因子的载荷均大于.的变量，所以、组分别删去 个公因子，组删去 个公因子，结果如表 所示。其中，“初始特征值”下为计算所得的特征值和方差贡献率，以及按方差贡献率由大到小排序所累加得到的累计方差贡献率，提取出来的公因子数值都大于；“各因子旋转载荷平方和”下为相关系数矩阵的最终特征值，公因子旋转后的累计方差贡献率并无改变，但却影响了各公因子的方差贡献率。最终的累计方差贡献率分别为.、.和.，均 超 过的阈值。总体而言，在原有指标信息得到有效保留的同时，较好地精简了原始指标体系。重复以上过程，再对二级指标进行因子分析，可以得到三级指标。由于步骤重复，这里不再赘述。表 因子分析结果成分初始特征值各因子旋转载荷平方和全部特征值方差贡献率（）累计贡献率（）全部特征值方差贡献率（）累计贡献率（）.（四）权重确定及修正本文最终构建了一个由 个一级指标、个二级指标，以及 个三级指标组成的虚拟实验教学评价指标体系。由表 可以得到旋转后各公因子的特征值及方差贡献率；可以根据各公因子的特征值，通过归一法来确定各个指标的权重，如下式所示：（）其中：为第 个指标权重；为第 个公因子的特征值；为公因子的特征值之和。为增强指标权重的准确性，将权重计算结果与教师问卷调查数据的统计结果进行对比分析，两者大致吻合，但仍存在部分差异。例如，计算结果表明课前预习报告的完成情况对最终学习效果的影响有限，而教师问卷结果则认为影响较大。因此，鉴于教师教学经验的重要性，对两者分歧较大的指标权重进行了修正，并将教师问卷调查结果权重调大，最终得到虚拟实验教学评价指标体系及其权重，如表 所示。曹 琦，等：基于因子分析法的虚拟实验教学评价指标体系研究表 最终虚拟实验教学评价指标体系及其权重一级指标权重二级指标权重三级指标权重教学准备.虚拟实验设计.实验资源准备.实验目的合理程度.实验原理准确度.实验方法设计创新度.预习报告完成率.预习资源使用率.知识库资源更新率.测评题库完善率.教学过程.学生情感态度.学生实验资源利用.学生实验能力.交流互动.学习兴趣是否浓厚.是否具有科学探索精神.登录平台时长及次数.记录笔记次数.实验时间及实验次数.实验完成度.实验器材操作和选择的正确率.实验资源库使用频次.是否按步骤完成实验.实验准确率.能否正确观察实验现象.能否正确记录分析实验数据.能否灵活排除实验故障.交互平台使用频次.参与讨论频次.实验资源共享频次.学生与教师互动次数.教学效果.实验成绩.实验掌握情况.实验环境.实验完成率.优秀率.及格率.平均分.仪器掌握情况.原理掌握情况.技能掌握情况.系统兼容性及实验开发率.系统故障率.系统平均故障时长.高等教育研究学报 年第 期（总第 期）四、结果讨论与分析从上述结果可以看出，对虚拟实验教学效果的评价依然需要从传统教学步骤（教学准备、教学过程、教学效果）入手，基于因子分析法可以对评价指标体系进行高效简化，从而确定对虚拟实验教学效果影响更大的评价指标。与原始指标体系相比，在教学准备一级指标中，课前讨论受限于授课时间与环境条件，对教学效果的影响较小。而虚拟实验设计与实验资源准备对教学效果影响较大，尤其是实验设计的合理性、准确度和创新度，应引起教师的重点关注。在教学过程一级指标中，起主导作用的主体是学生，影响最终教学效果的主要因素是学生的情感态度、实验资源利用情况、实验能力等方面，这就要求教师在虚拟实验教学过程中应区别于传统实验的说教模式，更多地以学生为主，发挥学生的主观能动性。在教学效果一级指标中，实验成绩、实验掌握情况、实验环境等方面对教学效果的影响较大。与传统实验相比，除了重视实验完成率和各种能力掌握程度外，教学效果对实验环境的要求会更高。五、结语本文通过咨询法初步建立了虚拟实验教学评价原始指标体系，从教师和学生两个教学主体入手完成了问卷调查，探索性地运用因子分析法对原始指标体系进行了验证、筛选和修正，并最终确定了 个一级指标、个二级指标，以及 个