“云时代”职业教育在线教学质量综合评价体系研究.pdf

机械职业教育2023年第7 期DOI:10.16309/ki.issn.1007-1776.2023.07.009智慧教育“云时代”职业教育在线教学质量综合评价体系研究周奎朱才荣（江苏电子信息职业学院，江苏淮安2 2 3 0 0 3)摘要 人工智能、大数据技术推动着教学质量评价体系的改革和发展。针对线上教学评价缺乏智能化平台支撑、动态特征不明显、思政元素不足、保障机制不健全等问题，研究构建“云时代”在线教学质量综合评价体系，完善追踪线上学情变化的动态评价指标，融入课程思政线上评价元素。建立了与学校内部教学管理系统对接，且能够实现数据共享的在线课程评价平台。提出了教学质量行政管理队伍和教学督导数字素养提升机制，以及评价结果应用反馈机制，为在线教学质量提升提供保障。关键词在线教学；全过程；动态评价；保障机制基金项目 江苏高校“青蓝工程”项目（苏教师【2 0 2 1 11号）；江苏高校哲学社会科学研究一般项目“云时代课堂教学质量评价策略研究”（2 0 2 0 SJA1824）作者简介周奎，女，副教授、高级工程师，研究方向为质量控制；朱才荣，女，副教授、高级工程师，研究方向为职业教育。随着人工智能、大数据、移动互联等新技术的迅猛发展，信息化技术越来越多地被应用于教育，对教育的影响已经由简单的教学手段、教学方式深人对教学思想、教学理念的重构中1。以MOOC、SPO C、混合式教学为主的信息化课堂已逐步成为现代课堂的主流，课堂教学评价方法也从线下发展到了“线上十线下、课内十课外、校内十校外”等混合式评价。在云时代教学环境下，利用人工智能、大数据等现代信息技术，分析线上学习行为，探索开展学习全过程的纵向、横向评价，是有效实施线上教学、MOOC学习、SPOC学习、混合式学习等各类信息化教学的重要保障。深化新时代教育评价改革总体方案提出健全职业学校评价机制，创新评价工具，利用人工智能、大数据等现代信息技术，探索开展学生学习情况全过程纵向评价。高等学校人工智能创新行动计划提出探索基于人工智能的新教学模式，重构教学流程，并运用人工智能开展教学过程监测、学情分析和学业水平诊断，建立基于大数据的多维度综合性智能评价，精准评估教与学的绩效，实现因材施教。2 0 2 2 年11月，教育部发布教师数字素养（教科信函【2 0 2 2】5 8一44一号)教育行业标准，从数字化应用维度指出教师要正确运用评价数据采集工具，对课程开展数字化学业评价，实现学业数据化分析。然而，纵观目前的在线课堂教学评价模式，存在教学平台杂、质量监控队伍数字素养不高、反馈机制不全等问题。因此，优化线上教学质量评价体系和线上教学评价保障机制，对提高线上教学质量的意义重大。一、研究现状信息化时代的在线学习成为高等院校大规模教学的新常态，不断优化现有在线教学质量评价体系，构建科学、合理的教学质量综合评价标准及指标体系成为高校教学管理的重点。为此，国内学者围绕在线教学质量的评价制度、评价标准、评价体系等，开展了一系列研究工作。杨浩等2 从德育养成、学习方法、学习能力、实践能力、责任意识、社会适应能力、专业知识和技能水平、终身学习能力8 个方面，构建了高职院校混合式教学质量评价指标体系，并进行了评价指标体系的效度和信度分析。鲁小艳3 提出要从教师准备、网络教学资源运用、线上教学展开和学智慧教育生课后评价四个阶段构建质量评价体系，并阐述了学校要建设统一的在线教学平台，培育专业的线上教学督导队伍，建立以教师、学生、督导、管理者等为核心的在线教学共同体。李爽等4针对现有在线教学评价难以支持动态评测等问题，从“目标与内容、方法与过程、技术与系统”三个方面，分析了在线教学“建构性、发展性、促进性、敏捷性、个性化、智能化、开放性”的质量特征，构建了数据驱动的在线教学质量评价框架。肖云等5 分析了传统教学质量评价在评价导向、评价标准、评价方式、评价机制等方面存在的问题，提出高校在线教学质量评价在价值取向上要强调具体个人、强调共同建构、强调学生学习、强调及时改进、强调支持服务；在建设策略上要打造有形和无形相结合的教学共同体，构建线上和线下混合教学评价目标，建立传统数据和大数据相结合的质量保障平台，坚持定期与即时反馈相结合持续改进策略。宋维堂等6 从本校教学质量评价实际出发，提出“两评一测”教学质量综合评价体系，并从制度体系、队伍体系和平台体系方面提出了保障机制的建设。大量文献研究发现，当前线上教学评价注重将教学评价嵌人教学活动全过程，注重在线教学资源、教学设计、教学方法、学习效果等环节的评价，并将人工智能应用于信息化课堂教学质量评价指标体系的设计和课堂管理。但是，很少有学者围绕提出的教学质量评价体系进行评价实施、评价保障等实证性研究，也很少有学者研究在线教学模式下融入课程思政质量评价元素的方法。此外，教学质量评价过多地依赖教学行政管理部门，导致行政管理部门的顶层设计能力和行政执行能力成为教学质量评价的瓶颈之一。从教师本人视角考虑，评价也存在自利现象和多元价值冲突问题。总体来看，在线教学质量评价方式、评价方法已经取得很多有价值的成果，但是在线教学的评价实证、评价保障、思政评价等环节仍然需要进一步提高和完善。二、在线教学质量评价面临的挑战（一）评价指标体系的完善与实证性验证在线教学质量评价标准、评价指标体系因学校定位、教学条件、课程属性等原因而参差不齐，且尚未形成统一的评价定论。目前，各高校都有州机械职业教育2023年第7 期自已的教学质量评价体系，定期发布在线教学质量报告。从各高校发布的质量报告来看，大部分高校的在线教学评价体系仅是对传统的教学评价方案进行移植改造，增加了线上教学资源建设、在线教学准备、线上教学组织、学生在线学习表现以及学生在线学习效果等评价环节，但忽略了在线学习数据的追踪、分析、处理和应用，也忽略了在线课程平台的统一技术支撑和规范管理。此外，现有在线教学质量评价方案响应高等学校课程思政建设指导纲要中关于“课程思政融人教学全过程”文件精神的体现不足，未在现有的在线教学评价体系中设计思政元素评价方式。从现有国内学者对在线教学研究的实际成果分析来看，在线教学评价质量新体系尚未看到实质有效的验证性数据和结论。因此，完善由统一技术平台支撑的在线教学质量评价体系，将其应用到实际教学管理中并通过实施不断完善，有着重要的现实意义。（二)在线教学统一平台的智能化支撑度在线课程教学平台是实施在线教学的载体，为学校在线教学组织提供了大数据支撑和实施保障，其智能化技术、应用功能、用户便捷性体验是保障在线教学质量的基础。虽然互联网、大数据技术已支撑课程平台建设，MOOC学习已广泛普及，但MOOC有偿性转化为SPOC学习，却并非在每个学校都已实现。同时，课程资源开发力度参差不齐，很多教师简单地认为在线教学就是线上直播。即使是线上直播课堂，也因教学条件薄弱、教学管理松散、教师个人爱好差异等原因，使同一学校开展在线教学时存在多种教学平台共用的现象。多种直播平台致使学校在线教学管理、学生在线学习变得异常烦琐、困难，学校也会失去获取教师在线教学过程大数据的机会。此外，教师使用的各种直播App也并非因教学专用而设计的，其为获取用户流量而设计的非教学功能会干扰在线教学的正常进行。因此，为保障在线教学的正常实施，由学校提供统一的教学平台非常重要。它不仅实现了在线教学师生用户的统一管理，而且能够适时捕捉在线教学、在线学习的行为大数据，为学校科学管理在线教学、精准制定在线教学政策提供依据。同时，也为教师提供在线课堂学习效果的反馈数据，为教一45 一机械职业教育2023年第7 期师及时调整在线教学内容和教学组织提供依据。（三）教学督导信息化技术的掌握度教学督导是高校落实在线教学质量评价的执行队伍，教学督导的任务不仅要评价教师的课堂质量，而且要起到指导课堂教学的作用。教学督导的信息化水平和教学水平直接影响着教学质量评价的结果和效果。在各高校中，教学督导一般由校内教师、企业导师、校外教师构成。其中，校内督导团队一般由有多年教学经验的优秀老教师组成，他们年龄偏大，普遍对智能化教学平台掌握不熟练，对信息化技术手段的认知水平不高；企业教师不在教学一线，难以掌握在线教学的课前准备、教学设计、教学组织等技巧；而校外教师因其兼职身份，很难和学校的信息化教学要求和教学标准保持同步。因此，教学督导的信息化教学水平严重制约着在线教学质量评价的实施。培训教学督导运用现代信息技术组织教学，提高其在线课程云平台的应用能力、智能化教学终端的操作能力以及媒体技术课堂的交互能力，是落实在线教学质量评价的有力保障。（四）行政管理职责督导的执行度各高校的教学质量评价管理一般设有院、校两级体系，由学校的质量控制办公室或教学质量管理中心等行政管理部门牵头执行。二级分院设有质量管理科室，配合学校完成课程教学质量的管理和分院归口课程质量监控的实施工作。在线教学质量标准的制定、在线教学实施方案的顶层设计、学校一级督导的安排都是由学校行政管理部门组织完成的。因此，在线教学质量评价体系的合理性、评价方案的科学性、实施过程的完整性以及评价结果的应用性，都与职能部门的管理水平与行政执行力度息息相关。现实中常常存在评价标准存在于纸上、评价过程流于形式、评价结果走过场等现象，导致在线教学质量评价变成形式主义，评价宗旨得不到贯彻落实。此外，院校两级质量监控体系的职责与分工也时常发生交叉、扯皮现象。因此，建立学校职能部门的职责督导机制，管理和监控行政管理部门的行政执行力显得极为重要。三、在线教学质量评价体系的构建流程人工智能、大数据、移动互联等新技术催生了信息化教学新生态的形成。“互联网十”条件一46 一智慧教育下信息化教学生态系统各因子优化建设、协调发展，方可实现教学改革工作的全面推动。而教学质量评价是生态系统健康、平衡发展的保障7 。在广泛调研各高职院校的教学质量评价现状及质量保障应对举措的基础上，充分研究信息化教学生态体系下各生态因子的相互影响和制约作用，通过文献学习、问卷调研、数据分析、专家经验函询、典型案例解析等方法，确定质量评价体系需要解决的问题，建立教学质量评价内容和指标体系。从评价维度、评价途径、评价过程、评价保障等角度分析并解决问题，并将评价结果应用到教学实际中，再根据试点执行反馈情况，不断完善评价方案。评价体系建立流程如图1所示。“云时代”下教学质量评价体系评价背景评价现状问题分析实践价值题！评价方法1文献研园卷调折！评价维度1i分！析1题解！快1一1.完善有动态监测特征的线上教学评价指标。MOOC学习、SPOC教学、直播教学等线上教学很好地弥补了传统课堂受时空、地域限制的短板。但是如何保证在线学习与线下课堂教学质量实质等效，是所有在线教学需要解决的难题。在线教学评价既有传统课堂的教学内容、教学设计、教学组织、教学方法、教学效果等评价的共同特点，又有网络学习的资源质量、远程管理、数据追踪、在线互动等评价的不同点。针对这些在线学习的新特点，各高校应联合在线课程平台开发机构，发挥信息化技术管理优势，改革现有问专家函询评价内容评价途径评价过程学习活动教学活动学习资源学习成效思政元素线上+线压课内+校内+动态评价静态评价 数据支撑统一平台行政管理教学督导反馈应用一校处-一评价结果评价方案试点实施 完善提高研究报告应用推广11图1教学质量评价体系的构建流程四、在线教学质量评价体系的主要内容（一）延展线上教学评价指标的多重维度未例分析据分新评价保障1智慧教育教学质量评价指标，建立新型在线教学质量评价体系和质量保障的联动机制。一方面，要扩展传统教学评价范围，将线上教学行为、学习行为纳人质量评价体系，围绕学习资源、教学活动、学习活动、学习成效等要素，利用平台技术智能追踪教学活动和学习行为轨迹，实施在线教学质量关键数据的动态监测和伴随式评估，实现教学效果的数据智能化分析和处理3 143。另一方面，要拓展评价时空，建立“课前十课后、课内十课外、校内十校外”的混合式评价途径。以信息化为特征的教学评价内容除了职业素养、技能测试、线下测试、课堂表现、作业完成等传统要素之外，还应包括线上学习、线上