元评估视角下高校创新创业教...望——以16份评价文本为例_陈佳巍.pdf

第 13 卷第 6 期 Vol.13 No.6 2022 年 12 月 CHUANGXIN YU CHUANGYE JIAOYU Dec.2022 元评估视角下高校创新创业教育评价现状及展望 以 16 份评价文本为例 陈佳巍 (湖南大学教育科学研究院，湖南长沙，410082)摘要 创新创业教育质量的提高须以科学评价为基础。借助斯塔弗尔比姆 CIPP 评价模式，从评价设计、评价过程、评价结果 3 个维度，运用 12 个观测指标对 16 份创新创业教育评价文本逐一进行内容分析，结合问卷调查对当前创新创业教育评价文本的准确性、合理性、可行性和实用性进行元评估。结果显示，所选的 16 份创新创业教育评价文本的元评估水平介于“一般”和“较差”之间，合理性略好，可行性和准确性次之，实用性并不理想。基于以上分析，从评价设计、评价过程、评价结果三方面提出改进建议。关键词 创新创业教育评价；元评估；评价设计；评价过程；评价结果 中图分类号 G640 文献标识码 A 文章编号 1674-893X(2022)06001210 一、问题提出 近年来，国家相继出台了国务院办公厅关于深化高等学校创新创业教育改革的实施意见国务院关于推动创新创业高质量发展打造“双创”升级版的意见等政策文件，为高校创新创业教育的改革与发展指明了方向。为衡量教育成效，高校纷纷构建了创新创业教育评价体系，以求通过“以评促改”来提高创新创业教育质量。然而，创新创业教育的评估体系能否发挥预期作用，与采用的评估体系的质量有很大的关系，因此，为保证创新与创业教育质量，有必要对创新创业教育采用的评估体系进行再评估。元评估是人类的一种“自我参照”，既可用于人类努力过程与努力成果的二度测量，也可用于对评价本身的评价，即“对评价的评价”2。对创新创业教育评价文本进行元评估是推进创新创业教育评价规范发展的现实需要，也是提升创新创业教育评价品质和效果的必然选择。然而，元评估并非可以确保评价体系的每个层面和环节合规、适切和最优，但缺乏元评估制度架构的评估体系如在评价跑道上“盲跑”3，就面临着跑偏的风险，因此创新创业教育评价的发展呼唤元评估的审视。为探究当前既有的创新创业教育评价体系的问题与不足，本研究从元评估视角出发，借助斯塔弗尔比姆的 CIPP 评价模式，在对当前创新创业教育评价文本进行“评价设计评价过程评价结果”分析的基础上，采用问卷调查的方法对创新创业教育评价进行元评估，并基于评估数据，对改进和完善创新创业教育评价提出政策建议。二、研究设计与过程 (一)元评估对象 当前关于创新创业教育评价的文本大多来自学者对创新创业教育评价体系的研究。因此，在中国知网（CNKI）上以“创新创业教育评价”“创新创业教育效果评价”“创新创业教育评价 收稿日期 2022-03-09；修回日期 2022-09-23 基金项目 2020 年度国家社科基金教育学重点项目“促进教育治理能力提升的教育评价制度改革研究”(AFA200009)作者简介 陈佳巍，女，河北保定人，湖南大学教育科学研究院硕士生，主要研究方向：创新创业教育、工程教育认证，联系邮箱： 理论研究 陈佳巍：元评估视角下高校创新创业教育评价现状及展望 以 16 份评价文本为例 13 指标”为篇名进行检索，剔除以高职院校为研究对象的文章，检索出相关文献共 113 篇。为探求评价文本在设计、实施、结果运用中的现状和存在的问题，本文在筛选文本时，仅保留构建了评价指标体系的相关文献，最终确定评价文本 16 份。(二)元评估内容 斯库瑞文(Scriven)提出元评估要重视评价原来的设计，检查数据分析的方法与过程4。斯塔弗尔比姆(Stufflebeam)主张从评价主体是否得当、评价对象是否准确、评价过程是否科学合理、评价目的是否能达到等四个方面进行元评估5。此外，美国评价协会将元评估流程划分为“规划与协商、结构与设计、数据搜集与准备、资料分析与解释、沟通与公布、结果运用”6等 6 大板块。以上研究表明，评估应考察设计、过程、结果等诸多方面。所以，本文欲从评价设计、评价过程、评价结果三个层面对评价文本进行元评估，具体评估观测点如图 1 所示。本文从评估文本的目标定位、评价对象、评估指标结构、评价内容四个方面对评价设计进行研究。在评价过程层面，主要对评价的参与主体、评价技术运用、指标赋权情况、评价的过程监督情况进行探究，并从结果的表达、公布、对结果的反馈及运用维度进行评价结果的分析。图 1 创新创业教育评价元评估的内容框架 近二十年来，美国及其它国家所进行的元评估，大多采用 1981 年美国教育评估标准联合委员会(JCSEE)开发的方案评估标准，主要包括效用性、可行性、适当性、准确性四个维度 30项标准。经过检讨和修订，1994 年出版的第二版方案评估标准保留了效用性、可行性、适当性、准确性四个维度，但在内容上将原来的部分标准进行了合并，并增加了一些新的标准。亚伯勒、苏哈拉等人基于 JCSEE 的元评估标准，开发了包括效用性标准、可行性标准、适切性标准、精确性标准以及问责标准等五个维度在内的元评估标准7。基于对以上元评估标准的梳理和思考，结合评价文本的具体内容，本研究从实用性、可行性、合理性、准确性四个维度对创新创业教育评价文本进行元评估，并对四维属性的考察内容作出如下界定：实用性维度主要考察文本落地过程中对实践的指导程度，合理性维度主要考察文本中各评估指标的逻辑程度，可行性维度主要考察文本该项指标落地的困难程度，准确性维度主要考察该指标表述与现实考察的契合程度。(三)元评估程序与方法 本文在分析创新创业教育评价文本内容的基础上，制定元评估内容体系，并由此形成评估调查表，对文本各观测维度逐一进行评价。采用的研究方法具体如下。1.内容分析法 首先，对本文所选评估文本逐一进行内容拆解，分析各文本观测指标的类型，并进行标注。此外，为了调查表的制定与评估的开展，本研究 2022 年第 13 卷第 6 期 14 以句子为分析单位，采用“文本一级指标二级指标(类别)标准”的方式进行编码，如“1-1-4-(1)-1”表示对文本 1 评价设计中指标赋权(层次分析法)实用性的元评估，编码情况如表1 所示。将每份文本涉及的节点标记为“1”，文本未涉及则记为“-”。将编码结果在 Excel中进行统计分析，进而得出评估文本结构的完整程度。表 1 文本 1 编码体系举例 文本 一级指标 一级指标编码 二级指标 二级指标编码 有无三级指标 三级指标编码 1 评价设计 1-1 目标定位 1-1-1 1 实用性 1-1-1-1 可行性 1-1-1-2 合理性 1-1-1-3 准确性 1-1-1-4 2.问卷调查法 (1)问卷编制 根据内容分析的四个维度 12 个观测指标进行通用问卷框架的制作，由此形成初始调查表。所有问题采用封闭式作答方式，采用李克特量表的五级评分模式，其中 5 分(最高分)代表“非常好”，4 分代表“比较好”，3 分代表“一般”，2 分代表“比较差”，1 分代表“非常差”。此外，本问卷设置了“0”分选项，仅当评价文本中不包含该项时才记为 0 分。初始调查表编制后，征集了 5 位创新创业教师的意见，对问卷的题项设置进行了优化，由此形成创新创业教育评价文本元评估调查表。(2)问卷调查实施 采用随机抽样法，向 11 名从事创新创业教育研究工作的专家发放调查表，邀请专家从各观测指标的实用性、可行性、合理性、准确性四个维度对 16 份文本进行五级评分。本研究采用克伦巴赫 系数来检验调查表的信度。分析显示，元评估调查表的实用性维度为0.897，合理性维度为 0.913，可行性维度为 0.904，准确性维度为 0.871，表明其信度较好。为检测调查表评定的信度情况，研究者随机抽取一份文本，在评定两周后再次邀请专家对该文本进行评定，测得斯皮尔曼等级相关系数 r=0.87，证明该调查问卷具有良好的稳定性。信度分析之余，本研究对创新创业教育评价文本元评估调查表进行了效度分析。首先，创新创业教育评价文本元评估调查表的观测指标经过了教育评价专家、创新创业教育一线教师的评判，保证了调查表的内容效度。此外，调查表四个维度之间的相关性以及维度与调查表总分间的相关情况如表 2 所示。表 2 调查表各维度之间与总分之间的相关情况 实用性可行性 合理性 准确性实用性 1 可行性 0.73*1 合理性 0.66*0.57*1 准确性 0.59*0.52*0.67*1 元评估总评 0.87*0.83*0.91*0.88*由表 2 可知，调查表各维度之间的相关系数介于 0.520.73 之间，基本上呈中度相关。4 个维度与调查表之间的相关均高于维度间的相关，说明创新创业教育评价文本元评估调查表具有较好的结构效度。(3)数据统计方法 对调查表题项进行编码，将各编码得分情况在 Excel 中进行统计分析。三级指标得分由 11 位专家评分求算术平均而来(保留两位小数)。二级指标初始得分由其所对应的 4 个三级指标得分求算术平均得出(保留两位小数)。通过将二级指标初始得分与对应指标权重相乘求和，即可得出二级指标赋权得分(保留四位小数，以确保评分精确度)。综合各二级指标赋权得分，即可得出一理论研究 陈佳巍：元评估视角下高校创新创业教育评价现状及展望 以 16 份评价文本为例 15 级指标初始得分。综合各一级指标赋权得分及其对应权重相乘求和，即可得出各文本最终的元评估得分。创新创业教育评价元评估包括目标定位、参与主体、评价对象等 12 个观测指标，各观测指标对于文本的重要性程度不同，因此在处理调查数据前，本研究首先借助改进层次分析法(Mufti-AHP)，对评价文本的 3 个一级指标及 12个二级指标进行了赋权。经 11 位专家评测后，得出创新创业教育评价元评估体系的各指标权重，如表 3 所示。表 3 创新创业教育评价元评估体系权重 评价设计 评价过程 评价结果 数值指标与总排序0.335 0.333 0.332 目标定位 0.247 0.082 7(7)评价对象 0.236 0.079 1(11)指标结构 0.234 0.078 4(12)评价内容 0.283 0.094 8(1)参与主体 0.253 0.084 2(2)技术运用 0.251 0.083 6(6)指标赋权 0.244 0.081 3(10)过程监督 0.252 0.083 9(4)结果的表达 0.253 0.084 0(3)结果的公开 0.248 0.082 3(8)结果的反馈 0.252 0.083 7(5)结果的运用 0.247 0.082 0(9)在分析内容的基础上，我们运用调查表进行样本评定，计算各指标维度的得分，根据得分所占的比重计算出得分率，并划分等级。当得分率大于等于 80%时，元评估结果为“非常好”；得分率大于等于 60%但小于 80%时，元评估结果为“比较好”；得分率大于等于 40%但小于 60%时，元评估结果为“一般”；得分率大于等于 20%但小于 40%时，为“比较差”；得分率低于 20%时，元评估结果为“非常差”。三、研究结果与分析 (一)内容分析的结果 内容分析的结果表明，评价主要采用“指标量化评语描述”方式，但部分文本的一些观测信息有缺失。由于本研究是基于评价指标体系进行元评估探讨的，所以在 16 份评价文本中，评价的“目标定位”“评价对象”“指标结构”“评价内容”“参与主体”几乎都有所体现。从元评估的二级指标来看，文本虽然较多地探讨了“评价内容”(如指标体系构建)、“评价标准”等设计层面以及“技术运用”“指标赋权”等过程层面的内容，但是对评价过程层面的“过程监督”、评价结果层面的“公开”“反馈”“运用”等内容的规定较少，且多在讨论中以“建议”的形式呈现，文本的完整性有待提高。从一级指标来看，文本较多地关注了评价设计，其次是评价过程，而对评价结果的关注较少。具体情况如表 4 所示。表 4 各文本观测指标包含情况统计表 二级指标覆盖率(%)备注 目标定位87.50 评价对象100.00 指标结构100.00 评价内容100.00 指