工程教育认证毕业要求达成评价的国际比较_范瑜.pdf

收稿日期:2 0 2 2-1 1-2 3作者简介:范瑜,北京交通大学教授,中国工程教育认证协会电子信息与电气工程类专业委员会学术委员,华盛顿协议周期审查组(O R T)专家(斯里兰卡组)。工程教育认证毕业要求达成评价的国际比较范 瑜【摘 要】我国工程教育认证十多年实践取得了宝贵经验,也存在一些值得研究的问题,如毕业要求达成评价方法中是否要将毕业要求分解、是否要让所有必修课参与定量评价等。为寻求这些问题的答案,对华盛顿协议成员的自评报告和研究论文进行了研究,重点对四份美国工程与技术认证委员会认证自评报告进行了分析,对我国毕业要求的评价方法与过程提出了改进建议。【关键词】工程教育 专业认证 毕业要求 评价 一、引言我国工程教育认证经过十多年实践取得了很多宝贵经验,但实践中也发现一些值得研究的问题,如毕业要求达成情况的定量评价,目前通行方法是用课程考核成绩分析法,该方法一般过程如下(各专业实际操作存在差异):先把毕业要求分解为内涵观测点(分解指标点),然后确定支撑每个内涵观测点的课程。支撑课程根据学生“广义作业”(试卷、作业、报告、设计等)考核结果计算与课程目标相关试题的平均得分与总分之比乘以权重后,得到对该课程目标达成情况的贡献,再对所有贡献求和,得到该课程目标的达成评价值。然后,根据课程目标对内涵观测点的支撑情况,算出各内涵观测点的达成评价值。在专业层面上,毕业要求的所有内涵观测点达成评价值,分别由所有支撑课程对各内涵观测点的达成评价值加权求和,在求和的各结果中取最小值,就得到该项毕业要求的达成情况。课程考核成绩分析法能比较准确、客观反映学生整体毕业要求达成情况,但得到的课程目标和毕业要求达成情况是学生的平均值,不能反映学生个体情况。另外,课程目标应直接支撑毕业要求还是支撑内涵观测点,存在不同意见。所以,如何采用更合理的毕业要求达成情况分析方法,成为讨论热点。1要对上述问题给出有价值的结论,应研究工程教育认证历史更长、范围更广的国家和地区的经验。由于华盛顿协议(“华协”)各成员通用标准没有关于毕业要求如何评价的具体规定,所以,要全面了解各国工程教育认证毕业要求的具体评价方法,应直接查阅“华协”成员的自评报告。由于“华协”没有统一的认证标准,只下达了指导性文件 毕业生属性与职业能力2,所以“华协”成员都制定了本国(地区)认证标准。这些标准多数只在毕业要求项采用“华协”指导性文件的标准项,其他标准项自行制定,但多参考美国工程与技术认证委员会(A B E T)标准,少数成员几乎完全采用该标准或略作修改。美国工程与技术认证委员会是“华协”发起组织之一和最早成员,也是工程教育认证历史最长、制度最完整、参与认证专业最多的成员,且网上可查阅到很多自评报告。因此,本文主要对该委员会自评报告中毕业要求达成情况的评价方法进行研究。关于“毕业要求”的英文表达,华盛顿协议称其为“毕业生属性”(g r a d u a t ea t t r i b u t e s),A B E T标准2 0 1 1年 前 称“专 业 产 出”(p r o g r a m o u t-c o m e s),2 0 1 1年 改 为“学 生 产 出”(s t u d e n to u t-c o m e s),我国曾译为“g r a d u a t eo u t c o m e s”,2 0 2 2年版 工程教育认证标准 的“术语和定义”译为g r a d u a t ea t t r i b u t e s,与“华协”一致。本文一般叙述采用“毕业要求”,但介绍具体自评报告时,根据原文直译为“专业产出”或“学生产出”,同时将“达成情况评价”按原文简称为“达成评价”。二、“华协”成员自评报告中毕业要求的分解方法2 0 1 0年前,不论是“华协”各成员通用标准还是各专业自评报告,都没有对毕业要求进行分解的要求或操作,毕业要求达成评价主要依靠定性08和简单定量评价,美国工程与技术认证委员会和我国大约十年前均曾采用这种方法。目前部分亚洲“华协”成员仍然采用这种处理方法,但这种方法显然不适合毕业要求达成情况的直接定量评价。2 0 1 1年之后,美国、加拿大、澳大利亚、中国大陆等在自评报告中对毕业要求进行分解的专业逐渐增多,其中加拿大、澳大利亚甚至在通用标准或自评报告指南中明确要求对毕业要求进行分解。但毕业要求的实际分解方法仍存在不同。国内外自评报告中毕业要求的分解方法分为三类,且有各自优缺点:第一类:专业层面将毕业要求分解为“二级指标点”(p e r f o r m a n c ei n d i c a t o r s,P I),美国工程与技术认证委员会对该术语的解释是“对学生产出关键特性所做的具体、可衡量的陈述”,使教师“一看就明白”,其意义与我国的“内涵观测点”相同,但 这 类 方 法 不 制 定 具 体 课 程 目 标。我 国2 0 1 4-2 0 1 7年间曾采用这类分解方法。该方法由教师自行确定某课程考试题与相应内涵观测点的相关度,达成情况定量评价过程比较简单,但某次试题与内涵观测点的相关度取决于教师的主观判断,不利于形成稳定的评价机制,各门课程之间的评价尺度不容易平衡。第二类:毕业要求不分解为“二级指标点”,而是直接分解为课程层面的“三级指标点”,也称“次分解指标点”(s u b-i n d i c a t o r s),即课程目标。我国习惯上把这种方法也看作对毕业要求不分解,即课程目标直接支撑毕业要求。但国内尚未见到采用这种方法的。该方法在整个专业层面有标准化的“课程目标集”,优点是容易做到各门课程的评价结果比较平衡、方法简洁,有利于形成稳定的评价机制;但由于没有内涵观测点作指导,教师对毕业要求内涵不一定有深入理解,需要在专业层面对毕业要求直接分解为“课程目标集”时做较多工作。第三类:毕业要求先分解为二级指标点,再分解为三级指标点(次分解指标点,课程目标),既有毕业要求的内涵观测点,也有各门课程的课程目标。近年美国工程与技术认证委员会多数认证专业采用这种分解方法。我国2 0 1 7年后普遍采用这种方法。要指出的是,课程目标不是对二级指标点的再次“分解”,而是根据课程内容对二级指标点某方面所做的更具体的描述,美国工程与技术认证委员会自评报告中经常是一对一的。该方法的优点是可由教师对照内涵观测点自行制定课程目标,容易形成稳定的和各门课程平衡的评价机制,缺点是达成评价比较繁琐。目前,我国几乎1 0 0%的自评报告毕业要求都采用第三类分解法。美国工程与技术认证委员会自评报告则三类都有,以第三类为主,也有少数自评报告不作任何分解。我国的认证 通用标准没有要求对毕业要求必须进行分解,美国工程与技术认证委员会通用标准与自评报告撰写指南也没对毕业要求进行分解的任何要求。能够查阅的加拿大、澳大利亚、中国香港等“华协”成员的自评报告较少,但有较多的研究论文,对毕业要求基本采用第三类分解方法。其中,加拿大在2 0 1 0年由女王大学牵头,多校参加的“工程教育认证毕业要求研究项目”提出了毕业要求达成评价的“六步法”过程3,4,明确提出毕业要求的评价应首先给出专业层面的分解指标点,指出“分解指标点提供了与毕业要求相关的、可测量特征更具体的描述”。加拿大工程师学会的自评报告模板5不仅规定要将毕业要求分解为指标点,还定义了“次分解指标点”(课程学习产出),即课程目标。近年印度的1 6份自评报告,新加坡、巴基斯坦各一份自评报告、斯里兰卡4份自评报告,均未对毕业要求进行任何分解。中国台北的6份自评报告也没有对毕业要求(“核心能力”)进行任何分解。三、自评报告的毕业要求达成评价方法美国工程与技术认证委员会自评报告的数量最多,毕业要求达成评价方法也最多。在8 0余份2 0 0 4-2 0 2 1年的A B E T专业自评报告中,剔除2-3年制专业和过于简单的报告,选出6 7份对毕业要求(专业产出/学生产出)达成情况的评价方法进行分类统计,结果显示:2 0 0 4-2 0 1 3年的自评报告中,专业产出/学生产出的达成情况多数仅依靠支撑产出课程的考试、高年级设计(c a p s t o n ep r o j e c t)和本科毕业论文的成绩来评价,这种评价方法的缺点是:把课程成绩的高低单纯等同于毕业要求“达成度”的高低。虽然有的专业在教师的产出评价表中有类似分解指标点的量规(r u b r i c s),但不是对每个学生评价,仅要求在问卷中按量规回答该课是否达成产出,客观性难以保证。6这一期间,很多专业主要依赖多样化的间接评价(如组织学生论坛、学生随堂调查、毕业生调查、实验调查、工程咨询委员会反馈、鼓励学生参加“工程基础统一测试”等)。2 0 0 5年以后,有的学校逐步加强直接评价比重,但仅把全体学生各考试题平均成绩对照未分解专业产出进行达成评价,且也可单独选择实验报告18工程教育认证毕业要求达成评价的国际比较或家庭作业进行评价。7最早对专业产出进行第二类分解的,是2 0 0 8年耶鲁大学化学专业的自评报告。该自评报告将这种分解指标点称为“表现标准点”(p e r f o r m a n c ec r i t e r i a)。8目的是便于对每门课、每个同学的每个三级分解指标点,借助量规表进行定量详细评价。2 0 2 0年该专业自评报告放弃了这种分解方法,但该方法却被该校同年认证的电气工程专业与机械工程专业所采用。2 0 1 1年以后,美国工程与技术认证委员会一些现场考查报告常出现“学生产出评价方法单一,仅借助于专业设计和毕业生调查”“学生产出达成评价的方法不够细化”之类结论。这些权威结论对专业产出定量分析起到了导向作用。首次对学生产出进行第一类分解的是2 0 1 1年阿拉斯加费尔班克斯大学土木工程专业。该专业2 0 0 5年认证被现场考查组指出“专业严重依赖于专业设计课程和高年级调查,应开发其他评价产出的方法”。为方便评价每个学生的产出,2 0 1 1年该专业的自评报告运用布鲁姆分类理论,提出“可衡量的表现标准点”方法。分解后的二级指标点称为“表现标准点”(p e r f o r m a n c ec r i t e r i a),但耶鲁大学这个词组指的是三级指标点或课程目标。该专业没有给出课程目标,虽然采用量规表,但直接将各门课程对照二级指标点进行评价。92 0 1 3年参加A B E T认证的菲奇堡州立大学计算机科学专业采用的分解方法与耶鲁大学化学专业类似,也属于第二类分解,即提出一套课程目标。该 专 业 首 次 引 入 管 理 学 的“绩 效 指 标 点”(p e r f o r m a n c e i n d i c a t o r)命名三级指标点,并注明“等同于课程目标”。1 02 0 1 1年以后,美国工程与技术认证委员会通用标准用术语“学生产出”(s t u d e n to u t c o m e s)取代“专业产出”(p r o g r a mo u t c o m e s),各工程专业产出评价重心进一步下移并聚焦于每个学生。受2 0 1 0年加拿大的第三类分解方法影响(A B E T认证专业一般都参加加拿大“双边工程师协会”),2 0 1 4年以后,一些A B E T自评报告逐渐出现第三类分解方法。p e r f o r m a n c e i n d i c a t o r术语经常用来指学生产出的二级指标点。2 0 1 4年以后,不仅采用直接定量评价成为主流,且用第三类分解方法加量规表对学生个人的产出进行定量评价的方法,被越来越多的专业所采用。据统计,2 0 0 4-2 0 1 3年3 4份美国工程与技术认证委员会自评报告采用指标点分解方法和量规表的只有两个,均仅5.9%;2 0 1 4-2 0 2 1年3 3份自评报告采用指标点分解方法对学生产出定量评价的 占6 4%,其 中 采 用 第 三 类 分 解 方 法 的 占6 0%,采用量规表进行课 程 目 标 达 成 评 价 的 占7 9%。四、代表性自评报告毕业要求达成评价方法分析美国工程与技术认证委员会自评报告中毕业