基于项目影响理论的气象培训...程项目效益评价指标构建研究_赵亚南.pdf

2023年第2期（上）/总第624期60学术研讨基于项目影响理论的气象培训能力建设工程项目效益评价指标构建研究 赵亚南 成秀虎*马旭玲 薛建军（中国气象局气象干部培训学院）摘 要：借鉴彼德 罗希提出的项目影响理论构建气象培训能力建设项目理论分析框架，对气象培训能力建设工程项目效益评价指标进行层次划分，按照“项目组织项目产出成果项目产出成果应用项目产出成果效益”因果关系链，明确各阶段需要评估的内容，确定评价指标来源及其主要内容，最终形成气象培训能力建设工程项目效益评价指标体系。关键词：项目影响理论，气象，培训能力，工程项目效益，评价DOI编码：10.3969/j.issn.1002-5944.2023.03.008Study on the Evaluation Index of Meteorological Training Capability Building Project Based on the Theory of Items Infl uenceZHAO Ya-Nan CHENG Xiu-Hu*MA Xu-ling XUE Jian-jun（China Meteorological Administration Training Center）Abstract:The theoretical analysis framework of meteorological training capacity building project is constructed based on the theory of items infl uence proposed by Peter Rohy,and the benefi t evaluation indicators of meteorological training capacity building project are hierarchically divided.According to the causality chain of“project organization-project output results-project output results application-project output results benefi t”,the content to be evaluated at each stage is clarifi ed,and the source and main content of the evaluation indicators are determined.Finally,the benefi t evaluation index system of meteorological training capacity construction project is established.Keywords:the theory of items infl uence,meteorology,training capacity,project benefi ts,evaluation培训能力建设作为气象教育培训现代化建设的主要内容，对发挥气象教育培训先导性、基础性和战略性作用至关重要，是落实2019-2023年全国气象部门干部教育培训规划和推动气象培训事业发展的有力支撑。近年来，在气象工程项目的支持下，气象教育培训能力显著提升。为客观评价气象培训能力工程项目建设效益，通过评价发现培训能力建设工程项目组织中的短板，在借鉴国内外学者关于效益评价理论和方法研究的基础上，开展气象培训能力建设工程项目效益评价分析研究，构建气象教育培训能力建设工程项目的综合效益评价指标，实现以评促建、以评促用、以评促效益发挥的目的。1 项目影响理论项目影响理论是通过对项目建成一段时间后产生的实际效益与项目预期目标进行对比，分析实际2023年第2期（上）/总第624期61赵亚南，成秀虎，马旭玲等：基于项目影响理论的气象培训能力建设工程项目效益评价指标构建研究效益与预期目标之间的差异，以评价项目质量，为后续项目管理和组织实施提供依据。基于项目影响理论，彼德 罗希给出了用于项目评估的项目理论分析框架，如图1所示。项目理论分析框架是以项目建设产出为前提，通过项目产出与项目目标群体之间的互动应用，对目标群体自身产生直接影响，为项目产出成果的直接产出；目标群体通过自身变化进而对社会、经济等方面产生进一步的影响，为项目产出成果的后续产出1。彼德 罗希认为实现目标群体与预期目标的关联行动需要完善的项目组织计划和项目服务利用计划。同时，项目作为有组织的实体，包括人员、资源、活动、辅助工具等；关注目标群体及其表现，与项目服务送达有着密切的关系。从图1可以看出，项目影响理论是一种因果理论，项目执行和项目产出之间存在因果关系，项目通过有效的组织产生可服务于目标群体的项目产出成果，通过对项目产出成果的组织利用对目标群体产生直接影响，直接影响进一步产生间接影响。有效的项目影响理论能够清晰地显示项目组织实施及其产出成果所产生的预期结果链，同时区分出直接产出和间接产出。图1 项目理论分析框架2 气象培训能力建设工程项目效益评价分析框架根据项目理论分析框架，构建气象培训能力建设工程项目影响理论分析框架，如图2所示。气象培训能力建设工程项目以提升送培学员的岗位工作能力或履职绩效并实现单位整体绩效的提升为最终目标，即气象培训能力建设工程项目的后续产出；通过项目建设产出成果应用，对送培学员开展培训，使学员在知识、技能、态度、行为等方面发生改变，即为培训能力建设工程项目产出成果的直接产出。需要指出的是，培训能力建设工程项目产出效益最终取决于培训能力建设产出成果的服务利用计划，具体通过培训计划的实施对送培学员开展培训来实现，即气象培训能力建设工程项目利用计划；气象培训能力的形成需要通过有计划的组织建设来完成，包括制定项目建设计划、组织项目资金、实施项目建设等，这是气象培训能力建设项目组织计划的内涵。图2 气象培训能力建设工程项目理论分析框架通常培训能力包括教学软硬件能力和教学服务能力两个方面，其中教学软件和硬件能力主要包括教材、课件、教学系统、教学设施等；教学服务能力包括从事教学、管理等人员提供的教学服务能力2-3。本文中涉及的培训能力建设主要是指教学软件和硬件方面建设产出的成果。根据项目影响理论存在的因果关系原理，图3给出了气象培训能力建设工程项目影响图解。从图中可以看出，气象培训能力建设内容集中在教材、课件、教学系统、培训设施与环境等四个方面；由项目组织而产生的培训能力建设工程项目产出成果，通过制定合理的教学计划，对送培学员开展培训，使得工程项目产出成果能够得到有效的组织利用；培训计划实施的完成，使得学员在知识、态度、行为、技能等方面朝着预期的方向发生直接的改变；培训后学员回到单位，将培训的直接收获应用于岗位工作，使得岗位工作质量和绩效达到预期的目标；在岗位工作质量绩效提升基础上，因为学员的带动或单位整体效能的提升，送培单位业务功能质2023年第2期（上）/总第624期62赵亚南，成秀虎，马旭玲等：基于项目影响理论的气象培训能力建设工程项目效益评价指标构建研究量得到整体改进或提升，社会效益、经济效益得到整体提高，社会影响力、社会形象得到整体加强，领导或社会满意度得到提升。图3 气象培训能力建设项目影响图解3 气象培训能力建设工程项目效益评价指标体系在效益评价研究过程中，理论框架界定及对影响效益发挥的重要因素进行归类，用于解释因果关系，更加清楚地呈现项目建设与效益发挥之间的互动关系4-5。气象教育培训能力建设通过“项目组织项目产出成果项目产出成果应用项目产出成果效益”因果关系进行阐述，因果关系中各阶段所处的状态或结果就是需要评估的内容，其表现点构成评估指标来源，如表1所示。培训能力建设工程项目产出成果。用于对气象培训能力建设工程项目的产出成果进行描述。主要包括：教学材料（教材、讲义、个例、案例等教学中供学员使用的资料）、课程软件（学员网络学习中使用的课程资源）、教学系统（培训系统、模拟仿真系统等教学中供学员使用的软件系统）、培训设施与环境（实习实训教室、网络环境等培训所需的教学场地和设施）的建设数量与质量。产出成果利用计划。用于对气象教育培训能力建设工程项目产出成果的组织利用情况进行描述。主要包括：有目的有组织的在哪些培训计划（将培训能力建设成果进行有效组织对送培学员开展相关培训）、学科建设计划（利用培训能力建设资源，有组织、有计划开展相关学科建设）中使用这些工程项目的产出成果、如何有意识地有目的促进产出成果的使用频率与使用效率，发挥产出成果的效用等。产出成果直接效益。用于客观衡量气象教育培训能力建设工程项目产出成果实际利用产生的直接效益情况。主要考察项目服务利用计划是否得到切实的贯彻落实，包括：产出成果支撑完成的面授培训量（以面授方式对送培学员开展相关培训形成的班次数、人天数）；远程培训（以网络方式对送培学员开展相关培训）班次、时长或人天数；支撑教学团队（气象培训能力建设推动促进相关教学团队）建设情况；培训结束时学员收获情况（学员能力朝着预期目标方向获得提升的情况，学员在知识、技能等方面的改进和提升情况）。产出成果间接效益。在对气象培训能力建设工程项目直接产出衡量基础上，衡量能力建设产出成果的直接应用所产生的间接效益。主要包括：学员岗位绩效改善提升情况（送培学员岗位工作能力提高或改进情况）、送培单位业务能力水平提升情况（送培学员回到工作岗位后，将培训收获应用于岗位工作情况）；社会效益（送培单位在重大活动保障、防灾减灾等方面效益发挥情况）；培训机构影响力（促进培训机构学科建设、教师团队、科研能力产生的效果情况）。综上所述，项目影响理论能够比较清晰地显示气象培训能力建设工程项目对各个利益相关者所带来的直接影响和间接影响，有利于对气象培训能力建设工程项目的影响结果划分层次，依此建立的工程项目评价指标，能够清晰地反映项目预期目标是否得到完成，项目产生的成效如何，从而为后续改进气象培训能力建设工程项目的管理及建立可持续的培训能力建设工程项目投入机制提供决策支持。参考文献屈宝强.基于项目影响理论的科技文献机构资源共享绩效分析框架J.图书情报工作,2009,53(5):34-37.12023年第2期（上）/总第624期63赵亚南，成秀虎，马旭玲等：基于项目影响理论的气象培训能力建设工程项目效益评价指标构建研究表1 气象培训能力建设工程项目效益评价指标体系一级指标二级指标指标说明备注（与项目影响理论模型的对应关系）项目产出成果教学材料（教材）教材、讲义、个例、案例等教学材料建设完成情况项目组织计划课程软件（课件）远程课程软件建设完成情况教学系统培训系统、模拟仿真系统等建设完成情况培训设施与环境实习实训教室、网络环境等建设完成情况产出成果利用计划培训计划产出成果纳入培训计划情况项目服务利用计划学科建设计划产出成果纳入学科建设规划情况成果产出应用直接效益面授培训量支撑的面授培训培训量（班次数、人天数等）项目产出（直接+后续）远程培训量支撑的远程培训培训量（学时等）教学团队支撑的教学团队建设情况学员能力提升培训结束时学员收获情况，包括知识、技能等变化及提高情况成果产出应用间接效益学员岗位绩效提升情况学员岗位绩效改善提升情况送培单位业务水平整体提升情况学员所在单位相关业务水平整体提升情况社会效益领导、社会公众对气象服务评价（包括公众气象服务满意度或重大活动气象保障领导肯定、防灾减灾效益提升情况）培训机构影响力促进培训机构学科建设、教师团队、科研能力产生的效果情况（获奖、获取重大项目、入选团队等）段崇江，谢春晖.提高远程教育设备和资源教学效益的思考J.现代教育技术，2009(2):72-79.王婷,陈凯华,卢涛,等.重大科技基础设施综合效益评估体系构建研究兼论在FAST评估中的应用J.管理世界，2020(6):213-216.胡华科.专业实验室建设模式及效益评价探析J.实验室研究与探