利用Delphi法和层次分...学援外培训效果评价指标体系_丁向.pdf

医学教育研究利用 法和层次分析法构建医学援外培训效果评价指标体系丁向，王莉，刘诗莹，唐倩，张娜，魏选东，朱丽辉【基金项目】湖南省科技厅临床医疗技术创新引导项目（）；湖南省科学技术厅重点科研项目（）【作者单位】湖南省儿童医院国际合作交流中心，湖南 长沙，湖南中医药大学护理学院，湖南 长沙，湖南省儿童医院临床小儿外科杂志编辑部，湖南 长沙，【通信作者】朱丽辉，：【摘要】目的科学构建医学援外培训效果评价指标体系，为精准评价医学援外培训效果提供有效参考。方法在系统分析案例单位承办的 期援外培训项目交流座谈纪要和学员满意度调查问卷的基础上，初步制定了医学援外培训效果评价指标体系草案，再采用 法进行专家咨询，通过问卷回收率和权威系数分别反映专家积极性和权威性；专家意见集中程度用条目相关性均值和 表示，专家意见协调程度用肯德尔协调系数（值）表示。最终制定的医学援外培训效果评价指标体系共包含个一级指标（反应层、学习层、行为层和结果层），个二级指标（培训需求、培训内容和培训师资等）和 个三级指标（驻外机构服务、基础技能考核及新技术新业务开展情况等）。结果三轮咨询均发放 份问卷，每轮均收回 份，回收率 。第一、第二、第三轮专家咨询的判断系数（）分别为 ，熟悉程度系数（）分别为 ，三轮专家咨询的权威系数分别为 ，。以属性必要性为例，第一轮一级指标、二级指标、三级指标的专家意见协调程度的 值分别为 ，显著性检验结果显示差异有统计学意义（）；第二轮一级指标、二级指标、三级指标的专家意见协调程度的 值分别为 ，；第三轮一级指标、二级指标、三级指标的专家意见协调程度的 值分别为 ，。结论采用 法和层次分析法构建医学援外培训效果评价指标体系具有较高的科学性，可作为客观评价医学援外培训效果的工具。【关键词】对外援助；医疗培训；柯氏模型；评价指标体系；法；层次分析法【中图分类号】；【文献标志码】：，【】，（，），（，）（，），（）；，；，中国社会医学杂志 年月第 卷第期 ，【】；对外医疗援助是中国外交不可或缺的组成部分，是推动构建人类卫生健康共同体的重要举措。援外卫生人力资源开发合作项目（简称援外培训）是通过双边或多边渠道，采用来华培训、学位学历教育、援外医疗队、“走出去”项目等方式，传播先进发展理念和医疗技术，以帮助发展中国家培养医疗卫生人才，促进医疗卫生事业发展和助力 健康可持续发展目标。目前，美国和日本等发达国家都建立了较为完善的对外援助监督评估体系，由于援外政策和医疗培训体系的差异，国外评价指标体系不能适用于我国国情。近年来，国内也有关于援外培训效果评估的相关研究，但存在未量化、不全面等实际问题，导致项目在准备和实施过程中，没有和学员进行沟通和因地制宜地编制培训课程；培训后，更没有全方位地评价其效果和项目的影响与持久性。特别是近两年来，随着新冠病毒疫情全球大流行，加大疫情期间援外医疗力度，实施以培训效果为导向的精准援外，研发一套能反映培训实际问题和评价培训效果的评估体系是当务之急。柯氏模型评估法是全球应用最广泛、操作性最强的医学培训效果评估模型，该模型的特点是根据行为学的研究结果，由表及里，从观念到行为，直至最终结果的变化，来划分等级，循序渐进评估。因此，本研究以湖南省儿童医院为案例，该研究是国内率先以柯氏模型为基础，通过文献回顾、援外培训项目分析、德尔菲专家函询法和层次分析法，构建基于柯氏模型的医学援外培训效果评价指标体系，形成一套科学、可行的评估工具，以提升培训效果转化率和整体援外培训质量。研究方法 成立研究小组研究小组由 名成员组成，分别为案例医院援外培训师资、援外培训项目管理人员，以及从事全球卫生研究人员。选择和确定咨询专家考虑本医学援外培训的特殊性和从事全球卫生工作人力资源的紧缺性，本研究采取目的抽样方法选取 位符合入选标准的专家。入选标准如下：现在或曾经从事援外培训或管理工作、全球卫生管理或教育工作 年及以上；硕士及以上学历；中级及以上职称；专业知识丰富、学术态度严谨，自愿并积极参与本研究的函询工作，互相不知晓函询内容。名专家分别来自中国北京、上海、湖北、湖南个不同省份及国外的柬埔寨、埃及、孟加拉国、尼泊尔、坦桑尼亚、摩尔多瓦个发展中国家。名专家中，男性名，女性 名；硕士研究生名，博士研究生 名；职称方面，中级名，副高级 名，正高级名；工作年限上，年 名，年名，年名；专业领域上，援外培训教育名，全球卫生名，公共卫生名，卫生管理名。构建基于柯氏模型的医学援外培训效果评价指标体系草案以“柯氏模型”“对外援助”“医疗培训”“援外卫生人力资源开发”“援外效果评价”为主要检索词，分别检索中国知网、万方数据库所有与研究相关的中文文献，共 篇；以“”“”“”“”为主要检索词，分别检索 、等数据库中与研究相关的英文文献，共 篇。在查阅大量中英文文献基础上，初步了解基于柯氏模型的医学援外培训效果评价框架。研究小组系统分析了本单位承办的 期援外培训项目交流座谈纪要和学员满意度调查问卷，从反应层、学习层、行为层和结果层构建了相应层次的一级、二级、三级指标，并通过头脑风暴法对框架条目进行分析和修改，初步制定了医学援外培训效果评价指标体系草案，共包含个一级指标（反应层、学习层、行为层和结果层）、个二级指标（培训需求、培训内容和培训师资等）和 个三级指标（基础理论知识和技能考核及新技术新业务开展情况等）。专家咨询 设计专家咨询问卷专家咨询问卷内容（中英文版）包括三部分。卷首语：说明研究背景、目的、德尔菲专家咨询介绍、专家的重要性、填写说明、问卷回寄时间等；问卷正文：将医学援外培训效果评价指标体系的各个条目按照反应层、学习层、行为层和结果层顺序列出，每个指标分别按必要性、可行性、合理性供专家选择，依次赋予 分，请咨询的专家对其认同程度进行选择；专家一般情况和专家对问卷内容的熟悉程度和判断依据。实施专家函询采用现场发放及邮件的方式进行咨询和回收，每轮专家咨询均限定在周内完成，且每轮之间间隔时间周。条目筛选和修改的原则如下：对同时满足重要性赋值均数 、变异系数 的条目，结合专家意见、课题小组集体评议予以筛选；对专家提出增加的条目加入中国社会医学杂志 年月第 卷第期 ，第二轮问卷中，提出质疑或意见的条目，结合小组成员意见予以修改，编制第二轮问卷，第二轮问卷中将所有增加、删除、修改的条目加以备注，再根据专家不同的修改意见进行分析与整理，形成第三轮专家咨询问卷。三轮专家咨询后，专家的意见基本趋于一致，结束函询。统计学方法应用 软件进行数据录入，用 软件进行数据分析，计量资料用（?）、变异系数（）描述，计数资料用频数、百分比描述。通过问卷的回收率和权威系数，分别反映专家积极系数和权威性；专家意见集中程度用条目相关性均值和 表示，专家意见协调程度用肯德尔协调系数（值）表示。越小，表示专家对各指标意见的集中程度越高。采用层次分析法计算不同指标的权重值。以 代表差异具有统计学意义。结果 专家积极程度本研究三轮咨询共发放 份问卷，共收回 份，回收率 ，具有较高的回复率。此外，位专家对指标表达提出修改意见，位专家建议个别三级指标重新归属，整体而言，专家的积极性较高。专家意见的权威程度本研究第一轮专家咨询的专家判断系数（）为 ，熟悉程度系数（）为 ；第二轮专家咨询的 均数为 ，均数为 ；第三轮专家咨询的 均数为 ，均数为 ；三轮专家函询的权威系数分别为 ，。专家意见的协调程度以属性必要性为例，第一轮一级指标、二级指标、三级指标的专家意见协调程度的 值分别为 ，显著性检验结果显示差异有统计学意义（）；第二轮一级指标、二级指标、三级指标的专家意见协调程度的 值分别为 ，；第三轮一级指标、二级指标、三级指标的专家意见协调程度的 值分别为 ，；逐渐升高，且具有统计学意义，表明经过三轮专家咨询，专家对本研究各级指标认可一致性程度较高。见表。表三轮专家咨询意见协调程度的 值及显著性检验指标属性第一轮 值值值第二轮 值值值第三轮 值值值一级指标必要性 可行性 合理性 二级指标必要性 可行性 合理性 三级指标必要性 可行性 合理性 指标评价体系函询结果第一轮专家函询结束后，根据重要性、可行性、变异系数和权重值，结合专家意见，删除三级指标 个，如“培训内容深度适中”“不良事件发生率”“存在的困难”“病人死亡率”“门急诊病房经济运行指标”等，新增加三级指标个，如“培训目标是否符合学员预期”“出勤率”“临床领导力”等；“培训内容贴合临床实际，能够用于临床工作中”不属于“培训内容”，应归属于“临床工作能力”。第二轮专家函询结束后，删除三级指标个，如“培训目标是否符合学员预期”和“其他”；修改个三级指标，将“培训后职业发展前景”修改为“培训结束后三年内职业发展前景”，将“科研成果”成果修改为“与培训主题相关的科研成果。第三轮专家函询后，无新增和删除指标。第三轮专家咨询后各专家意见趋于一致，结束函询，最终筛选确定一级指标个，二级指标 个，三级指标 个。见表、表、表。表医学援外培训效果评价指标体系的一级指标一级指标属性平均分变异系数权重值反应层必要性 可行性 合理性 学习层必要性 可行性 合理性 行为层必要性 可行性 合理性 结果层必要性 可行性 合理性 中国社会医学杂志 年月第 卷第期 ，表医学援外培训效果评价指标体系的二级指标二级指标属性平均分变异系数权重值培训需求必要性 可行性 合理性 培训内容必要性 可行性 合理性 培训师资必要性 可行性 合理性 培训实施必要性 可行性 合理性 培训保障必要性 可行性 合理性 理论知识必要性 可行性 合理性 技能知识必要性 可行性 合理性 临床工作能力必要性 可行性 合理性 教学与科研能力必要性 可行性 合理性 组织受益必要性 可行性 合理性 个人收益必要性 可行性 合理性 表医学援外培训效果评价指标体系排名前十位的三级指标三级指标属性平均分变异系数权重值培训教材和医学模型能够满足培训需求必要性 可行性 合理性 驻外机构服务必要性 可行性 合理性 新技术新业务开展情况必要性 可行性 合理性 基础技能考核必要性 可行性 合理性 教师临床知识及经验，能够胜任培训工作必要性 可行性 合理性 培训必要性必要性 可行性 合理性 人际关系与交流能力必要性 可行性 合理性 培训考核方式必要性 可行性 合理性 根据培训主题选择合适多样的培训形式必要性 可行性 合理性 专业技能考核必要性 可行性 合理性 讨论 医学援外培训效果评价指标体系的内容分析本研究通过专家咨询法和主层次分析法构建了个一级指标、个二级指标和 个三级指标的医学援外培训效果评价指标体系。从一级指标权重来看，反应层权重值最大，必要性为 ，可行性为 ，合理性为 ，说明培训项目前期筹备非常重要，如培训内容、师资力量、培训实施和后勤保障直接影响培训质量和学员满意度。在二级指标中，培训需求权重值最大，其中必要性 ，可行性 ，合理性 ，说明全面了解学员的实际需求有助于提高项目可行性的精准度，也能为项目的过程监督和效果评估提供证据支撑。在三级指标中，排名前五位的必要性权重指标依次为“培训教材和医学模具能满足培训需求”“驻外服务机构”中国社会医学杂志 年月第 卷第期 ，“新技术新业务开展情况”“基础技能考核”和“教师临床知识及经验能够胜任培训工作”，由此可见，援外项目承办单位要加强与驻外机构的沟通和协调，在学员筛选和手续办理等方面提供切实高效的保障服务。另一方面，要重视学员临床技能的提升，鉴于援外医学培训涉及学员的跨文化适应性，承办机构要加强援外培训学员回访调研，实地考察学员是否将所学的医学知识和临床技能应用到工作中，这是培训最根本的目的，同时也为提升援外培训工作的持续性和长远影响提供现实理论依据。医学援外培训效果评价指标体系的科学性相关研究表明，专家的权威系数 ，即可表明专家的权威程度较高，专家咨询结果可靠性比较好。本研 究 纳 入 专 家 权 威 系 数 分 别 为 ，说明专家权威性比较高，为指标体系构建的可靠性奠定了坚实的基础。三轮专家函询问卷回收率均达 ，大部分专家对指标的表述提出修改意见，说明专家对研究内容积极性高。本研究