敏捷治理：教育人工智能伦理治理新模式_王佑镁.pdf

2023年第7期（总第363期）敏捷治理：教育人工智能伦理治理新模式王佑镁，王旦，梁炜怡，柳晨晨（温州大学 大数据与智慧教育研究中心，浙江 温州325035）摘要进入21世纪以来，人类迈入数据规模呈指数级上升的人工智能时代，人工智能教育成了热切的必然趋势，也出现了不可避免的风险挑战，引发一系列伦理问题，而教育人工智能伦理治理研究始终停留在单一化、被动化的层面，治理效能不显。文章将教育人工智能的伦理风险归纳为“PBAS”四类问题，剖析伦理风险治理现存的五个短板，提出借鉴使用一种全新的治理模式敏捷治理，来创新应对教育人工智能伦理治理问题。研究以敏捷治理的演绎趋势与内涵特征为切入口，结合敏捷治理的原则与能力，构建教育人工智能伦理敏捷治理五步循环模型，设计五层实践路径，并以“PBAS”四类问题为例，详细阐述敏捷治理解决方案。以期为教育人工智能伦理问题提供一种新的治理范式，为伦理风险的可持续治理与健康发展提供参考与借鉴。关键词教育人工智能；伦理问题；敏捷治理；治理模式中图分类号 G434文献标志码 A作者简介王佑镁（1974），男，江西吉安人。教授，博士，主要从事人工智能教育、数字阅读研究。E-mail：。DOI:10.13811/ki.eer.2023.07.003理论探讨基金项目：全国教育科学规划2021年度国家一般课题“教育领域人工智能应用的伦理风险与防范对策研究”（课题编号：BCA210086）一、引言随着算法与交互方式的不断更新迭代，人工智能不断推动人类社会向智能化方向迈进，对包括教育在内的社会各个领域带来了巨大的冲击。2017年7月，中华人民共和国国务院发布新一代人工智能发展规划聚焦人工智能技术的变革与未来发展，并指出智能时代教育改革的基本方向与根本性道路，即发展智能化教育1。目前，教育人工智能发展如火如荼，在促进学生个性化学习、提升教师教学效率、实现数据精准采集等方面显示出巨大潜力和显著成效，但同时也给教育某些方面带来新的挑战，诸如师生间情感交流较少、技术存在偏见与歧视、教学过程机械化等，在教育领域逐渐被技术垄断的过程中，人工智能教育应用忽略了伦理和道德的内在意蕴，忽视了以人为本的准则，从而背离了教育的本质与初衷。社会各界开始重视教育人工智能伦理规范建设，一方面，从人工智能伦理原则中建构教育伦理规范及治理路径2；另一方面，探讨人工智能与学校教育的有效融合方式以此避免伦理风险的发生3。从趋势看，教育人工智能会走向强大的融合发展场域，如果仅仅依靠传统自上而下、被动的治理方式，是否能够及时应对教育人工智能引发的一系列伦理问题，是否需要改变治理方式；如果需要，又将如何开展和治理，本文试图回答上述议题。二、教育人工智能伦理风险问题及治理现状（一）教育人工智能主要伦理问题人工智能是能执行通常需要人类智力或感官能力的任务或功能的技术，在科学、工程和技术等领域占据主导地位，也通过人工智能学习系统、算法产品等在教育领域蓬勃发展。教育人工智能是人工智能与学习科学相结合形成的新研究领域，通过观察、理解和掌握学习的发生过程，为学生的学习创造更好的条件，帮助教师更有效地教学4。例如，人工智能可为学生提供个性化的学习系统，为教师提供自动评估系21电化教育研究统、辅助教学的面部识别系统等。然而，人工智能也为教育领域带来了一些伦理道德的缺陷，如算法偏见和歧视对学生造成心理伤害，放大种族、性别、地域等多种形式的不公平性，侵犯学生隐私和数据带来隐患等。胡小勇等将伦理问题归纳为技术设计与开发和教育实践两方面5，苗逢春总结了基于数据和算法的预测和决策引发的四类伦理问题6，邓国明等将教育人工智能伦理问题划分为利益相关者伦理问题、技术伦理问题和社会伦理问题三个层次7，将教育人工智能伦理问题的研究推上热潮。本文借鉴Akgun在K-12教育中提出的人工智能教育应用的伦理问题8，主要从“PBAS”四类来阐述教育人工智能的伦理问题，包含隐私、偏见和歧视、自治、监视，如图1所示。图1“PBAS”四类问题1.隐私（Privacy）教育人工智能伦理最大的问题之一是隐私问题，隐私侵犯主要发生在学生的个人信息未被征得同意的情况下暴露过多，通过不知情分享降低学生个人能动性与泄露隐私，隐私保护与开放共享之间的关系矛盾难以化解9。例如，在人工智能系统采集学生学习行为数据、面部表情数据等情况下，学生个人隐私极有可能被传播，产生不良影响。管理者在收集数据后，也可能发生向教师、家长等随意透露的风险。数据的过度采集十分容易加剧学生隐私泄露而带来的伤害10。在学校单方面使用人工智能产品来辅助教学的同时，学生和家长对于隐私问题是未知和别无选择的。此外，一些在线教育平台也会在未经用户的允许下收集超出范围以外的信息并泄露给第三方。2.偏见和歧视（Bias and Discrimination）教育人工智能的变革关键是算法，但算法是人类开发设计的，能操纵且不易改变。因此，经过长时间的算法迭代，它的未知性无疑给教育领域带来了一定的算法偏见或歧视，可能造成信息茧房。研发者在没有充足教育知识与经验的情况下，无法预先洞悉算法会带来哪些问题，从而对学生造成偏见与歧视，这很有可能是无意的。例如，2020年，英国某中学利用资格等级的算法对大量学生造成了严重地分层打击，引发教育的不公平性11。此外，性别偏见和歧视也是常见伦理问题，对语言学习课程学生最为明显。例如，使用人工智能翻译器时，谷歌翻译会将“她/他是护士”翻译为女性，将“她/他是医生”翻译为男性，这表明了教育人工智能的社会偏见和对性别的刻板印象。3.自治（Autonomy）教育的本质是主体间发生交互的学习过程，教师与学生在享受人工智能带来便利的同时，也存在着人际关系的伦理风险。例如，教师与学生间主体地位不明，学生丧失自主学习能动性，失去自主决策的权利，教师过度以人工智能教学为主，弱化创新思维和探究性学习培养。此外，更有可能出现人工智能越位现象，人工智能不仅具有著作权、劳动权等权利与义务，甚至能精准模仿人类行为与语言。可是，人工智能在教育领域带给教师与学生学习、教学、评价和监测等方面的便利都是有益的吗？相关问题的探讨目前没有得到明晰地解决。4.监视（Surveillance）在监视方面，最熟悉的教育人工智能应用则是利用智能算法设计对师生的情绪、表情、行为等进行收集与记录。将监控机制嵌入人工智能预测系统中，以衡量学生学习表现、优缺点、学习方式，甚至对师生之间的交流对话进行录音分析。这必将限制师生之间的正常交流，使其逐渐对自己想法产生质疑12，从而影响正常的教学活动，降低教学效率。此外，教师不恰当行为的发生，如经常性巡逻与监督，也会给学生带来未知伤害，但很有可能被人工智能产品视为对学生的正确管理，这一伦理问题的解决方式主要需要背后管理人员规范。（二）教育人工智能伦理问题的治理状况针对教育人工智能伦理现存的一系列问题，引起了各国广泛关注，各国开始重视对教育人工智能伦理问题的治理。目前，仅有少量的官方政策文本与报告和学者们的研究。例如，联合国教科文组织在2019年发布北京共识人工智能与教育13教育中的人工智能：可持续发展的机遇和挑战14，强调了人工智能需要为全民提供优质的教育和学习机会，并对其带来的影响进行预见性评测。杜静等提出“APETHICS”框架，为教育人工智能伦理问题提供解决模型15。本文重点关注白金汉大学建立的教育人工智能伦理研究所在2020年发布的中期报告：值得信赖的人工智222023年第7期（总第363期）能伦理指南16，其中提到为实现道德化的教育人工智能而提供的机制选项，包括九条基础实现机制和七条深层实现机制。其中，基础实现机制中第五条：利益相关者的教育和意识，即提供教育相关知识提升利益相关者的道德意识。深层实现机制中第三条：保障途径，即在法律保障的范围内确保学习者使用教育人工智能的安全性。然而，现阶段对教育人工智能伦理问题治理仍存在现实难点，传统的治理方式已不能满足其风险的治理，主要问题归纳为五个方面。1.缺乏规范指引，系统性不足面对教育人工智能存在的各类伦理问题，仍没有系统的教育伦理标准与管理规范。在企业不断拓宽人工智能在教育领域的应用范围下，政府政策与法律规范的更新速度已跟不上行业的迭代产出17。主要原因包括：一是目前教育人工智能产品与现有规范不匹配；二是未及时出台规制教育人工智能产品带来的伦理风险制度，教育人工智能的发展长期处于一种野蛮生长的状态。例如，对于教师使用人工智能辅助教学时，产生的有关隐私、偏见等伦理问题对学生造成威胁，而学校管理者过分相信人工智能产品，这是缺乏系统地顶层规范指引而造成的。2.人文关怀缺漏，主动性不强智慧教育的目标始终是以人为本，需关注人、尊重人、彰显人的主体性。在教育人工智能的伦理问题中关于师生人际关系问题值得关注与思考，教师人文关怀能给学生带来深远影响。例如，使用人工智能过程中学生对自身角色转换的感知很微妙，教师用数据来度量学习效果会造成学生学习主动性降低。现阶段教师对学生的人文关怀远远不足，不能及时且主动地预估给学生造成的伤害18。此外，教育人工智能协助教学的过程中，对教师职业的稳定性存在潜移默化的影响，尽管研究者认为人工智能无法代替人类教师，但在简单重复的工作、智能批改、智能数据采集存储等方面人工智能的优势十分明显。随着时代的快速发展，给教师带来的压力是无法预估的，目前各方对教师职业的主动关怀更是甚微。3.治理工具缺新，智能化不够近年来，在解决教育人工智能伦理问题时，众多国家相继发布针对人工智能伦理问题解决的政策报告，并提出教育领域人工智能的合理性边界与正确的做法，我国也同样予以高度地关注与重视。然而，有学者提出，教育人工智能伦理问题治理总体还停留在对其抽象价值的提取与共识构建的阶段中19。传统治理方式并未采用智能化的治理工具对其进行及时且精准治理，缺乏深度与创新度。例如，在教育人工智能使用中，如果没有及时记录并累积每次出现的问题，并提醒后来的使用者警惕这些风险，那么教育人工智能伦理的问题必将形成一个恶性循环，而恰巧这方面正需要智能化治理工具的协助。4.问责机制欠缺，反应力不快人工智能在教育领域的顺利推行，离不开开发人员、管理人员、教师等互相协调，但在追究主体责任方面，至今欠缺良好的问责机制，治理制度的规制性和规范性不够20。开发工程师是否按照可持续性、透明性等原则构建教育人工智能的系统架构，并保障人工智能的运行程序受到追踪问责，确保使用过程中公平公正对待每个学生，是值得存疑的21。例如，数据的误差、操作不当、算法偏见与歧视，都可能带来相反结果。在事故发生后，受害者的权益如何得到正当的维护，追究事故背后原因，以避免下次再发生类似的情况，是迫切需要解决的问题。5.受众意识缺失，弥合性不高想构筑教育领域良好的人机协同关系，需具备基础的人工智能素养知识。然而，无论是开发人员还是教师与学生，对其受众意识具有缺失性。例如，老教师现有的智能教育素养水平不足以充分发挥人工智能作用，走向高质量的数字化教育转型。将人工智能素养教育推广至学校、培训机构也没有系统地规范和精准地投入，弥合性较低。此外，教育人工智能实际上拉大了各学校与地区间的数字鸿沟，其发展没有真实辅助不发达地区、一些特殊群体的学习，群众普遍没有意识其带来的差异与影响。因此，仍需更加关注教育人工智能落后的山区学生、聋哑学生等22。三、敏捷治理：一种全新的治理导向所谓敏捷，是面对事件或环境变化时能“简单、灵活、快速”地作出反应。2018年，世界经济论坛的召开，“敏捷治理”被赋予了新的概念和意义，强调其是一种以顾客为中心，具有适应性和包容性的政策制定过程23。清华大学薛澜教授认为，敏捷治理的核心思想是针对新兴技术分享提出的一种治理理念和改革目的，两大显著特征是参与广泛度和时间灵敏度24-25。此外，我国国家新一代人工智能治理专业委员会发布新一代人工智能治理原则发展负责任的人工智能文件中也提出，“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作和敏捷治理”八项人工智能治理的重要标度，这意味着敏捷治理在中国开始从社会治理领域拓展到人工智能领域26