人工智能伦理风险分析报告-国家人工智能标准化总体组-2019.4-62页.pdf

人工智能人工智能伦理伦理风险分析风险分析报告报告国家人工智能标准化总体组国家人工智能标准化总体组二零一九年四月二零一九年四月专家咨询组专家咨询组潘云鹤高文戴红谭铁牛吴朝晖李伯虎林宁于海斌吴飞周志华董景辰黄河燕朱小燕张德政朱恺真曲道奎左毅钱恒国家人工智能标准化总体组国家人工智能标准化总体组组长:赵波副组长:闵万里 胡国平 徐 波黄铁军 吴文峻 欧阳劲松秘书长：孙文龙编写单位编写单位（排名不分先后）中国电子技术标准化研究院北京九天微星科技发展有限公司中国人民大学国家电网有限公司北京理工大学苏州中德宏泰电子科技股份有限公司深圳市腾讯计算机系统有限公司中国航空综合技术研究所北京航空航天大学上海电器科学研究所（集团）有限公司大成律师事务所北京爱奇艺科技有限公司京东数字科技控股有限公司北京西普阳光教育科技股份有限公司昆山炫生活信息技术股份有限公司华为技术有限公司美国科文顿柏灵律师事务所中国船舶重工集团公司第七一六研究所美团点评西门子（中国）有限公司编写人员编写人员（排名不分先后）郭锐李慧芳曹建峰代红董建张群王燕妮汪小娟马珊珊伍敏敏赵泽睿李依朱婷婷刘雅洁刘馨泽赵蕾蕾张钦坤蔡雄山周学峰丁海俊张凌寒蔡克蒙魏铭刘元兴杨银剑陈隋和罗嫣于智精罗治兵李燕吴鹏高畅宁皓胡鹰康丹付振秋何宇聪邢琳王涛赵弋洋王莲王小璞高伟符海芳何佳洲赵蕾张珺I目录目录第一章 人工智能伦理研究的背景与意义.1第二章 国内外人工智能伦理发展现状.32.1 国外发展现状.32.2 国内发展现状.6第三章 人工智能技术的伦理风险.83.1 算法相关的伦理风险.93.1.1 算法安全.93.1.2 算法可解释性.103.1.3 算法决策困境.143.2 数据相关的伦理风险.153.2.1 隐私保护.153.2.2 个人敏感信息的识别和处理.173.3 应用相关的伦理风险.193.3.1 算法歧视.193.3.2 算法滥用.243.4 长期和间接的伦理风险.263.4.1 算法与就业.263.4.2 算法与产权.273.4.3 算法与竞争.273.4.4 算法责任.28第四章 人工智能伦理原则.294.1 人类根本利益原则.314.2 责任原则.31第五章 伦理风险评估及其管理.335.1 人工智能伦理风险评估指标.335.1.1 算法方面.335.1.2 数据方面.345.1.3 社会影响方面.34II5.2 行业实践指南.355.2.1 风险管理框架.355.2.2 风险管理流程.375.2.3 对相关人员进行培训.395.2.4 定期进行风险评估.39第六章 结论.40附录：国外有关人工智能基本原则的文献.421第一章第一章 人工智能伦理研究的背景与意义人工智能伦理研究的背景与意义自 1956 年的达特茅斯会议（Dartmouth Conference）提出人工智能概念以来，人工智能的发展经历了“三起两落”的曲折历程。2016 年 3 月，以 AlphaGo 以4:1 战胜人类棋手为标志，人工智能开始逐步升温，并成为各国政府、科研机构、产业界以及消费市场竞相追逐的对象。为了在新一轮国际竞争中掌握主导权，抢占人工智能发展的制高点，各国投入大量的精力和资金，开展人工智能关键技术的攻关与应用相关的研究与产品开发，并纷纷推出了不同的人工智能平台与产品。我国人工智能的应用范围极广。从行业应用的角度看，在制造、物流、医疗、教育、安防等行业都有广泛应用。以制造业为例，当前的制造业不论是生产、流通还是销售，都正趋于数据化、智能化。大数据和人工智能技术可以协助企业分析生产过程中的全链路数据，实现生产效率、库存周转率、设备使用效率提升等目标。在智能制造进程中，工业机器人成为人工智能的典型代表，成为智能制造的重要实现端之一。就物流行业而言，人工智能的技术应用主要聚焦在智能搜索、推理规划、模式识别、计算机视觉以及智能机器人等领域。如今，现代物流企业纷纷尝试利用人工智能技术优化物流环节、提高物流效率。人工智能还能够帮助企业根据市场销售情况、供应链生产情况、物流配送、仓储库存水平，甚至每个环节的容错概率等等进行精准排产，最大限度利用已有资源。人工智能在医疗健康主要的应用领域则包括五个方面：临床决策支持、临床辅助诊疗系统、患者管理、辅助手术和患者照护的自动设备，即各种机器人、医疗机构的管理以及新药的研发。人工智能在自动驾驶、医疗、传媒、金融、工业机器人以及互联网服务等越来越多领域和场景下得到应用，一方面带来了效率的提升、成本的降低，另一方面，人工智能系统的自主性使算法决策逐步替代了人类决策，而这种替代有时非但没有解决已有的问题，还让已有的问题更难解决，甚至给社会带来了全新的问题。这些问题不仅仅引发社会的广泛讨论，更是限制人工智能技术落地的重要因素。其中最为典型的便是自动驾驶领域，社会的巨大需求与技术的不断成熟让2自动驾驶成为了全球炙手可热的研究与发展领域，而其潜在的风险又驱使人们去反思技术带来的伦理问题。各国已有法律与政策的难以适用以及新政策的模糊不清也给自动驾驶技术的落地造成了困难。面对伦理风险与其潜能一样巨大的人工智能技术，人们急需一个广泛、普遍的伦理探讨，并在这些探讨的基础之上找到路径、梳理规范，以保证人工智能的良性发展目前，各国、各行业组织、社会团体和人工智能领域的商业公司纷纷提出人工智能的伦理准则，对人工智能技术本身以及其应用进行规制。中国政府把人工智能作为产业升级和经济转型的主要驱动力，鼓励、扶持并推动人工智能的发展。在我国推动人工智能发展的关键时期，推动对人工智能伦理和社会问题的探讨有极为重要的意义。因此，本报告以人工智能应用引发的社会伦理问题为出发点，在充分了解人工智能系统带来的伦理、法律和社会影响的基础上，分析人工智能应用即自主性决策结果而产生的社会公平、安全及问责等伦理道德问题，例如算法决策与歧视、隐私与数据保护、算法安全与责任、算法解释、算法与产权、算法与竞争、算法滥用以及强人工智能问题，通过遵循人工智能伦理原则与设计相应的风险指标体系，对人工智能的研发和应用提供风险管理指引，以便为人工智能伦理的行业实践提供初步的应用指南与建议，推动人工智能产业的良性、健康发展。3第二章第二章 国内外人工智能伦理国内外人工智能伦理发展发展现状现状2.12.1 国外国外发展发展现状现状步入第三次人工智能发展浪潮以来，人工智能成为国际竞争的新焦点，各国各地区高度重视人工智能的发展，纷纷出台战略文件支持，促进人工智能的发展，确保人工智能对经济和社会产生积极影响，并造福于个人和社会。人工智能伦理由此成为各国人工智能政策的核心内容之一。以欧盟为例，其以多举措推进人工智能伦理立法。早在 2015 年 1 月，欧盟议会法律事务委员会（JURI）就决定成立一个工作小组，专门研究与机器人和人工智能发展相关的法律问题。2016 年 5 月，法律事务委员会发布就机器人民事法律规则向欧盟委员会提出立法建议的报告草案（Draft Report withRecommendations to the Commission on Civil Law Rules on Robotics，简称报告草案）；同年 10 月，发布研究成果 欧盟机器人民事法律规则（European CivilLaw Rules in Robotics）1。此后，欧盟委员会将“人工智能和机器人的伦理标准等”纳入 2018 年欧盟立法工作的重点，要在人工智能和机器人领域呼吁高水平的数据保护、数字权利和道德标准，并成立了人工智能工作小组，就人工智能的发展和技术引发的道德问题制定指导方针。在此背景下，2018 年 3 月，欧洲科学与新技术伦理组织（European Group on Ethics in Science and New Technologies）发布关于人工智能、机器人及“自主”系统的声明（Statement on ArtificialIntelligence，Robotics and AutonomousSystems）2，呼吁为人工智能、机器人和“自主”系统的设计、生产、使用和治理制定共同的、国际公认的道德和法律框架。而在近日，欧盟委员会人工智能高级专家组（The European CommissionsHigh-Level Expert Group on Artificial Intelligence）于 2018 年 12月 18 日发布了 关于可信赖人工智能的伦理准则（草案）（“Ethics Guidelines for Trustworthy AI”）1曹建峰.十项建议解读欧盟人工智能立法新趋势EB/OL.2019-03-25http:/www.tisi.org/4811.2欧洲科学与新技术伦理组织.关于人工智能、机器人及自主系统的声明R.曹建峰译.北京:腾讯研究院,2018.43。在这个草案中，欧盟尝试提出了一个框架，确保在开发、推广或应用人工智能的过程中，研发者能尊重基本权利、原则及价值。具有人权传统的欧盟秉持以人为本的人工智能发展理念，希望通过人工智能价值引导人工智能发展，塑造其社会影响，造福个人和社会。这一系列举措表明了欧盟通过人工智能伦理规制、约束人工智能向着有益于个人和社会发展的决心。在技术和产业不占优势的情况下，欧盟人工智能战略的重头戏放在了人工智能价值观，希望以此彰显欧盟发展人工智能的独特优势。其他国家亦在积极推进人工智能伦理。美国特朗普总统于 2019 年 2 月 11 日签署了一项行政命令，正式启动“美国人工智能计划”，以刺激推动美国在人工智能领域的投入和发展，这其中就包括了道德标准的要求，像白宫科技政策办公室（OSTP）和美国国家标准与技术研究院（NIST）这样的政府机构将被要求制定标准，指导“可靠、稳健、可信、安全、可移植和可互操作的人工智能系统”的开发。英国政府曾在其发布的多份人工智能报告中提出应对人工智能的法律、伦理和社会影响，最为显著的是英国议会于 2018 年 4 月发出的长达 180 页的报告 英国人工智能发展的计划、能力与志向（AI in the UK:ready,willing and able？）4。该报告认为当前不需要对人工智能进行专门监管，各个行业的监管机构完全可以根据实际情况对监管做出适应性调整。相反，该报告呼吁英国政府制定国家层面的人工智能准则（AI Code），为人工智能研发和利用设定基本的伦理原则，并探索相关标准和最佳实践等，以便实现行业自律。此外，联合国教育、科学及文化组织（United Nations Educational,Scientificand Cultural Organization，简称 UNESCO）的下设委员会（the World Commissionon the Ethics of Scientific Knowledge and Technology of UNESCO，简称 COMEST）历时两年完成并于 2017 年 9 月发布机器人伦理报告（Report of COMEST onrobotics ethics）5，建议制定国家和国际层面的伦理准则。全球最大的专业学术组织电气和电子工程师协会（Institute of Electrical andElectronics Engineers，IEEE）于 2016 年启动“关于自主/智能系统伦理的全球倡3欧盟委员会人工智能高级专家组.关于可信赖人工智能的伦理准则J.青年记者,2019(01):88.4AI in the UK:ready,willing and able,https:/publications.parliament.uk/pa/ld201719/ldselect/ldai/100/100.pdf,p.38.5UNESCO(2017).Preliminary draft report of comest on roboticsethicsEB/OL.2018-05-12.http:/unesdoc.unesco.org/images/0024/002455/245532E.pdf.5议”，其发布的“人工智能设计的伦理准则”白皮书目前已迭代到第二版，第三版希望融入更多来自亚洲地区的声音。此外，2017 年美国的未来生命研究所（future of life institute，FLI）主持达成了 23 条人工智能原则，近四千名各界专家签署支持这些原则，在业界引起了较大反响。美国计算机协会（Association forComputing Machinery,简称 ACM）提出的算法透明和可责性七项原则、负责任地发展人工智能的蒙特利尔宣言、UNI Global Union 提出的人工智能十大原则等也代表着类似的人工智能伦理思考。当然，面对社会公众的担忧和质疑，科技公司并非无动于衷，早已开始思考人工智能技术及其应用的社会经济和人类健康影响，并采取措施确保人工智能有益于、造福于个人和社会，最终目的是希望人工智能在人类社会中扮演一个积极的角色，而非沦为破坏者。科技公司的举措主要体现在以下三个方面：其一，积极拥抱人工智能伦理与社会研究。如今，人工智能领域的一个重要的风向标就是，人工智能研究不仅关乎技术，更关乎技术的伦理与社会影响。跨学科、跨领域的研究在人工智能领域正成为一个显著的趋势。以 DeepMind 公司为例，其于2017年10月3日宣布成立人工智能伦理与社会部门（DeepMind Ethics&Society），目的就在于补充、配合其人工智能研发和应用活动。其二，提出人工智能价值观。面对人工智能引发的一些负面问题，谷歌、微软等科技公司纷纷提出企业层面的人工智能价值观以赢得公众和公众的信任。比如，微软、谷歌、IBM、Sage、SAP 等科技企业均提出了自己的人工智能原则。其三，成立人工智能伦理委员会。早在谷歌收购 DeepMind 之时，其就承诺建立一个人工智能伦理委员会 AETHER（AI and Ethics in Engineering andResearch Committee）。微软在其计算化未来：人工智能及其社会角色一书中透露其已经成立了一个人工智能伦理委员会 AETHER（AI and Ethics inEngineering and Research Committee），确保将其奉行的人工智能原则融入人工智能研发和应用。据其说法，这个委员会作为微软的内部机构，囊括了工程、研究、咨询、法律等部门的专家，旨在积极推动形成内部政策并应对潜在的问题。该 AETHER 委员会的主要职责是，制定能够作用于微软人工智能产品和方案之研发和应用的最佳实践和指导原则，帮助解决从其人工智能研究、产品和用户互动中产生的伦理和社会问题。此外，今年 5 月，在经历了引起轩然大波的数据泄6露丑闻之后，Facebook 宣布成立人工智能伦理团队，负责防止其人工智能软件中的歧视。从其官网可以发现，Facebook 正在招聘人工智能政策、伦理、法律等方面的人员，表明其开始重视人工智能伦理相关的工作。凡此种种表明，在人工智能技术研发和应用之外，人工智能伦理已经成为科技公司的主要关切之一。一方面在加强人工智能伦理相关的研究，另一方面通过人工智能伦理委员会对人工智能技术、产品和应用形成伦理约束。与此同时通过对外传递其人工智能价值观树立产业良好形象。2.22.2 国内国内发展发展现状现状我国已经将人工智能伦理提上日程。2017 年发布的新一代人工智能发展规划6提出了中国的人工智能战略，制定促进人工智能发展的法律法规和伦理规范作为重要的保证措施被提了出来。在该战略文件中，伦理一词出现 15 次之多，足见我国对人工智能伦理的高度重视。其释放的信号是，不仅要重视人工智能的社会伦理影响，而且要制定伦理框架和伦理规范，以确保人工智能安全、可靠、可控发展。2018 年 1 月 18 日，在国家人工智能标准化总体组的成立大会上，人工智能标准化白皮书 20187正式发布。白皮书论述了人工智能的安全、伦理和隐私问题，认为设定人工智能技术的伦理要求，要依托于社会和公众对人工智能伦理的深入思考和广泛共识，并遵循一些共识原则。2018 年 9 月 17 日，国家主席习近平致信祝贺 2018 世界人工智能大会在沪召开。习近平在贺信中指出，新一代人工智能正在全球范围内蓬勃兴起，为经济社会发展注入了新动能，正在深刻改变人们的生产生活方式。把握好这一发展机遇，处理好人工智能在法律、安全、就业、道德伦理和政府治理等方面提出的新课题，需要各国深化合作、共同探讨。在业内，腾讯研究院等研究机构亦非常重视人工智能伦理研究。以腾讯研究院为例，其在国内较早开始关注并研究人工智能伦理和社会问题，率先将欧盟、联合国、IEEE 等出台的人工智能伦理政策文件和报告译介到国内，并就算法歧6国务院.新一代人工智能发展规划(国发201735 号)EB/OL.(2017-07-20)2019-03-25.http:/ AI 实验室、腾讯开放平台一起出版了人工智能：国家人工智能战略行动抓手8一书，书中战略篇、法律篇、伦理篇以及治理篇着重讨论人工智能的社会和伦理影响，呼吁为人工智能的发展和应用制定共同的伦理框架。当前，国内外各界都非常重视人工智能伦理和社会影响研究，希望在发展和应用人工智能这一新技术造福社会和人类的同时，也能意识到其可能带来的负面影响和伦理问题，确保人工智能安全、可靠、可控发展。8腾讯研究院,中国信息通信研究院互联网法律研究中心,腾讯 AILab,腾讯开放平台.人工智能：国家人工智能战略行动抓手M.北京:中国人民大学出版社,2017.8第三章第三章 人工智能人工智能技术的伦理风险技术的伦理风险人工智能技术的开发和应用深刻地改变着人类的生活，不可避免地会冲击现有的伦理与社会秩序，引发一系列问题。这其中，既有直观的短期风险，如算法漏洞存在安全隐患、算法偏见导致歧视性政策的制定等，也有相对间接的长期风险，如对产权、竞争、就业甚至社会结构的影响。尽管短期风险更具体可感，但长期风险所带来的社会影响更为广泛而深远，同样应予重视。长远来看，人工智能应用的伦理风险具有独特性。其一，与个人切身利益密切相关，如将算法应用在犯罪评估、信用贷款、雇佣评估等关切人身利益的场合，一旦产生歧视，必将系统性地危害个人权益。其二，引发算法歧视的原因通常难以确定，深度学习是一个典型的“黑箱”算法，连设计者可能都不知道算法如何决策，要在系统中发现有没有存在歧视和歧视根源，在技术上是比较困难的。其三，人工智能在企业决策中的应用愈发广泛，而资本的逐利本性更容易导致公众权益受到侵害。例如，企业可以基于用户行为数据分析实现对客户的价格歧视，或者利用人工智能有针对性地向用户投放游戏、瘾品甚至虚假交友网站的广告，从中获取巨大利益等。根据风险产生的方式，下文从算法、数据和应用三个维度梳理人工智能伦理风险的具体性质与特征。此外，对就业、市场竞争秩序、产权等法律制度的挑战等人工智能远期发展带来的潜在伦理风险，我们将其归入之中长期和间接的伦理风险中。图图 1 人工智能风险的三个维度人工智能风险的三个维度93.13.1 算法相关的伦理风险算法相关的伦理风险3.1.13.1.1算法安全算法安全（1）算法安全风险产生的原因）算法安全风险产生的原因其一，算法存在泄露风险。算法需要模型参数，并且在训练数据中运行该模型参数。如果算法的模型参数被泄露，第三方则有可能能够复制该算法。其二，算法从设计、训练到使用均面临可信赖性问题。一方面，算法的训练数据不能完全覆盖应用场景的所有情况。另一方面，和传统的算法相比，人工智能算法在原理上是用于处理步骤不明确，输入较不受限的场景，并且允许错误率存在一定的弹性。基于人工智能算法的以上特性，如果在使用之前，算法的参数被非法修改，或者在使用过程中被攻击者通过恶意样本修改，那么算法性能的下降或错误率的升高将较难被觉察到。其三，部分场景下的算法对随时可用的要求较高。算法的可用性在许多关键的场景中非常重要。例如，无人驾驶汽车作为网络中的一个节点，有可能受到外部的网络攻击。当这种情况发生时，负责自动驾驶的算法模块必须保持可用，以控制汽车的安全行进和停止。其四，人工智能算法在许多场景的应用都与人身安全息息相关，如在医疗领域、自动驾驶领域等。这些领域的算法应用一旦出现漏洞，将直接侵害人身权益，后果难以挽回。（2 2）算法安全风险带来的影响）算法安全风险带来的影响首先，算法泄露可能给算法的所有者和用户造成损失。一方面，算法泄露后，第三方可在不支付获取数据成本的情况下为用户提供价格更低的产品，这将给算法的所有者造成商业损失。另一方面，训练数据在很多情况下包含用户的个人数据，丢失这样的数据会将用户置于危险之中，例如，这些信息被第三方用于网络欺诈、勒索等等。若发生以上风险，用户将向算法训练数据的控制者要求索赔，从而算法数据的控制者将承担相应的法律责任。其次，算法随时可用的要求对其可靠性带来挑战。某无人驾驶汽车能够识别鹿并进行躲避，但是该系统到澳大利亚进行测试时，由于袋鼠独特的跳动前进模10式，系统无法识别出袋鼠从而无法进行躲避。也就是说，人工智能算法相对于只能按照明确步骤执行的算法，具有一定的智能，但同时其智能也具有局限性，而攻击者则有可能利用这样的局限性进行攻击。例如，在无人驾驶系统中，对图片加入受控的噪声以使识别结果错误。再次，算法和运行系统可能直接或间接地引发人身伤害，并引发一系列法律追责困境。以医疗为例，当医生使用智能辅助软硬件系统而发生医疗纠纷时，如何界定权责便成为法律面临的难题。从更长远的角度看，人工智能影像识别系统的应用虽然能减轻医师读片（阅读 CT、X 光片、核磁等图像并作出诊断的能力）的压力，但也会出现相应的问题。若大规模普及这种影像识别系统，医生群体整体读片的技能将逐渐下降，并将导致医生对人工智能的识别结果失去鉴别力。（3 3）算法安全风险的应对）算法安全风险的应对针对算法漏洞带来的安全风险，需要加强算法保密性，如通过加密等相应的安全防护措施确保算法不被轻易泄露。针对算法的可信赖性风险，需要通过传统的安全防护措施防范算法参数被非法修改的可能性，例如将修改权限限于已获授权的特定用户。此外，还需要从算法的原理出发对算法的整体设计进行改进。针对算法随时可用要求对其带来的可靠性挑战，人工智能算法不仅要考虑正常的算法输入，也要考虑异常的输入，并且保证系统在异常输入时仍然保持其可用性，如设立应急系统，或通过运行足够多的测试来降低异常情况发生的可能性。针对算法运行可能造成人身伤害的风险，应在医疗等攸关人身安全的领域明确风险提示要求，并选择那些稳定性高且原理可解释的算法，以保证算法运行的安全和可追责性。此外，还需加强系统的可测试性，例如使用人工智能的医疗器械，不仅必须通过通常的器械测试，并且还需通过对可能的算法特征引起的风险的针对性测试。3.1.23.1.2算法可解释性算法可解释性（1 1）算法可解释性的定义）算法可解释性的定义依据 2017 年美国加州大学伯克利分校发布的对人工智能系统挑战的伯克11利观点，可以将算法的可解释性理解为“解释人工智能算法输入的某些特性引起的某个特定输出结果的原因”。Miller 等人在其 2017 年的综述中将“可解释性”定义为“展示自己或其它主题做出的决定所依赖的原因”9。但因为算法的原因和我们日常生活中的原因可能很不一样，所以可解释性的概念还需要在算法环境下进行理解和界定。2017 年 ICML 的 Tutorial 中给出的一个关于可解释性的定义是：“解释是给人类作出解释的过程”10，引申来说就是以人类能理解的描述给出解释，以让人类能看懂。算法解释按照解释的内容划分可以分为过程解释和决策解释11。按照路径来划分，可以分为模型中心解释和主体中心解释。模型中心解释，注重算法模型、逻辑过程、数据信息的全局解释，而主体中心解释侧重建立在输入记录的基础上的局部解释，不苛求进入“黑箱内部”，更多是在算法决策（过程和结果）和算法主体（设计者、使用者和消费者）之间建立关系，从而提供出学者在研究欧盟GDPR 时所提出的“有意义的（meaningful）解释”12。而反设事实解释，并不试图解释黑盒算法的内部逻辑而是提供了关于外部依赖因素的解释，即无需“打开黑盒”，其可以通过逻辑推演仅对局部（如两端：假设条件和得出结果）进行解释，而无需对算法模型和过程机制进行解释。主体中心解释和反设事实解释减轻了企业解释的成本负担，并能够为算法消费者提供更为有效的救济以及“有意义的解释”。（2 2）算法可解释性安全风险产生的原因）算法可解释性安全风险产生的原因算法之所以难以解释，是因为“黑箱”现象的存在。数据公司 Teradata 首席技术官斯蒂芬布罗布斯特（Stephen Brobst）认为，机器学习基本就是线性数学，很好解释，但是一旦涉及多层神经网络，问题就变成了非线性数学，不同变量之间的关系就纠缠不清了。此外，因为人工智能算法的两个复杂性特质：涌现性和9Miller,Tim,Piers Howe,and Liz Sonenberg.Explainable AI:Beware of inmates running the asylum,IJCA-17 Workshop on ExplainableAI(XAI),2017.10“Interpretation is the process of giving explanations to Human”.11美国计算机协会美国公共政策委员会 2017 年初发布的算法透明性和可问责性声明提出要对算法的过程和特定的决策提供解释。12Lilian Edwards&Michael Veale,Slave to the Algorithm?Why a“Right to an Explanationis probablynot the remedy you are looking for,16 Duke L.&Tech.Rev.18(2017).12自主性，使其比较难以理解和解释，从而导致“黑箱”现象13。（3 3）算法可解释性安全风险的影响）算法可解释性安全风险的影响算法可解释性和透明性是一个重要的人工智能伦理命题，因为其关涉人类的知情利益和主体地位。人类对算法的安全感、信赖感、认同度取决于算法的透明性和可理解性。算法的复杂性和专业性，使得信息不对称更加严重，且这种不对称的加重不只发生在算法消费者与算法设计者、使用者之间，更发生在人类和机器之间，所以算法应用下的“人类知情利益保障”是一个比较棘手的问题。另外，人工智能算法的两个复杂性特质涌现性和自主性，导致理性原则失效，难以通过行为原则判断和道德代码嵌入来保证算法的“善”14，这将会给社会带来伦理难题。如在智能信贷领域，智能金融算法可能会产生“降低弱势群体的信贷得分”15，“拒绝向有色人种贷款”16，“广告商更倾向于将高息贷款信息向低收入群体展示”17等歧视性决策。由于做出这种决策是不透明的，但该决策对于用户而言意义重大，因此受算法决策影响的用户应该得到有关“解释”，包括算法的功能和通用的逻辑、算法的目的和意义、设想的后果、具体决定的逻辑和个人数据的权重等18，否则将会产生严重的伦理问题。典型如金融领域，人工智能已广泛应用于金融风险评估等关键环节。向金融消费者提供人工智能算法的合理解释，是金融消费者保护的题中之义。提供算法解释的目的是使金融消费者了解对其不利的决定是如何做出的，以便在上述不利决定违反法律的情况下提供救济。对弱势群体作出拒绝贷款的决策，应该特别引起注意。如果这种决策是基于人工智能算法作出的，应该向算法决策影响到的个13参见刘劲杨：人工智能算法的复杂性特质及伦理挑战，载光明日报，2017 年 9 月 4 日 15版。14参见刘劲杨：人工智能算法的复杂性特质及伦理挑战，载光明日报，2017 年 9 月 4 日 15版。15How Algorithms Can Bring Down Minorities Credit Scores,available athttps:/ visited：June 13,2018。16Did Artificial Intelligence Deny You Credit?available athttp:/ visited：June 13,2018。17When Algorithms Discriminate-The New York Times,available athttps:/ visited：June 13,2018。18张凌寒：商业自动化决策的算法解释权研究，载法律科学(西北政法大学学报)，2018 第3 期，第 72 页。13人“解释”算法的功能和通用的逻辑、算法的目的和意义、设想的后果、具体决定的逻辑和个人数据的权重等，否则将会违反金融消费者保护的基本原则。简言之，算法可解释性的目的包括维护算法消费者的知情权利益，避免和解决算法决策的错误性和歧视性，明晰算法决策的主体性、因果性或相关性，进而助力解决算法可问责性问题。（4 4）算法可解释性安全风险的应对）算法可解释性安全风险的应对算法可解释性问题已引起国际官方和研究机构的关注。例如，电气和电子工程师协会（IEEE）在 2016 年和 2017 年连续推出的人工智能设计的伦理准则白皮书，在多个部分都提出了对人工智能和自动化系统应有解释能力的要求。美国计算机协会美国公共政策委员会在 2017 年初发布了算法透明性和可问责性声明，提出了七项基本原则，其中一项即为“解释”，希望鼓励使用算法决策的系统和机构，对算法的过程和特定的决策提供解释。2017 年，美国加州大学伯克利分校发布了对人工智能系统挑战的伯克利观点，从人工智能的发展趋势出发，总结了九项挑战和研究方向。其中之一，即第三项，就是要发展可解释的决策，使人们可以识别人工智能算法输入的哪些特性引起了某个特定的输出结果。在我国国务院新一代人工智能发展规划中，潘云鹤院士提到人工智能应用的一个需要关注的问题是算法的不可解释性19。因此，国家人工智能标准体系可通过操作标准、伦理标准以及数据模型传递与解释标准等的制定加强对算法可解释性的要求。欧洲通用数据保护条例(GDPR)第 71 条明确提出了解释权，表述为被自动决策的人应该具有适当的保护，具体应包括数据主体的特别信息和获得人类干预、表达自己的观点，并且有权获得该评估决定的解释，并对决定提出质疑。对算法解释来说，或许探索“相关关系”而非“因果关系”，才是解决之道。例如舍恩伯格等在大数据时代:生活、工作与思维的大变革一书中就提出，在大数据技术引发思维变革背景下，应更为关注事物之间的相关关系，而不是探索因果关系。所以，舍弃解释因果关系，进而从解释相关关系的需求突破，可能是兼顾算法消费者利益和减轻企业解释成本负担的有效路径。过度公开透明或强19潘云鹤：人工智能迈向 2.0，英文版发表于中国工程院院刊Engineering，http:/ 年 7 月 6 日。14化可解释性，不利于技术创新和社会进步，也不利于增进社会福利20。此外，算法可解释性和算法黑箱问题也可以通过“技术手段”得到部分解决。借助技术使得“机器理解层次”降维到“人类理解层次”，也即人类能看懂、能理解。例如2018 年 3 月 7 日，谷歌大脑团队的克里斯欧拉（Chris Olah）公布了一项题为“可解释性的基础构件”的研究成果，该成果解决了神经网络这种最令人难以捉摸的算法的可视化问题，简化了相关信息，使算法的工作状态回到了“人类尺度”，能够被普通人看懂和理解21。3.1.33.1.3算法决策困境算法决策困境（1 1）算法决策风险产生的原因）算法决策风险产生的原因算法决策的困境主要表现在算法结果的不可预见性。随着计算能力的不断攀升，人工智能可以计算大量的可能性，其选择空间往往大于人类，它们能够轻易地去尝试人类以前从未考虑的解决方案。换言之，尽管人们设计了某人工智能产品，但受限于人类自身的认知能力，研发者无法预见其所研发的智能产品做出的决策以及产生的效果。以谷歌 DeepMind 团队开发的 AlphaGo 与多位人类围棋高手的“人机大战”为例，AlphaGo 在 2016 年 3 月对阵李世石时为第 18 代（AlphaGoLee），在 2017 年 5 月对阵柯洁时已经迭代为第 60 代（AlphaGo Master）。而在 2017 年 10 月，谷歌 DeepMind 开发的 AlphaGo Zero 机器系统仅训练 3 天就以100:0 的比分战胜了 AlphaGo Lee；经过 40 天训练后，AlphaGo Zero 又以 89:11战胜了横扫柯洁的 AlphaGo Master。快速迭代的背后是 AlphaGo 全新的深度学习逻辑，这种经历迭代的深度学习逻辑，其强大的进化速度让人类难以追赶。（2 2）算法决策风险的应对）算法决策风险的应对既然算法决策的困境主要源于人工智能自学习能力导致的算法结果的不可预见性，为此要减少或杜绝算法决策困境，除了提高算法的可解释性外，还可以引入相应的算法终结机制，以便算法决策遇到无法判断未来结果时立即终止系20Joshua New&Daniel Casto,how policymakers can foster algorithmic accountability,available athttps:/www.datainnovation.org/2018/05/how-policymakers-can-foster-algorithmic-accountability/,lastvisited:July 6,2018.21郑戈：算法的法律与法律的算法，载中国法律评论2018 年第 2 期。15统。人工智能最大的威胁是当前人类尚难以理解其决策行为所存在的未来失控的风险，而一旦失控则后果严重。参照所有生命体中都有的衰老机制，人工智能也应该嵌入自我毁灭机制。谷歌旗下 DeepMind 公司在 2016 年曾提出要给人工智能系统安装“切断开关（kill switch）”的想法，为的是阻止人工智能学会如何阻止人类对某项活动(比方说发射核武器)的干预，这种提法被称作“安全可中断性”。据介绍，安全可中断性可用于控制机器人不端甚至可能导致不可逆后果的行为，相当于在其内部强制加入某种自我终结机制，一旦常规监管手段失效，还能够触发其自我终结机制，从而使其始终处于人们的监管范围之内。3.23.2 数据相关的伦理风险数据相关的伦理风险随着数据搜集、机器学习、人工智能等技术的使用，数据富含越来越大的价值，从而也导致个人信息泄露的情况频繁发生。个人隐私保护、个人敏感信息识别的重要性日益凸现。为了保护数据主体的权益，2018 年 5 月 25 日，欧盟一般数据保护条例（GDPR）正式生效，增加了数据主体的被遗忘权和删除权，引入了强制数据泄露通告、专设数据保护官员等条款，同时包含了更严厉的违规处罚。在 2018 年 10 月，第 40 届数据保护与隐私专员国际大会（ICDPPC）通过了由法国国家信息与自由委员会、欧洲数据保护专员和意大利数据保护专员提出的人工智能伦理与数据保护宣言(Declaration on Ethics and Data Protection inArtifical Intelligence)，该宣言也提出了包括保护隐私原则在内的六项原则。3.2.13.2.1隐私保护隐私保护个人信息的隐私权是信任和个人自由的根本，同时也是人工智能时代维持文明与尊严的基本方式。早期，由于技术有限，数据获取成本高、回报低，导致大部分的个人隐私泄露的安全事件都是以“点对点”的形式发生，即以黑客为主的组织利用电脑木马等技术对个别用户进行侵害，从而在这些个别用户身上获利。16图图 2 非大数据时代下的个人信息泄露流程非大数据时代下的个人信息泄露流程随着大数据和人工智能的发展，数据挖掘的深度与广度的不断加深，人工智能技术与用户隐私保护出现的紧张关系愈加严重。不法分子获取个人隐私数据的方式更多、成本更低、利益更大，导致近年来数据安全事件频发，甚至形成了完整的产业链。图图 3 大数据时代个人信息泄露产业链大数据时代个人信息泄露产业链2019 年 4 月 11 日，彭博新闻社报道称科技巨头亚马逊公