可信人工智能系统的质量属性与实现：三级研究.pdf

可信人工智能系统的质量属性与实现:三级研究*李功源1,2,刘博涵1,2,杨雨豪1,2,邵栋1,21(南京大学软件学院,江苏南京210023)2(计算机软件新技术国家重点实验室(南京大学),江苏南京210023)通信作者:刘博涵,E-mail:摘要:人工智能系统以一种前所未有的方式,被广泛地用于解决现实世界的各种挑战,其已然成为推动人类社会发展的核心驱动力.随着人工智能系统在各行各业的迅速普及,人们对人工智能系统的可信性愈发感到担忧,其主要原因在于,传统软件系统的可信性已不足以完全描述人工智能系统的可信性.对于人工智能系统的可信性的研究,具有迫切需要.目前已有大量相关研究,且各有侧重,但缺乏一个整体性、系统性的认识.研究是一项以现有二级研究为研究对象的三级研究,旨在揭示人工智能系统的可信性相关的质量属性和实践的研究现状,建立一个更加全面的可信人工智能系统质量属性框架.收集、整理和分析 2022 年 3 月前发表的 34 项二级研究,识别 21 种与可信性相关的质量属性及可信性的度量方法和保障实践.研究发现,现有研究主要关注在安全性和隐私性上,对于其他质量属性缺乏广泛且深入的研究.对于需要跨学科协作的两个研究方向,需要在未来的研究中引起重视,一方面是人工智能系统本质上还是一个软件系统,其作为一个软件系统的可信值得人工智能和软件工程专家合作研究;另一方面,人工智能是人类对于机器拟人化的探索,如何从系统层面保障机器在社会环境下的可信,如怎样满足人本主义,值得人工智能和社会科学专家合作研究.关键词:人工智能系统;可信;质量属性;实践中图法分类号:TP18中文引用格式:李功源,刘博涵,杨雨豪,邵栋.可信人工智能系统的质量属性与实现:三级研究.软件学报,2023,34(9):39413965.http:/ Attributes and Practices of Trustworthy Artificial Intelligence Systems:A Tertiary StudyLIGong-Yuan1,2,LIUBo-Han1,2,YANGYu-Hao1,2,SHAODong1,21(SoftwareInstitute,NanjingUniversity,Nanjing210023,China)2(StateKeyLaboratoryforNovelSoftwareTechnology(NanjingUniversity),Nanjing210023,China)Abstract:Artificialintelligencesystemsarewidelyusedtosolvevariouschallengesintherealworldinanunprecedentedway,andtheyhavebecomethecoredrivingforceforthedevelopmentofhumansociety.Withtherapidpopularizationofartificialintelligencesystemsinallwalksoflife,thetrustworthinessofartificialintelligencesystemsisbecomingmoreandmoreworrying.Themainreasonisthatthetrustworthinessoftraditionalsoftwaresystemsisnotenoughtofullydescribethatofartificialintelligencesystems.Therefore,researchonthe trustworthiness of artificial intelligence systems is urgently needed.At present,there have been a large number of relevant studies,whichfocusondifferentaspects.However,thesestudieslackaholisticandsystematicunderstanding.Thisstudyisatertiarystudywith*基金项目:国家自然科学基金(62072227,62202219);国家重点研发计划(2019YFE0105500);江苏省重点研发计划(BE2021002-2);南京大学计算机软件新技术国家重点实验室创新项目(ZZKT2022A25);海外开放课题(KFKT2022A09)本文由“AI 软件系统工程化技术与规范”专题特约编辑张贺教授、夏鑫博士、蒋振鸣副教授、祝立明教授和李宣东教授推荐.收稿时间:2022-09-04;修改时间:2022-10-13;采用时间:2022-12-14;jos 在线出版时间:2023-01-13CNKI 网络首发时间:2023-07-05软件学报ISSN1000-9825,CODENRUXUEWE-mail:Journal of Software,2023,34(9):39413965doi:10.13328/ki.jos.006875http:/中国科学院软件研究所版权所有.Tel:+86-10-62562563the existing secondary study as the research object.It aims to reveal the research status of quality attributes and practices related to thetrustworthiness of artificial intelligence systems and establish a more comprehensive quality attribute framework for trustworthy artificialintelligencesystems.Thisstudycollects,sortsout,andanalyzes34secondarystudiespublisheduntilMarch2022.Inaddition,itidentifies21qualityattributesrelatedtotrustworthiness,aswellasmeasurementmethodsandassurancepracticesoftrustworthiness.Thestudyfindsthat existing research mainly focuses on security and privacy,and extensive and in-depth research on other quality attributes is fewer.Furthermore,tworesearchdirectionsrequiringinterdisciplinarycollaborationneedmoreattentioninfutureresearch.Ontheonehand,theartificial intelligence system is essentially a software system,and its trustworthiness as a software system is worthy of collaborativeresearchbyartificialintelligenceandsoftwareengineeringexperts.Ontheotherhand,artificialintelligencebelongstohumansexplorationofmachineanthropomorphism,andresearchonhowtoensurethetrustworthinessofmachinesinthesocialenvironmentfromthesystemlevel,suchashowtosatisfyhumanism,isworthyofcollaborativeresearchbyartificialintelligenceandsocialscienceexperts.Key words:artificialintelligencesystem;trustworthy;qualityattribute;practice在过去的 10 年间,计算机处理能力的提高、数据集的扩大和算法准确性的提升推动了人工智能(artificialintelligence,AI)技术的进步1.随着越来越多的 AI 技术从实验室走向产业界,基于 AI 技术构建的软件系统也被广泛应用于医疗、工业、教育等各领域2.AI 系统在这些应用领域中展现出新颖且出色的性能,其适用的范围和场景都在以革命性的方式迅速扩大.AI 系统提供的许多创新功能,如自动驾驶,是前所未见的;AI 系统利用的大量数据是过去不曾被使用的.然而,新兴的事物总易遭受质疑,强大的能力需要受到更严格的约束.AI 所体现出的优秀特质也导致了社会对于 AI 系统可信性的广泛讨论,这些讨论涉及人工智能系统的隐私性、公平性、安全性等多个方面.AI 系统基于大量数据建立影响社会的规则和行为,如果在数据中存在偏见,则 AI 系统会存在公平性的问题.例如,美国法院基于 AI 预测再犯概率的系统被证实对黑人存在偏见3;极端光照条件会影响视觉识别系统,进而影响自动驾驶系统的安全4;对人脸识别系统的恶意攻击可能会导致用于训练的个人图像的泄漏5.类似问题正在“人本主义的人工智能(human-centeredAI,HCAI)”“人工智能伦理(AIethics)”“可信人工智能(trustworthyartificialintelligence)”等主题下被广泛热议68.为了有效解决 AI 系统在实际应用中存在的问题,学术界、产业界以及政府组织都在密切关注 AI 系统的可信性,构造可信的 AI 系统应作为其取得更加广泛应用的前提.近年来,可信 AI 领域涌现了大量标准、指南等规范性文件.国际标准化组织(InternationalOrganizationforStandardization,ISO)的技术报告 ISOTR240289分析了影响AI 系统可信性的因素并从公平性、透明性、问责性和可控性等方面讨论了提高 AI 系统可信性的方法.欧盟提出了可信 AI 伦理指南(ethicsguidelinesfortrustworthyAI)10,建议通过尊重人类自治,伤害预防,公平性,可解释性等 4 项原则监管 AI 系统,并提出了可信 AI 评估指南(assessmentlistfortrustworthyartificialintelligence,ALTAI)11用于帮助企业或其他组织评估 AI 系统的开发、部署、采购和使用是否符合可信 AI 伦理指南的相关原则.中国信息通信研究院和京东探索研究院于 2021 年发布的可信人工智能白皮书12从落实 AI 治理共识的角度出发,围绕可靠可控、透明可释、隐私保护以及明确责任等方面,将各项要求引入 AI 系统研发的全流程.可信 AI 同样引起了学术界的广泛关注.可信是一个抽象的概念,要理解并进一步实现可信,需要从具体的与可信相关的质量属性入手.自 2017 年以来,涌现了大量关于可信 AI 系统质量属性及实践的二级研究(secondarystudy).二级研究是指评价与特定研究问题相关的所有一级研究(primarystudy)的研究,目的是综合与特定研究问题相关的证据;其中一级研究是指调查特定研究问题的经验研究(empiricalstudy)13.但是这些二级研究都有着一定的局限性,它们讨论了可信 AI 系统的一个或多个质量属性,但覆盖范围不够全面.例如,文献 14 仅在欧盟的4 项原则下10讨论了可信 AI 系统的质量属性,缺少对质量属性的辨析以及对相关实践的讨论.文献 15 仅关注安全性和鲁棒性两个可信 AI 系统的质量属性及相关实践,缺乏对可信性全面的讨论.文献 16 仅讨论了公平性、隐私性、可解释性、可问责性和可接受性 5 项要求及其相关的保障实践,缺乏对更多质量属性的研究,同时,也未讨论这些质量属性的度量评估方法.更多的二级研究,如文献 1719 仅聚焦于单个质量属性.为了对 AI 的可信建立一个更加系统且全面的认识,本文开展了一项三级研究(tertiarystudy)来收集并分析现有与可信 AI 相关的二级研究,具体从可信 AI 系统的二级研究现状、质量属性、评估度量方法、保障改进实践等 4 个方面开展了研究.三级研究是将二级研究的输出作为输入的综述性研究20,21.当一个研究主题上的二级研3942软件学报2023 年第 34 卷第 9 期究足够多时,三级研究可以覆盖更广泛的证据并从更高的抽象层次开展研究,为研究者建立更系统性地理解和定位相关的二级研究提供帮助,弥补单项二级研究对问题认识不全面及弱化的单项研究中可能引入的偏见22,23.本文检索、挑选和分析了 34 项相关的二级研究1419,2451,具体而言,主要贡献包括:(1)本文揭示了可信 AI系统的质量属性及相关实践的二级研究的研究现状.(2)总结了现有二级研究中讨论的质量属性,按照可信 AI 的基本原则、质量属性及子属性的层次结构建立了可信人工智能系统的质量属性框架.(3)梳理了现有的可信性评估度量方法.(4)梳理了现有的可信性保障改进实践.本文第 1 节阐明本三级研究的研究问题及所采用的研究方法.第 2 节至第 5 节对本研究的 4 个研究问题分别进行回答.第 6 节基于研究结果进行讨论.第 7 节讨论本文的效度威胁.第 8 节对本文进行总结.1 研究方法本研究开展的是以二级研究为研究对象的三级研究.二级研究通常指以一级研究为对象开展的研究,包括采用系统性文献综述(systematicliteraturereview,SLR)、映射研究(mappingstudy,MS)、一般综述(review)等方法的综述性研究13.Kitchenham 等人20,21将三级研究定义为“使用一个学科内的二级研究的输出作为输入的研究”.本研究的开展遵循 Kitchenham 等人关于软件工程领域系统性文献综述的指南13.目前,该指南13描述的系统性文献综述方法被广泛应用于软件工程领域的二级研究和三级研究中,是一种较映射研究和一般综述更加系统且严谨的研究方法.两名硕士研究生和他们的两名导师作为研究人员参与了这项研究.本节主要阐述研究过程中所采用的研究方法.首先提出本三级研究的研究问题(第 1.1 节),其次描述文献的检索和筛选过程(第 1.2 节),最后描述本研究的数据抽取与分析过程(第 1.3 节).1.1 研究问题为了分析可信 AI 领域内的相关二级研究的研究现状,对可信 AI 的质量属性与相关实践建立系统性的理解,本文提出了以下 4 个研究问题(researchquestions,RQs).RQ1:现有可信人工智能系统相关二级研究的研究现状如何?RQ2:现有二级研究中讨论了哪些与人工智能系统的可信性相关的质量属性?RQ3:现有二级研究中讨论了哪些人工智能系统的可信性(即各质量属性)的评估度量方法?RQ4:现有二级研究中讨论了哪些人工智能系统的可信性(即各质量属性)的保障改进实践?其中,RQ1 旨在对可信 AI 相关的二级研究的发表趋势,发表渠道以及研究范畴等建立系统的理解.RQ2 旨在调研当前可信 AI 相关的二级研究中讨论的质量属性间的差异、联系及层次关系,从而建立一个全面的 AI 系统可信性的质量属性框架.RQ3 和 RQ4 分别旨在对 AI 系统的可信性(即各质量属性)的评估度量方法和保障改进实践建立较为全面的认识,识别出研究的热点和空白,进而挖掘出未来可能的研究方向.1.2 相关文献收集本研究对现有二级研究文献的收集过程如后文图 1 所示,包含手动检索、自动检索、文献筛选和滚雪球检索等 4 个步骤.为了尽可能降低文献检索过程中遗漏相关文献的风险,本文采用了基于准黄金标准(quasigoldenstandard,QGS)的检索策略52,具体的文献检索过程包括手动检索、自动检索以及滚雪球检索 3 个步骤,其中滚雪球检索过程中包含了对文献的筛选.文献的筛选由两名硕士研究生分别独立完成,他们之间的任何差异都会和导师进行讨论,所有被纳入的文献都由导师进行最终确认.本研究最终纳入了 34 篇相关文献.需要说明的是,文献收集过程中没有对文献属于二级研究或三级研究加以限制,最终所有识别到的文献均为二级研究,即目前还没有一篇已发表的关于可信 AI 的三级研究.以下将展开介绍文献收集过程的各具体步骤.1.2.1手动检索手动检索基于领域内综述类文献的顶级期刊 ACMComputingSurveys 进行.手动检索的主要目的是为后续的自动检索设计更加全面且准确的检索字符串提供基础.同时,使本研究的所有参与者对研究问题和研究范畴建立清晰且一致的理解,并进一步确立文献选择标准.我们逐一浏览了出版时间在 2018 年至 2022 年 3 月之间的文献并进行筛选,共收集到了 6 篇关于可信 AI 质量属性的二级研究.李功源等:可信人工智能系统的质量属性与实现:三级研究3943步骤 1:手动检索步骤 2:自动检索步骤 3:文献筛选确定筛选标准提供字符串定义依据全包含于筛选标准步骤 4:滚雪球检索最终文献集合6 篇ACMComputingSurveysIEEE XploreACM DigitalLibraryScienceDirectScopus(截至 2022 年 3 月)6 篇634 篇634 篇30 篇30 篇34 篇根据被引信息根据引用信息根据作者信息(20182022)图1相关文献收集过程1.2.2自动检索在确定自动检索的字符串时,主要参考了手动检索得到的 6 篇文献中的关键词.首先确定的是关键词“可信”和“人工智能”,即“Trustworthy”和“AI”及它们的近义词.进一步地,收集了这 6 篇文献以及现有的与可信 AI 相关的 7 项规范性文件中涉及的质量属性作为关键词,这些规范性文件包括 ISOTR2402753,ISOTR240289,ISOTR2402954,IEEE3652.155,IEEEP700156,ALTAL11.由于本文的研究对象是二级研究,所以增加了“Review”“SLR”等关键词.最终确定的检索字符串如下所示.(“Trustworthy”OR“Trustworthiness”OR“QualityAttribute”OR“QA”OR“Reliabl*”OR“Transparency”OR“Privacy”OR“Secur*”OR“Safe*”OR“Fair*”OR“Robust*”OR“Account*”)AND(“AI”OR“ArtificialIntelligence”OR“MachineLearning”OR“DeepLearning”)AND(“Review”OR“Mapping”OR“SLR”OR“SMS”)本文检索了 4 个文献数据库,包括 IEEEXplore,ACMDigitalLibrary,ScienceDirect,Scopus.其中 Scopus 是最大的同行评议文献数据库,且收录中文文献,能够对前 3 个数据库进行有效的补充,该阶段在每个检索源中获得的检索结果如表 1 所示,去重后共检索到 634 篇文献.在手动检索阶段得到的 6 篇文献均包含在这 634 篇文献中,说明检索字符串具有较高的有效性.表1自动检索的中间结果在线图书馆文献数量IEEEXplore242ACMDigitalLibrary29ScienceDirect110Scopus253总计(未去重)6341.2.3文献筛选为了排除已获得文献集合中与研究问题不相关和关联度较小的文献,本文定义了如表 2 所示的纳入和排除标准.只有满足所有纳入标准且没有符合任意一条排除标准的文献才会被纳入最终的文献集合.根据上述纳入/排除标准,本文进行了文献的筛选,具体筛选过程包括概要浏览和全文通读两个阶段.概要浏览阶段,通过浏览文献的标题、关键词和摘要以判断它们是否符合纳入的标准.在这之后,我们通读了满足纳入标准的文献,并排除了那些符合任意排除标准的文献.在进行文献筛选时,每篇文献的筛选都由两位研究人员独立完成,每一篇存在争议的文献都由他们的指导者评审并进行讨论以达成共识.需要特别说明的是,根3944软件学报2023 年第 34 卷第 9 期据中国科学院发布的国际期刊预警名单,排除了 2 篇来自 IEEEAccess 的二级研究.通过文献筛选过程,共保留了 30 篇二级研究.表2纳入/排除标准分类编号内容纳入标准(inclusioncriteria,IC)IC1关注可信AI质量属性或相关实践的一个或多个方面的二级研究IC2发表于计算机、人工智能、软件工程等领域的期刊、会议和研讨会上排除标准(exclusioncriteria,EC)EC1无法获得电子版全文的文献EC2仅包含质量属性面临的挑战、问题而不包括质量属性描述或实践的文献EC3用英语、中文以外语言撰写的文献EC4具有更新版本的文献(仅纳入最新版本的文献)EC5发表在国际期刊预警名单所列期刊中的文献1.2.4滚雪球检索.在识别到的 30 篇文献的基础上,本研究通过谷歌学术进行了滚雪球(snowballing)来进一步检索相关文献,包括前向滚雪球,后向滚雪球和根据作者信息滚雪球 3 个阶段.其中,前向滚雪球是检索引用了已识别的 30 篇文献的文献,后向滚雪球是检索已识别文献的参考文献,根据作者信息滚雪球是检索文献第一作者的其他相关文献.在该阶段,本研究遵循 Wohlin57的建议,反复迭代滚雪球的过程,直到不再发现新的文献为止.此外,除了检索以外,本阶段还包含了前述的文献筛选.滚雪球阶段新发现了 4 篇文献.最终,共纳入了 34 篇二级研究1419,2451作为本研究的对象.1.3 数据抽取与分析根据研究问题,本文定义了数据抽取表格,如表 3 所示,从而标准化地获取每篇文献中所报告的本研究所需的信息.为了减少数据抽取过程中个人偏见对研究结果的影响,在数据抽取过程中,一位研究人员抽取每一项研究的数据项,另一位研究人员对抽取结果进行验证,同时定期与他们的导师进行讨论.表3数据抽取项抽取项ID抽取项描述对应研究问题D1标题文献的标题RQ1D2作者文献的作者D3年份文献发表的年份D4发表源文献发表的渠道,期刊、会议或研讨会D5研究问题/目标文献的研究问题或能体现具体研究目标的相关描述D6质量属性可信相关质量属性及其具体定义和相关描述RQ2D7评估度量方法可信相关质量属性的评估度量方法的描述和示例RQ3D8保障改进实践可信相关质量属性的保障改进实践的描述和示例RQ4在对抽取出的数据项进行分析时,采用了定量分析和定性分析的方法.定量分析方法用于获取文献集合中二级研究的趋势及分布等信息.对于抽取项 D1D4,采用统计方法来获得文献分布和发表趋势的定量结果.对于数据抽取项 D5D8,采用了定性的主题分析方法58,以获得二级研究中涉及的质量属性以及相关的实践.为了支持主题分析,本文采用了数据编码方法,即一种通过标记和组织定性数据以识别主题以及主题之间的关系的方法59,使用开放编码和轴向编码从提取出的数据项中聚类得到高抽象层次的概念.在进行数据合成时,由两位研究人员分别对提取出的原始文本进行开放编码.在所有数据完成初始编码后,本文对获得的编码进行分析和比较,进而将它们组合成主题.最终获得的主题都经过了两位研究人员的交叉评审,任何分歧都与他们的导师进行讨论,直到达成共识.李功源等:可信人工智能系统的质量属性与实现:三级研究3945 2 研究现状(RQ1)本节中简要概述了本三级研究所纳入的二级研究的总体情况和研究范畴,以给出 RQ1 的回答.2.1 总体情况本文纳入的 34 篇二级研究中,包含 27 篇英文文献和 7 篇中文文献.以下将从年份分布、地理分布、渠道分布 3 个方面进行统计分析.年份分布.图 2 展示了纳入文献的发表年份分布情况.虽然自动检索时的检索范围截至 2022 年 3 月,但从图 2中可以看出,在 2016 年之前还没有相关二级研究被发表.可信 AI 相关的二级研究始于 2017 年,且发表数量在2017 至 2021 年呈逐年增长的趋势,且 2022 年截止到 3 月发表的文献数量已接近 2021 年全年一半的数量.这一方面表明 AI 的可信的问题已愈发受到研究人员的关注;另一方面也说明可信 AI 是一个问题繁多的研究方向.纳入的文献中,发表最早的中文二级研究始于 2019 年,且在此后同样保持稳定的发表趋势.地理分布.图 3 展示了纳入文献的第一作者所属研究机构的地理分布情况.全球除了南美洲和南极洲(无国家)均有研究者从事可信 AI 相关的二级研究.从占比来看,来自亚洲的研究者占比最高(50%),这得益于中国研究者发表的二级研究占总体的 32%.这应该与中国的学术界和工业界近年来在 AI 领域两面开花、蓬勃发展的现状密切相关.渠道分布.图 4 展示了纳入文献在期刊(Journal),会议(Conference)和研讨会(Workshop)这 3 种发表渠道的分布情况.其中半数以上(62%)为期刊论文,29%为会议论文,只有 3 篇为研讨会论文.对于具体的期刊或会议,总体发表渠道较为分散.但统计发现,发表在国内外高水平刊物上的二级研究占比更高.其中 6 篇英文论文发表在了综述类论文的国际顶级期刊ACMComputingSurveys上.所有纳入的中文文献均发表在国内顶级期刊上,其中 4 篇发表在软件学报,3 篇发表在计算机研究与发展.会议 29%研讨会 9%期刊 62%期刊会议研讨会图4发表渠道分布 2.2 研究范畴本文识别并综合了现有二级研究中关于可信的研究对象(关注点),建立了可信人工智能研究范畴元模型,如2017136248351129502468101220162019发表年份可信 AI 英文文献数量文献数量202020212022可信 AI 中文文献数量图2发表年份分布情况中国亚洲其他国家欧洲北美洲非洲大洋洲大洋洲6%中国32%非洲6%北美洲15%欧洲23%亚洲其他国家18%图3第一作者所属研究机构的地理分布情况3946软件学报2023 年第 34 卷第 9 期图 5 所示.元模型以软件系统及可信为核心,围绕 AI 系统的可信,即一种特定的软件系统的可信展开.可信作为软件系统的一般需求通常包含多个可以由质量属性表示的特征组成,相关的实践可以提升或保障相应的质量属性,质量属性的评估需要使用一定的度量,每一类的实践和度量通常包含具体的方法,同时也需要使用一定的工具.对软件系统而言,主动攻击技术和软件所处的外部环境会导致特定的威胁和挑战,进而对系统的质量属性造成负面影响.AI 系统作为特定的软件系统,其可信性存在着一定的特殊性:首先,不同于传统软件,AI 模型是 AI 系统的一个重要组成部分;其次,由于 AI 系统的外部环境的特殊性,其需要考虑以人本主义为主的伦理道德对环境的约束.威胁与挑战除了源于外部环境,还可能来源于一些黑客的主动攻击.可信性、威胁及挑战等最终都指向能够描述可信性的具体质量属性.更进一步的研究重点是,采用怎样的度量方法或使用怎样的工具能够评估具体质量属性对于可信的满足程度;以及采用何种实践能够保障甚至改进具体质量属性对于可信的满足程度.实践可能基于具体的工具或方法,具体评估或保障方法可能会应用一些 AI 模型或算法.名称组成系统特征软件系统特定系统特定需求一般需求可信定义组成评估度量使用使用使用属于1*威胁及挑战名称描述名称描述名称描述名称质量属性定义提升/保障实践工具方法名称描述理论基础分类优劣势使用负面影响影响约束名称外部环境导致导致主动攻击技术约束人本主义AI 模型AI 系统描述名称描述名称描述图5可信人工智能研究范畴元模型对于同样的研究对象,不同研究可能从多种不同的角度开展研究,所以本文借鉴了文献 60 中的方法,即采用 5W+1H 模型进一步分析了现有二级研究对图 5 中各研究对象的研究情况,如表 4 所示.在表 4 中,Wt,Wy,Wo,Wn,Wr,H 分别表示 What,Why,Who,When,Where,How.本文参考了文献 61,62 中的定义,并基于上下文,定义如下.What(Wt):有哪些研究对象?它们是什么?例如,文献 26 的一个研究问题是“有哪些用于开发和评估 AI 系统的工具”.Why(Wy):为什么实现这些研究对象?例如,文献 16 在研究质量属性时,研究了“为什么可信 AI 需要这些质量属性”.Who(Wo):谁提出或实现了这些研究对象?(只是引用了作者不属于该类别,应有如机构分布等类似的对于作者的分析).例如,文献 37 中的一个研究问题是“谁在领导基于 AI 的软件的质量的研究(学术界,工业界,及两者的协作)”.When(Wn):在什么情况下考虑或使用这些研究对象?例如,文献 27 对于公平性的保障改进方法,研究了“不同 AI 模型应该采用何种方法”.李功源等:可信人工智能系统的质量属性与实现:三级研究3947Where(Wr):在什么 AI 系统开发阶段考虑或使用这些研究对象?例如,文献 16 在研究多种质量属性的保障改进实践时,研究了“各实践应该映射到 AI 系统开发的哪些阶段(如,建模前、建模过程中和建模后)”.How(H):如何实现或如何应用这些研究对象?例如,文献 24 的一个研究目标是“如何通过实践来保障 AI 系统可信性”.表4基于 5W+1H 模型的二级研究的研究关注点文献可信质量属性 度量/评估实践方法工具 威胁及挑战AI模型主动攻击技术 人本主义 特定系统14 Wy,HWtWtWt15WtWtWtWt16 Wy,H Wt,Wy,HWtWt,WrWt,WrWtWt17WtWtWt,HWt18Wt,WrWt19WtWt,WyH24HWt,Wr25WtWtWt,HWt,Wr26WtWtWtWt,Wy27WtWt,Wr,WnWtWt,WrWt28Wt,WrWt,WrWt,Wr29WtWt,WrWtWt30Wt,WrWtWt31WtWtWt32Wt,WrH33Wt,Wr34Wt,WnWt,H35Wt,WnWtWt36Wt,WnWtWt37Wt,WoWtWtWt38Wt,Wn39WtWtWt40Wt,WnWtWt41Wt,WrWt,Wr42Wt,WnWtWt43Wt,WnWtWt,Wn,HWt,Wn44Wt,Wn,HWtWt,H45Wt,WnWt46Wt,Wr,HWtWt47Wt,WnWt,WnWtWt48WtWt,WrWtWtWt,HWt49WtWt,Wr,HWtWt,Wn,H50Wt,WnWt,Wn51Wt,WyWt,WnH注:Wt,Wr,Wn,Wy,H分别表示What,Where,When,Why,How,代表具体研究问题的不同角度例如文献 27 在方法这一列为“Wt,Wr,Wn”,表示针对方法研究了现有一级研究采用了哪些方法(Wt),这些方法适用的场景和使用的条件是什么(Wn),以及这些方法应用于 AI 系统开发的哪个阶段(Wr).例如文献 14 在可信这一列为“Wy,H”,表示针对可信研究了为什么需要可信(Wy)和如何实现可信(H).通常,是什么(Wt)是最基本的研究问题,绝大部分研究都会首先从是什么的角度讨论一个问题.对于为什么(Wy)的问题更多是在研究动机中已经阐明的,尤其是对于实践、方法等研究对象,一般不会从为什么的角度进行研究.对于如何实现或如何应3948软件学报2023 年第 34 卷第 9 期用(H)这类较为细节的问题,在二级研究中同样少有研究,因为通常,这类问题会被抽象为在什么情况下考虑或使用(Wn)以及在什么阶段考虑或使用(Wr)的问题.仅有一篇文献37专门设立研究问题以分析作者信息(Wo),然而,这虽然是一个几乎没有研究难度的问题,但通常又是读者想了解的信息.对于具体的研究对象,可以看到,更多的研究关注的是威胁及挑战和应对威胁及挑战的方法,这是由于大部分研究关注的都是安全性和隐私性的主题,而这两个质量属性涉及众多威胁及基于不同技术路线的应对措施,将在后续章节具体讨论.RQ1 要点总结:可信 AI 的二级研究始于 2017 年并呈稳定增长趋势;全球除了南美洲和南极洲(无国家)均有研究者从事可信 AI 相关的二级研究.已有可信 AI 的二级研究主要关注点在于质量属性的保障改进方法及威胁与挑战,然而关注质量评估方法的研究较少,从为什么(Why)的角度讨论问题以及对一级研究的作者信息(Who)进行分析的二级研究也相对较少.3 可信人工智能系统的质量属性框架(RQ2)本文从现有二级研究中共识别到了 21 种可信相关的质量属性,其被研究的频率分布如图 6 所示,其中隐私性、安全性和可解释性等与 AI 系统区别于一般软件系统的特征相关的质量属性是被研究最多的,而与一般软件系统的可信相关的可维护性、可移植性等质量属性仅在一项二级研究37中进行了讨论.欧盟发布的可信 AI 伦理道德指南10中建议可信 AI 系统需满足 4 项基本原则,分别是尊重人类自治原则(theprincipleofrespectforhumanautonomy),伤害预防原则(theprincipleofpreventionofharm),公平性原则(theprincipleoffairness)以及可解释性原则(theprincipleofexplicability).在识别到的 21 种质量属性中,有 15 种可以分类到这 4 项原则中,其中安全性包含了 3 个子属性,可解释性包含了 1 个子属性.而其余 6 种质量属性属于一般软件系统的可信性需求,与ISO/IEC25010:201163中提出的质量模型相符.参考可信 AI 伦理道德指南10和 ISO/IEC25010:201163,以及二级研究中的描述,本文构建了一个可信 AI 质量属性框架,如图 7 所示.需要说明的是,在 ISO/IEC25010:201163中提出了 8 种软件质量属性,分别是兼容性,可维护性,功能适用性,可移植性,性能效率,可靠性,易用性和安全性.其中可靠性和安全性均属于伤害预防原则的范畴,但实际上本研究只识别到了 AI 系统在安全性有特定的需求,而在可靠性上的需求与一般软件一致.此外,本文将不属于 4 项原则的其他质量属性分类到了一般软件质量属性类别中.本文所提出的可信 AI 质量属性框架与 ISO/IEC25010:201163中的质量属性框架之间的差异,可以反映出相较于一般软件系统,对 AI 系统的可信提出的新的要求.以下将对各质量属性按框架中的 5 种类别进行展开介绍.隐私性文献数量安全性可解释性公平性可靠性鲁棒性完整性可用性质量属性保密性可重复性人权代理和监督稳定性准确性兼容性可维护性功能适用性可移植性性能效率1713100246710121416186333332221111111可问责性图6质量属性相关研究数量分布李功源等:可信人工智能系统的质量属性与实现:三级研究3949兼容性可维护性功能适用性可移植性性能效率易用性公平性可解释性可解释性原则公平性原则可信 AI伤害预防原则一般软件质量属性(部分)尊重人类自治原则人权代理和监督保密性完整性可用性准确性可重复性隐私性可问责性可靠性安全性稳定性鲁棒性透明性图7可信人工智能系统的质量框架 3.1 尊重人类自治原则人工智能系统的用户应能够保持充分和有效的自我决策,AI 系统的设计应该以补充和增强人的能力为目的10.在获取到的质量属性中,只有一种质量属性,即人类代理和监督可以映射到该原则下.人类代理和监督(humanagencyandoversight).有 2 篇文献14,16讨论了这一质量属性,其中文献 14 将尊重人类自治原则视为设计可信人工智能