针对医学人工智能产品的对抗测试技术平台设计_王光宇.pdf

医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023针对医学人工智能产品的对抗测试技术平台设计王光宇1，蒋泽宇1，杨国兴1，石剑宇1，刘晓鸿2（1.北京邮电大学信息与通信工程学院网络与交换技术国家重点实验室，北京 100876；2.清华大学计算机系，北京 100084）摘要目的：设计针对医学人工智能产品的对抗测试技术平台，以为医学人工智能产品提供对抗测试方法、通用性能评价和不良事件监控。方法：该平台基于浏览器/服务器（Browser/Server，B/S）架构设计，采用 MySQL 数据库进行搭建。该平台主要包括数据集管理、人工智能产品模型管理和人工智能性能监控 3 个模块，其中数据集管理模块和人工智能产品模型管理模块均采用 React 框架进行搭建，人工智能性能监控模块基于 Nodejs 框架设计，包括对抗测试技术和性能动态追踪与风险预警 2 个子模块。结果：该平台可实现对不同模态的人工智能产品的对抗测试、通用性能评价和不良事件监控，能够为医学人工智能产品提供全方位的评价与分析。结论：该平台解决了目前医学人工智能产品检测薄弱的问题，能够满足医学人工智能产品检测需求和监管需求。关键词医学人工智能产品；对抗测试；对抗攻击；人工智能产品检测中国图书资料分类号R318；R197.39；TP313文献标志码A文章编号1003-8868（2023）01-0008-05DOI：10.19745/j.1003-8868.2023002Design of adversarial testing technology platform for medical artificialintelligence productsWANG Guang-yu1,JIANG Ze-yu1,YANG Guo-xing1,SHI Jian-yu1,LIU Xiao-hong2(1.State Key Laboratory of Networking and Switching Technology,School of Information and Communication Engineering,Beijing University of Posts and Telecommunications,Beijing 100876,China;2.Department of Computer Science andTechnology,Tsinghua University,Beijing 100084,China)AbstractObjectiveTo design an adversarial testing technology platform to realize adversarial testing,general performanceevaluation and adverse event monitoring for medical artificial intelligence(AI)products.MethodsAn adversarial testingtechnology platform was developed based on Browser/Server(B/S)architecture and MySQL database.There were threemodules for data set management,AI product model management and AI performance monitoring involved in the platform.The dataset management module and AI product model management module were built using React framework,and the AIperformance monitoring module was designed based on Nodejs framework,which included 2 sub-modules for dynamictracking of adversarial testing technology and performance and risk warning.ResultsThe platform developed enabledadversarial testing,general performance evaluation and adverse event monitoring of AI products of different modalities,andrealized comprehensive evaluation and analysis of medical AI products.ConclusionThe platform developed solves theproblem in medical AI product testing and meets their demands for testing and supervision.Chinese Medical EquipmentJournal，2023，44（1）：8-12Key wordsmedical artificial intelligence product;adversarial testing;adversarial attack;medical artificial intelligenceproduct testing0引言在医学领域中，人工智能发挥着重要作用1。然而已有的研究表明，针对目前人工智能产品采用的深度学习技术，在原始样本中增加微量扰动即可生成对抗攻击样本，使产品输出错误的结果，而人类几乎察觉不到对抗样本相对原始数据的变化2。鲁棒性差的人工智能模型很容易被攻击，得到错误结果，在医学领域中，这往往会造成严重后果。但目前围绕新兴医学人工智能产品的检测需求，不同模态数据下通用性能评价技术和对抗测试技术严重不足，且未形成互补，不能从基础指标、泛化指标和安全指标全方位进行产品评价，这阻碍了人工智能产品落地，不利于产业发展和国家安全。基于此，本研究提出针对基金项目：国家重点研发计划项目（2019YFB1404804）；国家自然科学基金项目（61906105，62272055）作者简介：王光宇（1990），女，博士，研究员，主要从事智能信息处理、智能生物医学计算方面的研究工作，E-mail：。王光宇，蒋泽宇，杨国兴，等.针对医学人工智能产品的对抗测试技术平台设计J.医疗卫生装备，2023，44（1）：8-12.Thesis论著 8 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023医学人工智能产品的对抗测试技术平台，旨在针对医学人工智能产品检测需求和监管需求，开发产品通用评价和对抗测试技术，扩展对产品鲁棒性和泛化能力的科学验证，并设计临床在用产品的性能动态追踪与风险预警工具，实现不良事件监测。1平台设计针对医学人工智能产品的对抗测试技术平台（如图 1 所示）采用浏览器/服务器（Browser/Server，B/S）架构进行设计，包括 2 个核心服务后端，分别为业务服务和算法服务。业务服务负责处理、转换和存储数据，认证检验，封装结果；算法服务负责运行所有算法。此外，数据库采用 MySQL 系统，用来存储和维护测试集数据和测试产品数据。2平台实现针对医学人工智能产品的对抗测试技术平台包括数据集管理、人工智能产品模型管理和人工智能性能监控 3 个模块，模块结构如图 2 所示。2.1数据集管理模块数据集管理模块使用 React 框架进行搭建。该模块负责测试数据集的存储和维护。由用户在平台上传测试数据集，已完成上传的测试数据集可以在平台界面查看。此外，用户可以对自己上传的测试数据进行更新、删除等维护操作。2.2人工智能产品模型管理模块人工智能产品模型管理模块使用 React 框架进行搭建。该模块负责管理待评测的医学人工智能产品。由用户在平台中录入产品名称、产品型号、版本、生产厂家、注册证号、有效期、临床使用机构、临床科室及数据格式等内容，并在模块中为产品建档。针对已录入的产品，该模块会进一步对在用运行环境进行对接，针对产品在用运行环境所在的 IP 地址、端口、登录用户名及密码进行接口配置。此外，已录入产品的临床结果的导出与上传所涉及的数据格式及存储地址均在该模块中完成收集配置。用户可在该模块中查看已完成信息录入及数据对接的产品的全部内容。此外，用户可以更新已上传的产品及其型号、版本等信息。2.3人工智能性能监控模块人工智能性能监控模块基于 Nodejs 框架进行设计，包括对抗测试技术子模块和性能动态追踪与风险预警子模块。该模块中的所有算法均采用 Python进行开发。2.3.1对抗测试技术子模块对抗测试技术子模块针对不同模态下的医学人工智能产品采用了多种对抗测试技术进行分析和评价，具体实现如图 3 所示。首先，将待测模型上传。其次，选择合适的测试数据集。之后，根据不同医学模态选择合适的测试算法生成对抗测试数据集。其中针对医学影像的人工智能产品，用户可以选择扰动类型（通用扰动或者对抗攻击），通用扰动包括选择亮度影响、对比度影响、模糊影响和噪声影响3-4；对抗攻击需要选择攻击算法、攻击方式（黑盒或白盒5）和攻击强度。攻击强度根据添加扰动的最大阈值分为 1级（0.007）、2 级（0.014）和 3 级（0.021）。对于针对医学文本的人工智能产品，用户可以选择攻击算法，设置攻击方式（黑盒或白盒）和攻击强度。攻击强度按攻击成功的目标标签数量分为 1 级（1 个）、2 级（3 个）和 3 级（5 个）。最后，将原始数据集和测试数据集分别输入测试模型中得到测试结果。本平台通过灵敏度、特异性、ROC 和 FROC 4 个指标比较原始数据集和测试数据集测试结果之间的差异来评价测试模型的鲁棒性。2.3.2性能动态追踪与风险预警子模块本平台设计了性能动态追踪与风险预警子模块，对产品进行周期性性能评估，确保了产品使用时的性能稳定和使用安全。如图 4 所示，首先，平台会周期性地收集目标追踪产品在应用运行环境上的使图1针对医学人工智能产品的对抗测试技术平台架构图表现层查询任务进度和结果用户管理服务层产品对抗测试性能动态追踪与风险预警任务1任务2任务n任务1任务2任务n业务数据库测试集数据库测试产品数据库图2针对医学人工智能产品的对抗测试技术平台模块结构图图像模态文本模态对抗测试技术子模块周期性性能评估性能动态追踪与风险预警子模块不良事件监测存储维护模型信息端口信息存储信息数据集管理模块人工智能性能监控模块人工智能产品模型管理模块针对医学人工智能产品的对抗测试技术平台王光宇，蒋泽宇，杨国兴，等.针对医学人工智能产品的对抗测试技术平台设计J.医疗卫生装备，2023，44（1）：8-12.Thesis论著Thesis论著 9 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023用情况，以每月或每季度为周期，收集人工智能产品处理的病例数量信息、病例平均处理时间等在用情况的数据结果。其次，针对目标追踪产品的预期用途，基于在用运行环境下的数据集，以灵敏度、特异性、ROC、FROC 等参数周期性展示产品的性能结果，直观体现产品在不同时间节点的性能情况。使用性能动态追踪与风险预警子模块可以对目标追踪产品进行周期性地监测和分析，确保产品的性能稳定。当目标追踪产品出现问题时，该产品的各项参数会同时出现异常，本平台可以通过参数的变化快速发现问题并及时解决，为人工智能产