面向中文医学文本的知识图谱通用评测系统设计_林晓兰.pdf

医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023面向中文医学文本的知识图谱通用评测系统设计林晓兰1，梁铭标1，王浩2，张志辉3，江之晗3，麻硕4，钱鹏1，谷祥拓1，陈秀娟4，黄帅4，梁会营1*（1.广东省人民医院，广东省医学科学院，广州 510080；2.中国食品药品检定研究院医疗器械检定所光机电室，北京 102629；3.深睿研究院，北京 100089；4.广州市妇女儿童医疗中心，广州 510623）摘要目的：设计一种面向中文医学文本的知识图谱通用评测系统，以为医学研究人员、医疗机构及企业评估知识图谱技术水平提供手段。方法：该系统以医学专家人工标注的标准评测数据集为基础，以深度学习算法模型为支撑，采用浏览器/服务器（Browser/Server，B/S）架构设计，采用 Python 3.7 编程，由评测任务以及数据集配置与管理、知识图谱任务评测、评测指标记录与对比 3 个功能模块组成。结果：采用该系统可以根据知识图谱评测需求自定义评测项目，灵活配置必选和可选的评测内容，且在评测后可以提供单方面或者综合能力的量化成绩。结论：该系统解决了医学知识图谱领域面临的无法评估技术性能水平的痛点，为医学领域的知识图谱评测提供了参考。关键词医学文本；知识图谱；知识图谱评测；深度学习中国图书资料分类号R318；TP311；R319文献标志码A文章编号1003-8868（2023）01-0013-06DOI：10.19745/j.1003-8868.2023003Design of knowledge graph general evaluation system for Chinesemedical textsLIN Xiao-lan1,LIANG Ming-biao1,WANG Hao2,ZHANG Zhi-hui3,JIANG Zhi-han3,MA Shuo4,QIAN Peng1,GU Xiang-tuo1,CHEN Xiu-juan4,HUANG Shuai4,LIANG Hui-ying1*(1.Guangdong Provincial Peoples Hospital,Guangdong Academy of Medical Sciences,Guangzhou 510080,China;2.Division of Active Medical Device and Medical Optics,Institute for Medical Device Control,National Institutes for Foodand Drug Control,Beijing 102629,China;3.DeepWise AI Lab.,Beijing 100089,China;4.Guangzhou Women andChildrens Medical Center,Guangzhou 510623,China)AbstractObjectiveTo design a general evaluation system of knowledge graph for Chinese medical texts in order to providea means for medical researchers,medical institutions and enterprises to assess knowledge graph technology.MethodsAknowledge graph general evaluation system for Chinese medical texts based on the standard evaluation datasets manuallyannotated by medical experts and deep learning algorithm models was developed with Browser/Server(B/S)architecture andPython 3.7,which consisted of three functional modules for configuration and management of evaluation tasks and dataset,knowledge graph task evaluation and recoding and comparison of evaluation indexes.ResultsThe system developed could becustomized by flexibly equipping mandatory and optional contents as required,which provided quantitative scores of singleability or comprehensive abilities after evaluation.ConclusionThe system developed solves the problem in evaluatingtechnical performance level for medical knowledge graph.Chinese Medical Equipment Journal，2023，44（1）：13-18Key wordsmedical text;knowledge graph;evaluation of knowledge graph;deep learning0引言近年来，知识图谱相关技术迅速发展，知识图谱在新形势的推动下逐步拓展出医学知识图谱1、金融知识图谱2、农业知识图谱3、安全知识图谱4等领域知识图谱，其中更不乏有风控5、营销6等场景化知识图谱。知识图谱在技术方面的突破，引发了相关研究者的进一步探索和评估，知识图谱评测随即应运而生。知识图谱评测作为评估知识图谱技术性能水平的一种手段，能够为知识图谱发展提供参考，但同时也面临着诸多挑战，如缺乏特定领域内真实场景下的文基金项目：国家重点研发计划项目（2019YFB1404803）作者简介：林晓兰（1997），女，医学数据工程师，主要从事医学文本数据方面的研究工作。通信作者：梁会营，E-mail：林晓兰，梁铭标，王浩，等.面向中文医学文本的知识图谱通用评测系统设计J.医疗卫生装备，2023，44（1）：13-18.Thesis论著Thesis论著 13 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023本数据等知识资源、相关研究匮乏、评测缺乏规范性、评测效力式微、评测数据集偏差、评测指标失真、评测生命期短、评测任务缺乏系统性、评测技术单一、可解释性较差等7。因此，许多评测数据集和评测任务不断被提出，如通用语言理解评估（general languageunderstanding evaluation，GLUE）8、中文语言理解测评（Chinese language understanding evaluation，CLUE）9、中文生物医学语言理解测评（Chinese biomedical lan-guage understanding evaluation，CBLUE）10、全国知识图谱与语义计算大会知识图谱评测（China Conferenceon Knowledge Graph and Semantic Computing knowle-dge graph evaluation，CCKS）11等，研究者们正在逐步寻求评估知识图谱技术水平的标准策略。随着我国医疗领域信息技术的发展和信息化水平的提升，研究面向中文医学文本的知识图谱评测被提上日程。众所周知，医学文本中蕴含着大量详尽而有价值的知识，尤其相较于英文文本，中文医学文本的处理存在着许多挑战，例如文本内容口语化、上下语境不丰富、实体关联困难等11。许多医学研究人员、医疗机构及企业因人力、技术水平等条件受限未能更好地使用数据，而在无法保证数据集质量和评估技术水平的情况下进行科学研究和智能应用建设，知识图谱作为承载底层海量知识并支持上层智能应用的重要载体的作用将大打折扣。为此，本文采用浏览器/服务器（Browser/Server，B/S）架构，基于深度学习算法模型，结合医学专家人工标注的标准评测数据集，建立命名实体识别、实体链指、问答的医学知识图谱三位一体的标准测评任务体系以及相应评测数据集生成机制，搭建一个支持用户根据评测需求自定义评测项目、灵活配置必选和可选的评测内容、提供任务评测后单方面或者综合能力的量化成绩的知识图谱通用评测系统，以为医学领域的知识图谱评测提供参考。1需求分析海量生物医学数据的积累为生命科学问题的解决带来了新的途径。医学文本作为医学知识最丰富的数据类型，常被用于构建医疗领域知识图谱系统，应用于语义搜索、知识问答、临床决策支持等方面12。随着医学信息技术的发展，医学知识图谱也被应用于辅助药物研发13、公共卫生事件的预警场景14中。医学文本中医学术语表达多样化作为一个国际性问题，在英文医学文本大数据方面的标准化数据库/语料库构建，以及在此基础上的命名实体识别、关系抽取、文本分类与聚类、临床术语集自动更新等标准化处理算法研究已有良好的基础15，反而基于真实世界大规模中文医学文本数据的相关研究明显滞后。研究如何高质量地从中文医学文本数据中提取临床经验知识构建医学知识图谱是近年来的重大科学前沿。在自然语言处理领域，知识图谱评测作为评估、量化机器分析和处理人类语言能力的一种手段，往往也将评测成绩作为衡量科学技术研究水平、应用技术水平的一个重要依据。尽管现如今知识图谱评测任务的数量越来越多，但是评测的质量和效力仍旧参差不齐，这也是目前医学研究人员、医疗机构及企业构建医学知识图谱应用和实现落地化业务普遍存在的痛点。面向中文医学文本的知识图谱通用评测系统旨在把医学专家人工标注后的大规模真实临床文本数据作为评测任务的标准评测集使用，选用双向长短期记忆（bi-directional long short-term memory，BiLSTM）+条件随机场（conditionalrandomfields，CRF）的传统序列标注模型、基于转换器的双向编码表征（bidirectional encoder representation from transformers，BERT）16语义匹配模型以及基于实体与关系识别的模型作为系统评测任务模型，为用户提供自定义评测项目功能模块，并提供量化成绩，为医学研究人员、医疗机构及企业评估知识图谱技术水平提供参考。2系统设计2.1系统开发环境开发环境配置是进行系统开发的第一步，在设备硬件条件满足的情况下，搭建软件开发环境，继而开始进行系统设计开发。硬件环境：（1）CPU：i5-10400 处理器，2.90 GHz以上主频；（2）图形处理器（graphics processing unit，GPU）：GeForce RTX 3060 显卡芯片，12 GiB 显存容量；（3）内存：32 GiB 以上；（4）硬盘空间：50 GiB 以上。软件环境：（1）操作系统：Linux；（2）软件开发编辑器：VSCode；（3）编写语言：Python 3.7。2.2架构设计系统采用 B/S 架构设计，前端展示利用 HTML5、JavaScript、jQuery、Ajax 等技术实现，后端采用 Python语言、Django 框架等技术实现与前端操作界面和数据库的交互，以 Scikit-learn、TensorFlow 等技术实现对评测任务中算法模型的支撑。系统架构主要分为4 个层次，分别为运行环境层、数据资源层、数据服务层、系统应用