基于鼠标轨迹语义理解的医学影像阅片交互意图识别_杨晨希.pdf

西北大学学报（自然科学版）年 月，第 卷第 期，（）收稿日期：基金项目：国家自然科学基金面上项目（）第一作者：杨晨希，女，陕西西安人，从事医学影像与人机交互研究，。通信作者：冯筠，女，陕西西安人，教授，从事机器学习和人工智能及交叉应用研究，。医疗与人工智能基于鼠标轨迹语义理解的医学影像阅片交互意图识别杨晨希，乔 栋，牛 怡，崔 磊，冯 筠（西北大学 信息科学与技术学院，陕西 西安；运城市中心医院，山西 运城）摘要 由于诊断成像研究的数量及复杂度不断增加，现影像科医生日常阅片任务繁重、工作负担大，为影像科医生减轻阅片负担、帮助其提高诊断效率已成为各界关注的重点。对医生影像阅片过程中的交互意图进行识别与理解，可用于开发能够提供自适应工具、优化用户工作流程的新型智能影像阅片系统，以帮助医生更高效、更准确地进行数字影像阅片任务。目前，医生进行医学影像阅片仍然主要使用基于鼠标输入的图形用户界面，为此，提出一种基于鼠标轨迹语义理解的医学影像阅片交互意图识别方法。首先，对鼠标交互轨迹进行语义分段；然后，对分段后的鼠标轨迹子序列运用逻辑推理与监督学习的方法进行交互行为语义注释。在自建的鼠标交互轨迹数据集上对所提方法进行验证，该交互意图识别方法在.的 阈值下平均识别召回率、精确率及 均值分别达到、.和.。结果表明该方法可以有效地依据隐式鼠标交互数据实现医学影像阅片交互意图识别，证实了基于鼠标轨迹语义理解的交互意图识别方法在医学影像辅助阅片研究领域中的可行性及有效性。关键词 交互意图；鼠标交互轨迹；轨迹语义理解；医学影像诊断；人机交互中图分类号：.：，（，；，），.，.，.，；近年来，受国民健康意识加强、人口结构老龄化、诊断成像技术复杂度不断增加等因素影响，放射科医生日常工作负担加重。为影像科医生减轻阅片负担，帮助其更有效率地进行影像诊断推理与决策已成为各界关注的热点，具有重大的社会意义与临床应用价值。随着数字成像技术、计算机技术与网络技术的进一步发展，世纪 年代医学影像存档与通信系统（，）这一概念被正式提出。系统主要提供医学影像数据数字化、处理与传输等功能，在一定程度上帮助医生提高了诊断效率和准确率。如今数字化阅片方式已广泛应用于各级医院影像科室中，相比于传统的灯箱胶片式阅片，数字化阅片方式为医生增加了“洞察力”，帮助其提高了阅片效率及准确率。近年来，人机关系发生重大变革，人机交互理念逐渐从以机器为中心向以人为中心转变，从单一显式的用户动作表达向隐式机器智能推理与显式用户表达融合的方向发展。使计算机系统感知用户人机交互过程中的意图，分析其潜在的、隐藏的需求，已成为人机交互研究领域必然的发展趋势。影像阅片任务几乎都需要医生执行一系列操作及判断，如果阅片系统能够感知、预测用户交互意图，提前做好准备并在正确的时间传递正确的信息，则可以通过提供自适应辅助工具、优化界面等方式改善用户交互体验、优化用户整体人机交互过程，进一步融合医生智慧与机器智能的互补优势，更好地助力医生进行影像阅片诊断。随着人机交互技术的发展进步，用户可以通过多种方式与计算机进行交互。为了更多地了解用户交互行为，提高人机交互体验，已有相关研究试图对用户的交互意图进行识别及预测。例如，等人通过用户语音输入、手势输入、眼动输入实现了 种（激活和取消对系统的控制）技术，以识别用户何时与系统交互，解决医生在无菌环境下使用非接触式 系统时可能出现的误触问题。等人通过脑电信号及眼动信号对用户在模拟飞行任务中的交互意图进行识别，在信号采集后进行特征提取，并对两种信号特征分别使用 进行意图分类，最后通过决策级融合得到意图识别结果。该项研究旨在对自适应飞行器人机交互系统设计提供理论依据和技术支持。等人收集了参与者的鼠标键盘隐式交互数据、眼动跟踪数据、面部表情及肌电信号，对用户搜索多媒体内容过程中的交互意图进行预测。结果表明，用户的眼球凝视和隐式鼠标移动、击键数据具有最丰富的信息量，证明了部署此类方法来改进多媒体检索平台的可行性。除了基于上述交互技术的相关研究外，其他传感技术在各个领域的人机交互研究中也展现出巨大的发展潜力。然而，就现阶段而言，大多新型交互技术因受价格、部署环境等问题的限制，整体应用范围较局限，只能在小众的专业领域发挥效果。鼠标输入目前仍为医生进行医学影像阅片最主要的交互方式，同时，鼠标交互数据的采集可以轻松地通过软件部署实现，且采集过程隐秘，不干扰用户正常工作。在最近的一项研究中，等人对一名放射科住院医师使用电子阅片系统时的鼠标运动轨迹进行记录，发现在 工作时间内其鼠标共进行了 次点击操作，移动总距离达到.。大量的数字影像阅片任务可产生极为丰富且有价值的鼠标交互数据，西北大学学报（自然科学版）第 卷但出于医学数据隐私、研究领域隔离等问题，数字影像阅片过程中的鼠标交互数据目前还未得到充分研究与利用。对此类交互数据进行分析与挖掘可以进一步得到数字影像阅片过程中潜在有用的信息与知识，以应用于人机交互领域、计算机辅助诊断领域的研究中。鼠标交互数据是一种典型的同时具有时间维度属性和空间维度属性的生物行为数据，可以从不同的粒度、层面和视角记录人机交互过程中用户的活动信息，还可以隐式和动态地提供有关用户心理状态、体验感受和交互系统可用性等有用信息，现已被广泛应用于用户网页搜索行为预测、人机身份认证、用户情感状态理解、用户参与度度量等诸多人机交互领域的研究中。基于上述背景，本文旨在根据鼠标交互轨迹实现医学影像阅片交互意图识别的目的。在本文中，用户交互意图被定义为用户在使用系统阅片过程中所进行的交互行为，例如点击按钮、浏览图像区域等。由于缺乏对医学影像阅片系统使用过程中的用户鼠标交互数据进行研究的相关工作，因此缺少此类数据的公开数据集。首先，为了获取实验所需的鼠标交互数据以及用户交互行为标签，本文建立了鼠标交互数据集构建框架。基于此框架，在自定义的 辅助阅片原型系统上对用户交互过程中的鼠标跟踪数据及交互行为语义标签进行收集。其次，提出了一种基于鼠标轨迹语义理解的医学影像阅片交互意图识别方法，通过对原始鼠标交互数据进行轨迹分段及语义注释识别轨迹语义，实现用户交互意图的理解。最后，在所构建的数据集上通过实验验证了本文方法的可行性及有效性。相关工作鼠标光标可以充当用户注视活动的弱代理，提供一个用于深层次理解用户人机交互行为的方案。有研究表明，用户不仅在做出决策后移动鼠标进行交互，在决策过程中同样会使用鼠标帮助其进行任务处理，鼠标移动可以作为用户思维的“实时运动轨迹”。目前，对鼠标交互数据进行建模分析的研究主要可分为两类：建模轨迹运动特征和建模轨迹时序特征。建模鼠标轨迹运动特征的研究主要包含特征提取及模型分类等步骤。例如，等人面向人机身份认证问题，对机器滑动轨迹数据的攻击方式进行分析后提取轨迹特征，再利用特征重要性分数及特征相关系数分析进行特征选择，最后，使用 进行人机身份分类识别，实验结果表 明 该 方 法 获 得 了.的 准 确 率 及.的召回率。等人收集用户编程过程中的鼠标及键盘交互数据，通过特征提取与分类对用户编程过程中积极、消极与中性 种情感状态进行识别，为用户通过电子平台学习编程的过程提供更好地反馈及体验。等人对网络调查任务中受访者的鼠标行为数据进行特征提取后分类，用于预测所调查问题对于用户的难易程度。建模鼠标轨迹时序特征的研究主要考虑鼠标交互动作发生的时序性。例如，等人基于贝叶斯模型结合用户的鼠标键盘交互动作序列及注视行为特征对用户进行文本格式化任务过程中的交互意图进行预测，实验结果表明，使用从鼠标键盘日志中提取出的先前鼠标交互动作序列进行预测的性能明显优于仅从注视行为中提取特征。等人基于长短时记忆网络模型建模用户历史交互活动及鼠标交互特征，实现用户下一交互活动预测及非意图鼠标点击检测。在大多数现有的相关研究中，常将整段轨迹数据作为整体分析建模。然而，就本研究而言，鼠标交互数据在不同时段常常蕴含有不同的用户交互语义信息。轨迹语义理解是对时空数据进行分析的一种手段，指在融合多源信息的基础上，通过逻辑推理和知识发现等方法，以理解时空数据产生过程中所反映出的用户行为、状态和偏好等语义信息。对时空轨迹进行语义理解可以为原本简单的地理坐标数据赋予内涵，对深度挖掘数据的多方面价值具有关键作用。综上，本文提出基于鼠标轨迹语义理解的交互意图识别方法，通过轨迹分段和轨迹语义注释获取轨迹的局部语义，实现识别用户医学影像阅片交互意图的目的。医学影像阅片数据集构建.基本概念本文主要涉及到的概念及定义具体如下，文中符号总结说明如表 所示。第 期 杨晨希，等：基于鼠标轨迹语义理解的医学影像阅片交互意图识别表 符号总结 符号定义 鼠标交互读数，为 元组格式鼠标交互轨迹，由多个 组成鼠标轨迹子序列，的一段子序列鼠标结构轨迹，具有结构信息的 鼠标语义轨迹，具有语义信息的 定义 鼠标交互读数。一个鼠标交互读数为一个 元组，对应一个鼠标交互事件，表示为 （，）。其中：为该鼠标交互事件发生的时间戳；（，）表示交互坐标；代表鼠标交互事件的其余属性信息，并有 ，为其余属性的个数。定义 鼠标交互轨迹。鼠标交互轨迹被定义为一个以时间增序排序的鼠标交互读数序列，以记录交互过程中鼠标交互信息，表示为 ，。其中：为鼠标交互读数；为的序列长度。定义 轨迹子序列。给定一条鼠标交互轨迹 ，其子序列定义为，。其中，为子序列长度。定义 鼠标结构轨迹。鼠标结构轨迹是对鼠标交互轨迹 经轨迹分段后得到的，由多个轨迹子序列 组成，每段子序列具有相似的属性特征，令 。通过结合结构化信息，比具有更丰富的附加语义信息。定义 鼠标语义轨迹。鼠标语义轨迹是带有附加语义信息的鼠标结构轨迹。在本文中，语义信息表现为每段鼠标轨迹子序列所对应的用户交互行为类别标签。令 ，其中，为用户细粒度交互行为类型标签。定义 系统响应行为与非系统响应行为。系统响应行为即为软件系统可以识别为特定指令并作出相应反应的鼠标交互行为，如点击按钮。非系统响应行为即为无法被软件系统识别为明确指令的鼠标交互行为，如浏览行为。定义 背景行为与活跃行为。对于系统无法识别为明确指令的鼠标行为，用户可能借助鼠标光标帮助其进行认知信息处理的此类鼠标动作为活跃行为。与之相对，用户交互过程中只为了移向某个区域、或无意识的鼠标动作为背景行为。.鼠标交互数据集构建框架由于缺乏用户使用医学影像阅片系统的公开鼠标交互数据集，为了获得鼠标交互数据及相应的用户交互行为标签，以帮助建立鼠标交互轨迹语义注释模型并验证其性能，本文首先提出了一个鼠标交互数据集构建框架。如图 所示，该框架主要由数据收集、数据划分和数据预处理 个模块组成。数据收集模块收集用户与系统交互过程中的鼠标交互跟踪数据与交互行为标签信息；数据划分模块将原始日志文件划分为原始数据和交互行为标签，其中，交互行为标签在后文用于训练基于监督学习的鼠标轨迹语义注释模型，并验证其性能；数据预处理模块对原始数据集进行格式处理及属性添加。图 鼠标交互数据集构建框架 ）数据收集模块。本文数据收集模块用于采集用户与系统交互过程中的 类数据：鼠标交互数据、交互行为标签标记（）和屏幕录制视频。此模块主要由屏幕记录器和系统日志记录器 个部件组成。在本文中，系统日志记录器使用 中的 模块及 鼠标监听模块实现，用于捕获用户与系统交互过程中的鼠标跟踪数据与系统界面参数。其中，所采集的系统参数是根据所使用原型系统的实际界面布局和功能设计的。为了获得准确的用户交互行为标签信息，同时，最大程度上减少参与者在数据收集过程中所需进行的额外标记动作、避免影响正常交互流程，本文进行如下设置：参与者在开始一个交互行为前单击某特定热键，此时系统日志记录器会自动记录一个标记到日志文件中，该标记在后续用于辅助研究人员补充行为标签数据信息。屏幕记录器与日志记录器都运行在系统后台，不会影响用户正常使用过程。由于 中控件存在不西北大学学报（自然科学版）第 卷支持部分鼠标监听事件的情况，本文通过重写控件类以实现一个允许完全系统界面鼠标跟踪的自定义服务。）数据划分模块。首先，由研究人员结合录屏与交互行为标签标记为日志文件补