基于卷积神经网络的舌态辨识方法探讨_田琪.pdf

收稿日期：；修订日期：基金项目：山东省研究生教育优质课程项目（）；山东省中医药科技发展计划项目（）；国家教育部高等教育司产学合作协同育人项目（）作者简介：田 琪（），女（汉族），内蒙古赤峰人，山东中医药大学中医学院在读博士研究生，硕士学位，主要从事舌、脉、证及其相关研究工作通讯作者简介：任 健（），男（汉族），山东济南人，山东中医药大学中医学院教授，博士学位，主要从事舌、脉、证及其相关研究工作基于卷积神经网络的舌态辨识方法探讨田 琪，商庆新，张 硕，陈 宇，王 敏，任 健（山东中医药大学中医学院，山东 济南）摘要：在智能医疗时代背景下，中医与人工智能的交叉融合为中医的发展提供了新动力，为中医舌诊发展指了明新方向。目前智能舌诊研究以舌部图像的色、形辨识为主，对舌态的研究较少。然舌态既可补充舌色、形反映信息的不足，又潜藏着大量未知的医学信息，可能是未来智能舌诊研究的主要方向。卷积神经网络因其在目标检测、图像识别领域的独特性能而成为计算机视觉任务中的主要方法，目前已广泛应用于舌色、形的辨识，并在舌态研究领域展现了巨大潜力。文章通过挖掘古代典籍中舌态的价值，提出利用卷积神经网络算法进行舌态辨识，以期实现中医舌诊思维模式突破与智能创新突破，为舌诊未来发展打开新空间。关键词：舌诊；舌态；卷积神经网络；识别模型 标识：中图分类号：文献标识码：文章编号：（）近年来党和国家大力推进新一代信息技术发展，加强人工智能在教育、医疗卫生等领域的深度应用，明确提出了智能医疗模式、“互联网 中医药健康服务”行动等，鼓励发展互联网中医医院，开发中医智能辅助诊疗系统。医疗领域与人工智能的逐步融合，开启了智能医疗新时代，。在此时代背景下，中医与人工智能的交叉融合势在必行，。舌诊作为中医诊疗过程中的重要诊法，其智能化研究更具重要意义。以往智能舌诊以舌部静态图像色、形研究为主，对舌态研究未给予重视。舌态除了可补充舌色、形所反映信息的不足，还蕴含了大量肉眼难以察觉的信息，是未来智能舌诊的重点研究方向之一。当下利用何种技术对舌态展开研究是困扰学者的核心问题，本文提出了通过迁移学习的方法将卷积神经网络算法应用到舌态辨识，以期为智能舌态研究提供新的思路。舌态研究舌态即舌体的活动状态，正常情况下表现为舌体伸缩自如，运动灵活，发音正常，病理状态下则会出现舌体强硬、萎软、颤抖、短缩、歪斜等表现。早在黄帝内经中对舌态便有诸多论述，经过历代医家的不断探索，舌态在揭示疾病的病因病位、辨证治疗、判断吉凶愈后等方面的重要价值日渐凸显。揭揭示示病病因因病病位位 舌通过经络系统与五脏建立密切关联，人体的病因、病位、感邪性质等均可通过舌态表现出来。如增订通俗伤寒论伤寒舌脉云“凡舌颤掉不安者。曰舌战。由气虚者蠕蠕微动，由肝风者习习煽动，宜参舌色以辨之。”指出颤抖舌的产生与气虚和肝风有关，其中舌体颤抖幅度小，微微蠕动者为气虚所致，颤动幅度较大者为肝风所致。丹溪手镜中风云“舌强不能言，风入心脾涎中之。”说明舌体强硬，言语障碍的产生是由于风邪客于心脾。望诊遵经卷下望舌诊法提纲云“舌卷短者，心病也。舌卷，而烦满囊缩者，厥阴病也。喉痹舌卷。口干烦心，心痛，臂内廉痛，不可及头者，邪客于手少阳之络也舌卷黑者，心绝也。”根据临床表现不同，舌卷短的出现可反映心、肝、脾等脏腑的情况。舌态可揭示疾病的病因病位，在临床中具有重要的诊断意义。指指导导辨辨证证治治疗疗 舌态是机体的外在表象，可作为重要的诊断指征，指导疾病的治疗。如增订伤寒论伤寒舌脉云“麻木而伸不出者。肝风挟痰。宜熄风化痰如舌缩而边卷者。胃液燥极。宜清胃润燥。润之而舌仍卷者。病去而舌气未和。尚可养营益气。若卷而缩短者。厥阴气绝。舌质痿缩也。不治。垢腻揩去而舌仍缩者。亦不治。”表明舌麻木难以伸出者为肝风夹痰郁阻络脉所致，治宜熄风化痰。舌体短缩伴有舌边卷，为胃火热甚，燥热伤津所致，治疗应清胃热，润胃燥。而舌体卷短舌质萎缩，则为不治之症。温疫论下卷应下诸证云“舌短、舌硬、舌卷，皆邪气胜，真气亏，急下之，邪毒去，真气回，舌自舒。”提示感染疫病的患者若出现舌短、舌硬、舌卷等异常舌态，为机体邪气亢盛，正气不足，应速用下法，驱邪外出，如此才可使正气来复，机体向愈。判判断断吉吉凶凶愈愈后后 舌态是人体之“神”的重要表现形式之一。“神”被认为是人体生命活动的主宰，是人体一切意识、思维、活动的总体现。素问移精变气论中云“得神者昌，失神者亡”，更是将神的有无与生命的存在与否建立直接联系。故根据舌态可判断神的状况进而推测疾病的吉凶顺逆。如证治准绳卷一云“凡舌硬，舌强，舌短缩，神气昏乱，语言不清者，死也。”灵枢经脉云“足太阴气绝者，则脉不荣肌肉。唇舌者，肌肉之本也则舌萎人中满甲笃乙死，木胜土也。”灵枢终始云“厥阴终者，中热溢干，喜溺，心烦，甚则舌卷，卵上缩而终矣。”以上均表明舌强，舌硬，舌短缩、舌萎人中满、舌卷卵缩等为死症，提示预后不良。疾疾病病预预警警 舌体血脉丰富，外无表皮覆盖，脏腑的功能状态、气血盈亏等可先于其它症状而通过舌态表现出来，故舌态对疾病具有预警作用。罗秀娟等通过研究 例中风先兆患者的舌象，发现约 的中风先兆患者存在舌卷不灵、舌强不灵、舌体歪斜、舌体颤动等异常舌态。刘耀东认为中风先兆的患者会表现出轻微的舌强与频发的弄舌。若发现舌态异常便及时就医，极可能会避免意外的发生。综上可知，舌态在临床中具有重要的价值。然现有中医舌态理论关于此问题论述较少，亦缺少相关的分析和研究。当下舌态研究仍停留在用肉眼观察、语言描述、文字记录的层面，缺乏量化、客观化、信息化处理，阻碍了舌态的研究进展。舌态是舌诊信息挖掘的空白区域，在中医诊法研究中极具张力和潜力。年卫保国等根据舌体中轴与嘴角的关系，得到歪斜指数来辨识歪斜舌；年宋恺等提出了光流法和 模型相结合的方法，实现动态舌体跟踪。此后，舌态研究近十余年未有突破。分析其原因其可能与以下几个因素有关：第一，重视程度不足。舌（苔）色、形可以反映大部分疾病信息，因此临床中医生在望舌时多关注舌（苔）色、形的变化，而对时珍国医国药 年第 卷第 期 舌态重视不足。第二，技术瓶颈。原有的计算机技术不能实现舌态识别任务的完成。第三，学科间交叉融合不够。中医研究多集中于中医药院校或科研单位，与计算机等相关专业的思想碰撞机会少，很多想法碍于彼此不了解而难以付诸于实践，阻碍了中医舌态智能化研究进程。近年来计算机技术的迅猛发展，催生智能医学新模式，远程医疗、医疗大数据分析、临床智能诊断、智能医用机器人等创新应用的出现推动了医学、人类生活、社会发展新变革。舌态研究若想取得新的进展，应当借助以人工智能为代表的新兴科学技术，在大数据、云平台、互联网三者联合构建的舌态样本数据库的基础上，对海量的舌态数据进行深度分析、融合，以期发现其中潜在的价值。目前光流法、卷积神经网络等均可实现舌态的追踪分析，但尤以卷积神经网络更具优势。卷积神经网络 卷卷积积神神经经网网络络概概述述 卷积神经网络（，）是近年发展起来并引起广泛重视的一种高效识别方法。的设计灵感来源于动物视觉系统分级处理信息的能力，即较低层的神经网络提取图像的浅层特征（如边缘信息），较高层的神经网络提取图像的深层特征（如图像的某个像素块），最终得到图像的整体特征。主要由三部分构成，分别为卷积层、池化层和全连接层。卷积层实质上是进行一种滤波操作，主要完成特征提取任务。池化层的主要作用是对卷积层产生的特征图进行池化操作，并输出对特征图的池化结果。全连接层则可整合之前各层提取到的特征信息，将其特征映射到对应的标签，起到特征分类的作用。在 中图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。正因为 的特性如此突出，在 比赛中，自 年后所有的模型都为基于 的框架，已成为计算机视觉任务中最主要的方法。在医学研究领域，在诸多疾病的诊断上都取得了专家级的表现。、和 分别证明 在阿尔茨海默病分类、间质性肺病分类和肝肿块鉴别诊断方面的潜力。在中医学领域，已成为舌象识别的主要方法。刘婧玮、温坤哲、刘国正等利用 实现了舌象辨识、舌象分类模型构建等任务。不仅仅提高了舌诊的准确率，而且为 中医诊疗系统等信息化产物的出现打下了坚实的基础。见图。图 卷积神经网络体系结构和训练过程 卷卷积积神神经经网网络络算算法法在在视视频频分分类类中中的的应应用用 在图像分类中的优异表现为视频分类提供了大量的参考。视频分类与图像分类的根本差异在于视频具有时序性。为了能兼顾视频分类中的时序特征，基于 出现 模型、卷积神经网络、双流卷积网络等。在 模型中，（）是一种时间循环神经网络，它的记忆单元和门机制使其在学习长序列数据的时序依赖关系方面有着优良的性能，适合学习视频中的时序特征，其与 的结合可很好地解决视频分类中表观特征与时序特征的问题。卷积神经网络更加注重图像帧之间的时序信息，它能够综合考虑视频中的时间与空间信息。但 卷积神经网络也存着面对复杂动作识别困难、模型训练时易产生过拟合现象等问题。故在 卷积神经网络的基础上又出现的、等以提高视频识别分类的准确率和泛化能力。双流卷积网络的原理是通过对建立的空间流和时间流卷积神经网络分别进行独立训练，最终由 分类器将上述两个网络融合以达到视频分类的目的。其在计算中的参数量少，模型识别的性能好，对硬件设备的要求也较低，目前在视频分类领域应用较为广泛。卷积神经网络用于舌态辨识的可行性以 为基础的相关模型在视频分类中的应用，促使将 用于中医舌态研究成为可能。通过对舌态已有认知的分析发现，舌态识别与面部微表情识别、舌体轮廓追踪 的研究思路极其相似。微表情是人面部的微小变化，包括动作变化和纹理变化。微表情的变化幅度小且持 续 时 间 短（仅 为 秒 至 秒），极不容易被人眼所捕捉。近几年来很多学者尝试使用计算机视觉和机器学习算法来实现微表情自动识别。如 和 等人将面划分为若干既相互独立又相互联系的运动单元，通过 模型分析不同运动单元的运动特征，从而对微表情进行了较好的识别。颤抖舌是舌面肌肉的不自主收缩、抖动，与微表情变化特征相似，表现为变化幅度小、持续时间短、部位相对固定的特点，故用相似的方式将舌面划分为若干既相互独立又相互联系的运动单元（如图），通过 模型分析舌面不同运动单元的运动特征，便可实现颤抖舌的识别。图 舌面运动单元划分舌轮廓跟踪技术最早用于超声图像序列中舌头的运动分析，它能将实时语音中舌头的形状和运动轨迹可视化地表现出来。近几年，针对自动舌体跟踪问题已经提出了许多方法，其中 因其在速度和鲁棒性上的突出性能而被广泛使用。目前 模型、模型、和 模型、卷积 神经网络等均被用于舌体轮廓追踪。这一技术的成熟应用为中医舌态研究提供了重要的思路。舌态反映的是舌体运动轨迹，因此，若能运用舌轮廓追踪技术成功的追踪到伸舌过程中舌体的运动轨迹（如图），则不仅可以实现对已知异常舌态（如吐弄舌、歪斜舌）的识别，而且可能会发现新的舌体运动规律，丰富现有舌态特征。时珍国医国药 年第 卷第 期图 舌体轮廓追踪然而，构建一个成熟的舌态辨识 模型需要大规模规范的数据集和计算机资源作为支撑，鉴于以往许多舌象分类模型均是由迁移学习来实现的，如今再重新训练一个舌态识别 模型亦非必要。舌态辨识与面部微表情识别、舌体轮廓追踪研究思路相似性，故同样可以利用迁移学习的方法将基于 在面部微表情识别、舌体轮廓追踪领域的模型迁移到舌态辨识领域，如此既可显著降低对训练样本集和计算资源的需求，又能够加速模型的学习效率，便于舌态辨识。总结在计算机技术高速发展的今天，中医舌诊若想取得新的进展，需要利用现代化手段进行革新。人工智能与舌诊的交叉融合，无疑为古老的诊法注入了新的活力。现存智能舌诊系统仅把静态舌像作为分析目标，忽略了对舌态的辨析，会造成所得信息趋于片面，不利于某些疾病的诊断。补充舌态辨识既可使智能舌诊体系更加完整，舌色、形、态三者的结合又会让诊断结果更加精准。此外，借用人工智能技术对海量舌态数据进行挖掘分析，或可逐渐揭示舌态与健康、患病之间新的映射关系，为中医诊法创新发展提供新的研究路径。因此舌态应该是未来智能舌诊研究需要攻克的重点内容。以 为