基于计算机图像技术的中医舌形客观化研究概述_陆俊红.pdf

2022 第二十四卷 第十一期 Vol.24 No.11 Modernization of Traditional Chinese Medicine and Materia Medica-World Science and Technology 基于计算机图像技术的中医舌形客观化研究概述陆俊红，徐艺峰，王忆勤，郝一鸣（上海中医药大学上海市健康辨识与评估重点实验室/中医四诊信息化实验室 上海 201203）摘要：舌诊是望诊中具有较强实用价值的组成部分。但临床上对于舌形的判断往往取决于医生的自身经验，具有较强的主观性，随着科技的发展，人们尝试将传统望舌与计算机图像技术结合，通过提取、量化的方式得到更为客观的舌形参数，这一结合过程对于望舌形的发展有着重要价值。目前，舌诊的客观化研究取得了阶段性的成果，但在临床上的推广有一定局限，本文回顾了近20年来国内外有关中医舌形客观化的研究现状，总结了目前研究的不足，并对后续有关中医舌形客观化研究的方向和策略提出了可行的建议。关键词：舌诊 舌形 计算机图像 客观化 综述doi:10.11842/wst.20211128006 中图分类号:R241.25 文献标识码:A舌诊是中医望诊的重要环节，包括3个部分：望舌质、望舌苔、望舌下脉络。其中舌质包含舌神、舌色、舌形、舌态4个部分，中医诊断学将舌形分为老嫩舌、胖瘦舌、点刺舌、裂纹舌、齿痕舌。舌诊中舌形较容易被识别，并且舌形不容易受到其他外来因素（如食物、药剂等）的影响，因而舌形作为一种较为客观的反应人体生理过程的诊断标志，被广泛运用于临床辨证中1。传统中医望舌往往依靠医生的主观意识和经验积累，客观性不足，因此舌形客观化对于疾病诊断、疗效评估具有重要作用。近20年来，各种新兴的计算机技术广泛用于中医研究，其中计算机图像处理技术常用于望诊的图像识别和疾病诊疗等2-4。计算机图像能清晰反应舌形老嫩、胖瘦、点刺、裂纹、齿痕等特征，通过各种计算机软件对舌图进行分析后，提取客观的舌形参数。既往舌体分割方法分为 3 类，分别是基于颜色特征的舌分割5、基于Snake模型及其变体的舌分割6以及基于深度神经网络的舌分割7-8，并在此基础上不断发展创新。但计算机图像技术研究舌图像在数据采集、转化、计算机图像处理模式等方面还存在一定缺陷，且目前尚未见有关计算机图像处理舌形参数研究现状的总结，因此本文旨在对近20年来国内外有关中医5种舌形客观化研究现状进行概括分析，总结了目前研究的不足，并提出未来开展舌形客观化研究的方向和策略。1 舌形客观信息提取的算法研究 1.1老嫩舌老舌顾名思义指舌头形体苍老，表现为舌质纹理干燥粗糙，多主实。嫩舌舌体胖且娇嫩，舌质纹理细腻，色泽淡，多主虚。辨舌指南 记载：“凡舌质坚敛而苍老，不论苔色白黄灰黑，病多属实。舌质浮胖兼娇嫩，不拘苔色灰黑黄白，病多属虚。”目前常用老嫩舌的区分依然主要依靠医生直接观察病人舌体的大小、纹理、充盈程度。现代医学研究老嫩舌客观化有以下几个方面：许家佗等9依据中 收稿日期：2021-11-28 修回日期：2022-05-24 国家自然科学基金委员会面上项目（82174279）：从“舌苔微生物-脂代谢”途径探讨胃癌前病变湿证物质基础及化湿方药干预机制，负责人：郝一鸣；上海市科学技术委员会上海市科技计划项目（21DZ2271000）：上海市健康辨识与评估重点实验室，负责人：王忆勤。通讯作者：郝一鸣，博士，高级实验师，主要研究方向：中医诊断客观化研究。4568 Modernization of Traditional Chinese Medicine and Materia Medica-World Science and Technology 世界科学技术-中医药现代化思路与方法二：中医诊断学研究医老嫩舌纹理差异较大的特点，针对老嫩舌的纹理特征进行分析处理，分析时采用灰度差分统计方法来对舌图像纹理进行量化和定义分类，再运用对比度、角度方向二阶矩、熵、均值4个参数进行进一步量化、分类，实验结果显示采用以上方法后计算机识别老嫩纹理情况与传统中医视觉识别的符合率为：老舌88%、嫩舌76%、舌质适中72%、总体识别率达74%，表明灰度差分法结合4种参数共同描述舌表面纹理细腻及粗燥程度效果佳，结果与传统中医舌诊纹理分类方法符合度较好，许家佗也尝试将该种判别老嫩舌的方法应用于临床诊断。沈兰荪等10发现目前较常用地单一纹理特征或者单一颜色特征对判断老嫩舌的识别率比较低。因此他们采用基于k近邻分类器的AdaBoost融合方法将颜色与纹理特征组合成为一个特征矢量，在此基础上设计多个分类器，不同分类器间存在的互补性，充分利用其互补性来提高舌体老嫩的识别率。研究表明基于k近邻分类器的AdaBoost融合方法对舌体颜色和纹理的融合特征的识别比单一特征识别老嫩舌效果好，其识别结果基本可以满足日常判断老嫩舌的要求。但此方法并未与传统肉眼识别方法进行比较验证，难以得到准确的识别率。可进一步进行对比实验，有助于更客观地衡量此方法的识别率。刘春雨等11在结合老嫩舌图像纹理特征的基础上运用灰度共生矩阵法对老嫩舌进行客观化分类。该实验计算了 4个不同方向角度（分别为 0、45、90、135）的灰度共生矩阵及其综合灰度共生矩阵，并将计算结果中的5个特征参数（包括相应能量、对比度、灰度共生矩阵、非零点个数等）组成特征向量，再采用线性分类器进行分类实验，实验得出当灰度矩阵距离为5像素，角度为0时，老嫩舌的分类精度最高。该结果为后续研究提供了最高精度的舌图像素和角度，也提供了另一种研究思路。以上研究表明在计算机识别舌质老嫩的过程中采用多种参数以及多种分类器结合的效果常比单一参数更佳，其中许家佗的灰度差分法识别的效果具有较高的识别率，在运用于临床后可再进一步研究。刘春雨的实验后续研究可以考虑在此灰度矩阵的基础上进一步细分角度、提取更多结果中的特征参数组成向量计算，以期得到更精确的角度与像素。1.2胖瘦舌胖大舌舌色多淡白，舌体胖嫩，较正常舌大且厚，严重者甚至舌体肿胀，充满口腔，胖大舌多由脾肾阳虚导致的气化失常、水湿内停引起。瘦舌的舌体较正常舌瘦薄，又称“瘦薄舌”，多见于气血两虚和阴血不足人群12。中医识别胖瘦舌以正常舌为参照，通过与正常舌比较判断胖瘦。但正常舌的标准难以确定，由于人群年龄、性别、区域的差异，没有完全意义上的健康人的正常舌，因此准确区分胖瘦舌与正常舌较为困难。研究者们也致力于找出客观的算法来判别胖瘦舌。许家佗等13采用CCD图像采集设备MVC1000在舌体正、侧面同步进行立体图像采集，再利用计算机测算舌图中舌体长度（L）、宽度（K）、厚度（H），将以上3种参数与舌体表面积（Mt）建立5种不同比值关系的的舌体系数计算方法，用以上5种不同计算方法分析了临床500例舌图像，得到不同舌体系数数据的离散度，最终构建了单位体表面积（Mt）、舌宽度（K）、厚度（H）的最佳舌体系数计算方法。应用该方法对已识别为胖舌212例、瘦舌35例的图像进行比较分析，结果表明s=（K+H）/Mt的舌体系数计算方法对判断胖、瘦舌具有较好的效果，与临床医生视觉分类胖、瘦舌的符合率分别为胖舌 93.40%、瘦舌 88.57%。该舌体系数计算方法识别实验目前纳入了3种客观的舌图参数与舌体表面积进行计算，后期若能得测算出更多参数，可得到更多种不同的舌体系数计算方法，还具有很大的研究空间。温坤哲等14-15提出基于深度卷积神经网络的舌体胖瘦精细分类方法，通过该方法可依据舌体形状特征将舌分为舌体正常、舌体胖大、舌体瘦小、舌体胖大有齿印等4类特征。但仅仅基于该单一方法分类舌体图片准确度较低，于是在此基础上提出了一种新的模块K Block，基于K Block模块搭建一种深度卷积神经网络模型，该模型可将舌图分为舌体正常、舌体胖大、舌体胖大有齿印、舌体瘦小等更多特征，实现进一步的舌体胖瘦精细分类。通过与临床医生视觉识别对比发现该模型的精细分类的准确率为 32.45%，优于AlexNet等经典模型的分类，实验证明该模型相比同类经典的舌体胖瘦精细分类模型具有一定的先进性，达到了更高程度的精细分类，但准确率依然偏低，无法进一步用于临床实践，有待于进一步研究。沈兰荪等16利用计算机图像技术在舌体分割方法4569 Modernization of Traditional Chinese Medicine and Materia Medica-World Science and Technology 2022 第二十四卷 第十一期 Vol.24 No.11 的基础上提取舌体轮廓，基于舌体轮廓特征分析曲线拟合参数与曲线形状胖瘦两者的关系，测算舌体的长度、宽度后得到了长宽比，用此方法进行舌体胖瘦的自动定量分析。后随机选取了261幅实拍舌图像，采用此方法自动分析舌图像后得到其中209幅图像的分析结果与目视识别的观察结果符合较好，随机图像识别的符合率大于80%，证明此方法可以较好地反映舌体的胖瘦程度。1.3点刺舌点舌是由于舌蕈状乳头充血水肿而引起形状增大，数目增多；刺舌同样是舌蕈状乳头增大、高突，并形成尖锋，形如芒刺17。周勇等18进行了点刺舌与非点刺舌的计算机定量研究，从收集的舌图像照片中，选出43例不具备点刺特征的舌图像照片与40例点刺舌一起进行计算机定量化处理。结果显示，点刺舌与非点刺舌计算机定量值各有其分布范围。经t检验，点刺舌与非点刺舌定量值有显著性差异，说明计算机定量的方法可以用于判断点刺舌。张楠等19根据点刺主要分布在舌尖和舌中的特点，对舌图像进行分割，再将舌尖和舌中图像由原有的RGB颜色空间转换为HSI颜色空间，在S分量和I分量上进行对比度拉伸来平滑图像，最后对舌尖和舌中图像进行阈值分割从而提取出舌点刺图像，此方法可以更加清晰、有效地识别点刺舌。同时可以用于后续计算机研究点刺舌的图像预处理，有利于清晰地显示舌图的点刺特征。目前有关于点刺舌的计算机识别研究较少，有待于进一步研究。1.4裂纹舌“裂纹舌”一词最早出现于典籍 敖氏伤寒金镜录，指舌面上出现各种形状不同、深浅不一、数量不等的裂纹、裂沟，且裂沟中一般无舌苔覆盖，裂纹舌可反映机体阴血损耗的程度，其主病一般为阴液亏虚、热病伤阴或水湿浸渍等20-21。陈小芬等22提出一种自适应阈值选择方法用于检测舌图像裂纹。该方法利用舌图像具有的Lab色彩特征，再结合L分量两个特征和舌灰度图像进行分析，同时对舌图像区域进行分裂-合并，将舌图像区域分割后选取舌中部区域的色彩值作为阈值，参照阈值对整个舌图像进行裂纹提取。分析裂纹提取结果特征后，发现可以用可见指数来描述裂纹的数量，用深浅指数来描述裂纹的深浅。再将两个指数进行数值量化，对裂纹舌进行计算机客观描述。实验发现两个指数能够精确地量化裂纹舌，但此实验缺乏与视觉识别的对比实验，无可供参考的识别率数据。杨朝辉23先前提出基于3阶单位矩阵代数特征的彩色裂纹舌图像颜色变换算法，该方法通过增强舌裂纹颜色与舌周围组织的颜色对比度来识别舌图像裂纹，并发现此方法可以辅助临床医生对裂纹舌进行诊断。然而临床上常遇到健康人因先天因素出现生理性裂纹舌，为进一步区分先天性裂纹与病理性裂纹，杨朝辉在原方法基础上提出一种新的算法，首先运用分形几何学技术的舌裂纹区域形状提取算法，提取出舌裂纹区域的形状特征；第二步使用舌图像在RGB颜色空间上3个分量，通过将3个分量与位于舌裂纹区域内数据的均值和标准差串接，再用串接生成的向量表示舌裂纹颜色-纹理特征；第三步将上一步生成的形状特征与颜色-纹理向量融合成舌裂纹特征，最后使用线性支持向量机分类器结合第三步得到的舌裂纹融合特征进行分类诊断，用以区分生理裂纹舌图像和病理裂纹舌图像的。结果表明该方法分类诊断生理裂纹舌和病理裂纹舌图像对区分两种裂纹舌的灵敏度都超过90%。该方法灵敏度较高，有助于辅助临床诊断生理裂纹舌和病理裂纹舌，可在临床前期筛选出病理性裂纹舌进行下一步诊断，有利于提高诊断效率。但因无法对裂纹舌的严重程度进行量化，存在一定局限性。1.5齿痕舌齿痕舌24是指舌体边缘见牙齿的痕迹，又名齿印舌，多因舌体胖