基于Multiscale_CNN的齿痕舌识别研究_蒋冬梅.pdf

收稿日期：；修回日期：基金项目：安徽高校自然科学研究重大项目（）。作者简介：蒋冬梅（），女，安徽六安人，硕士，讲师，从事计算机教学与研究。第 卷第期安徽水利水电职业技术学院学报 年月 基于 的齿痕舌识别研究蒋冬梅，杨诺，王勇，彭成东（安徽水利水电职业技术学院，安徽 合肥 ；合肥云诊信息科技有限公司，安徽 合肥 ）摘要：齿痕舌是中医舌诊的一个重要指标。建立的多尺度卷积神经网络由多尺度特征图生成、候选区域搜索、目标区域识别模块组成，实现对轻、中、重种程度齿痕实例分割与目标区域提取。实验结果表明，齿痕实例分割的精确度高，适用于中医智能舌诊系统应用。关键词：齿痕识别；实例分割；语义分割；卷积神经网络；深度学习 ：中图分类号：文献标识码：文章编号：（），（，；，）：（），：；舌体边缘牙齿印痕迹称之为齿痕舌，临床主脾虚、湿盛证，是中医舌诊的一项重要特征指标。舌体边缘的齿痕分布不规则，边界形状、深浅和大小不一等特点是齿痕舌自动识别的难点和挑战，深度学习在齿痕舌识别研究中取得了一定进展。智能手机相机高清采集及人工智能技术的发展显示出巨大的优势，提高了舌诊的临床应用价值，使舌诊更加科学、具体和客观。运用深度学习和实例分割方法，建立图像的齿痕舌识别与提取多尺度卷积神经网络模型 ，对不同尺度目标的分类识别和目标区域像素提取，适用于多尺度目标的实例分割，为中医智能舌诊断提供了一种实用的方法。齿痕舌识别模型本研究建立了舌象不同尺度目标识别和提取 模型，包括多尺度特征图生成、区域建议搜索和目标区域识别。首先使用深度卷积网络建立多尺度低抽象度和高抽象度的组特征图，再在特征图上进行目标候选框生成算法和优选策略以精选出高质量目标候选区域，最后使用分类网络对目标区域分类、计算目标区域像素，最终得到舌象表面目标实例分割结果。该模型的实现过程如图所示。图 网络结构与计算过程 构建多尺度特征图采用经典的 作为骨干网络，将残差模块 ，的输出作为低抽象度特征图，倍上采样得到更高分辨率的图谱，然后将上采样之后的特征图与对应的低抽象度特征图谱通过横向连接的方式融合。一直迭代，直到最浅的卷积图也被合并为止。最后，使用的卷积在所有合并后的特征图谱上进行卷积操作，消除上采样的混叠效应，得到高抽象度特征图。这种多尺度的高抽象度特征图在面对不同尺寸的检测目标时，具有更好的鲁棒性，尤其是不会漏检微小目标。区域建议搜索（）生成候选区。在高抽象度特征图生成种面积（，），每种面积包含三种长宽比（，）的候选框。（）二分类训练标签。以候选框与目标区域交并比（）是否大于预设参数自动生成标签进行二分类训练。（）目标候选区域。候选区域按照正区域分数从高到低排序，选取前 个候选区域，非极大值抑制剔除重叠的候选区域，选取前 个作为目标候选区域。（）候选区域特征图。目标候选区域映射到原图区域，使用 局部区域平均法池化将目标候选区域池化成、大小的候选区域特征图。目标区域识别（）目标区域分类。为每个候选生成分类训练标签，分类的标签为负样本（没有覆盖到目标）、个正样本（目标类别，分别为重度、中度、轻度）。（）目标区域边框修正。对分类得分高的目标区域边框位置回归，预估修正后的框在预测框上的水平和长宽缩放偏移量。第期蒋冬梅，等：基于 的齿痕舌识别研究（）目标区域掩膜计算。选择个目标类别得分排名高前个目标区域进行掩膜计算，链接到全卷积网络生成每个目标类别的区域二值掩膜，以求得每个目标对应的像素掩膜，即个类别的 的二值掩膜。最后将结果映射到原图得到检测目标及其区域分割像素。模型训练与对比 舌象数据集舌象数据集样本 例，来源于浙江省肿瘤医院舌象特征分析研究项目采集的图像，包括胃癌患者、正常人、其它肿瘤患者种人群舌象。中医师对舌象数据集进行齿痕舌体区域和程度标注，齿痕标签有 个轻度、个中度和 个重度。模型训练将舌象数据集按分为训练集、验证集和测试集，用训练集和验证集完成网络模型学习和优化调整模型的参数，寻找最优的网络深度，用测试集来验证最后选择模型的性能。并使用 预训练网络参数进行初始化，对候选区域生成网络、目标区域识别网络采用 训练的方式，让个网络共享卷积层，降低计算量。训练超参数设置为：设置为；将小批量设置为个；学习率为 （学习率每 个 减少 倍），权重衰减为 ，矩为，在 （）下训练 个 ，网络总损失下降到 ，测试集准确率超 。结果对比从云诊科技中医舌诊 开放平台的舌象数据标注库中随机选择 张舌象作为实验数据，包括 个齿痕舌图像和 个无齿痕舌图像。首先使用舌体分割模型提取舌体矩形图区域，再分别利用图像处理算法检测、分割模型、分割模型种方法对舌面齿痕检测实验。模型的齿痕舌识别的曲线下面积（）为 ，准确率为 ，灵敏度为 ，特异性为 ，召回率为 ，如图所示。模型区域像素精度（）为 、平均像素精度（）为 、为 和平均相交于并集（）为 的统计指标也显示了种方法的最高性能。模型在齿痕分类识别以及目标区域的像素分割精度方面均最佳。模型识别示例如图所示，、为原图，、为齿痕区域，标注的为轻度齿痕、标注的为中度齿痕、标注的为重度齿痕。图齿痕舌三种识别方法精确度曲线对比安徽水利水电职业技术学院学报第 卷图 齿痕舌识别结果示例结论 模型具有多尺度 识别、边界轮廓提取准确、抗干扰能力强等优点。首先，该多尺度高抽象特征映射在面对不同大小的检测目标时更具鲁棒性，特别是在不丢失小目标方面。其次，通过局部区域平均合并算法 将目标候选区域合并到较小的候选区域特征图中，在不增加计算量的情况下减少了特征图和原始图像候选区域之间的像素偏差，提取区域的像素精度更高。最后，通过建议区域生成和目标候选区域识别损失函数对网络进行优化学习。通过上述几种创新手段，提高了齿痕舌分类结果的准确性和边缘像素的提取，已在中医人工智能舌象特征定量和定性分析系统中应用。参考文献李峰，董昌武中医诊断学 北京：科学出版社，刘梦，王曦廷，周璐，等基于深度学习与迁移学习的中医舌象提取识别研究中医杂志，（）：颜建军，李东旭，郭睿，等基于深度学习和随机森林的齿痕舌分类研究中华中医药学刊，（）：，（）：（责任编辑汪明磊）第期蒋冬梅，等：基于 的齿痕舌识别研究