基于改进YOLOF的热红外死兔识别方法_赵文昊.pdf

2023(15):118-122特种动物研究收稿日期:2022-09-25;修回日期:2022-12-10基金项目:财政部和农业农村部 国家现代农业产业技术体系项目(CARS-43-D-3)作者简介:赵文昊(1997 ),男,硕士研究生,研究方向为图像处理、智能养殖装备,1041669841 .通信作者:庞昌乐(1963),男,教授,博士,研究方向为畜禽养殖与装备,pangcl .DOI:10.13881/ki.hljxmsy.2022.09.0207 基于改进 YOLOF 的热红外死兔识别方法 赵文昊,王红英,裴日武,庞昌乐(中国农业大学 工学院,北京 100083)中图分类号:S829.1;S818.5文献标识码:A 文章编号:1004-7034(2023)15-0118-05摘 要:为了减轻人工巡检死兔的劳动强度,实现笼养条件下的死兔自动识别,提高兔舍自动化饲养水平,试验采用深度学习和热红外成像技术相结合的方法,通过热红外成像仪采集笼养环境下的死兔视频,构建热红外死兔图像数据集,基于轻量化改进的 YOLOF 模型构建死兔识别模型,测定七种轻量级主干网络和四种特征融合网络对死兔识别模型的参数量、检测速度及精度的影响。结果表明:以Mobilenetv3 作为主干网络和嵌入 SRM 的 ASPP 结构作为感受野增强网络的改进模型精确率为93.1%,召回率为 89.2%,平均精确率为 95.0%,相比原模型平均精度仅降低 0.5%,参数量降低91.8%,检测速度提升 4.2 帧。说明改进热红外死兔识别模型易于部署、识别精度高,能够准确识别肉兔中的死兔个体。关键词:自动化检测;卷积神经网络;热红外;成像;YOLOF;死兔 开放科学(资源服务)标识码Open Science Identity(OSID)利用信息感知技术对养殖动物进行生长信息感知和异常状态诊断已经是畜禽养殖业的重要发展趋势1。死兔筛除是兔养殖过程中的关键工作,人工观察法是目前筛选死兔的主要方法。在规模化叠层笼养条件下,人工巡检死兔劳动强度较大且不及时,因此开发一种快速、准确的死兔自动识别方法,可实现自动巡检、快速定位,能推动兔养殖业的智能化发展。畜禽养殖动物信息感知手段可分为接触式和无接触式。接触式监测方法主要是采用物联网技术,通过内置式2-3或外部穿戴式传感器4进行动物体征数据采集、传输及分析。无接触式主要是通过声音5-6和图像分析动物的生长信息和生理状态。随着机器视觉技术的快速发展,基于图像数据分析动物的状态取得了较好的效果。通过采集养殖过程中动物的图像数据,采用图像分割7-9、目标检测10-13等方式提取关键特征,进而可以判断动物的健康状况、监测动物的行为。对于兔只目标检测,易诗等14通过改进 YOLOv3 网络,实现了野外环境下的野兔检测。对于养殖动物中的死亡个体,Liu H.W.等15采用 YOLOv4 网络构建了死鸡识别网络,实现了圈养环境下的死鸡检测,并开发了相应的死鸡捡拾装置。瞿子淇16根据鸡冠颜色和鸡爪形状特征,采用LibSVM 算法来区分死鸡和活鸡。针对死兔的位置不变性,段恩泽等17采用改进 Mask-RCNN 方法获取肉兔个体信息,采用光流法评估肉兔位移,以此来判断死兔,但花费的时间较长。研究结果表明,当环境温度为 15 时,家兔体温为 39.1 左右,体温较为恒定18。实地调研发现,可见光图片上呈现的死兔与活兔差异较小,尤其在死兔关键性状被遮挡时,从可见光图片上检出死兔的难度大大增加。基于上述现状,本文采用红外热像仪采集死兔图片并构建数据集,使用改进的 YOLOF 算法构建死兔识别模型,以期实现笼养环境下死兔的快速、准确检测。1 材料与方法1.1 数据采集数据来源于河南省济源市阳光兔业科技有限公司,于 2022 年 1 月 125 日在其肉兔养殖场采集4070 日龄的笼养伊普吕肉兔热红外视频。伊普吕肉兔舍为全封闭的双层笼养兔舍,其每个兔笼饲养36 只肉兔。安装在移动小车上的视频采集设备为InfiRay T2L-6 L 型红外热像仪,分辨率为 256 像素8112023(15):118-122特种动物研究192 像素。采集前调整好镜头拍摄角度后固定,采集时驱动软件参数设置为:发射率 0.98,湿度 0.72,色板为白热。视频帧速为 30 f/s,保存格式为 mp4。肉兔养殖兔笼为子母兔笼,前为子兔笼(产箱)后为母兔笼。由于兔笼整体过于狭长,为使采集到的视频仅包含单笼信息,分别采集子兔笼和母兔笼图像信息,采集方法见图 1。图 1 图像采集方法Fig.1 Image acquisition method1.2 图像预处理和数据集制作 通过软件提取死兔视频中的关键帧,共提取出3 443 张图片。使用 Labelimg 图像标注软件标注死兔目标,制作成 COCO 格式的数据集,其中训练集图片 2 640 张,验证集图片 658 张,测试集图片 145 张。使用 Mixup 和几何变换对训练集图片进行在线数据增强,验证集和测试集图片不做数据增强。为提升图像质量,对肉兔热红外图像进行滤波和增强处理。双边滤波在去除噪声的同时对图像细节保护较好,故采用双边滤波进行去噪处理。针对热红外图像对比度低、边缘模糊的问题,采用中心数为 5的 4 领域拉普拉斯算子进行锐化处理,使得肉兔目标轮廓更为清晰。经过预处理后的图像样例见图 2。图 2 图像预处理结果Fig.2 Results of image preprocessing1.3 YOLOF 结构及其改进YOLOF19由主干网络、编码器及解码器三部分组成。主干特征提取网络为 ResNet50,编码器接收来自主干网络的 C5 特征图,先通过 11 卷积和 33卷积压缩通道数量,后通过 4 组具有不同空洞率的残差结构来获取多尺度感受野的特征图。为减小模型参数量和运算量,降低模型部署成本,对模型进行轻量化改进,使用 Mobilenetv3 网络代替 ResNet50 网络;为更准确提取死兔图像特征,使用嵌入风格再校准模块(SRM)的 ASPP 结构代替串联空洞卷积模块,提升模型识别精度,原模型结构及改进后结构见图 3。图 3 YOLOF 结构及改进后结构Fig.3 YOLOF structure and improved structure1.3.1主 干 网 络 优 化 YOLOF 采 用 经 典 的ResNet50 作为主干网络,能够提取关键目标特征,但相较于肉兔可见光图像,肉兔热红外图像细节较少,活兔颜色特征突出且与死兔有明显差异,识别任务难度低。可视化原模型主干网络部分特征图见图 4。特征图存在大量的相似冗余,因此引入特征提取能力强的轻量化主干网络 Mobilenetv3 替代原有的结构,在保持较高检测精度的同时大幅减少模型运算量和参数量,降低模型部署成本。图 4 特征图可视化结果Fig.4 Results of feature map visualizationMobilenetv320结合了 Mobilenetv1 的深度可分离卷积来降低网络的参数量,采用 Mobilenetv2 具有线性瓶颈的反向残差结构降低了特征层信息损失、提高了特征传递能力,根据神经结构搜索(NAS)算法引入SE 轻量级注意力机制,使网络更加关注全局信息上的有价值特征通道并抑制无用的特征通道,利用9112023(15):118-122特种动物研究Hard-swish 激活函数来替代 swish 函数,其核心Bneck 结构见图 5。图 5 Bneck 结构Fig.5 Bneck structure1.3.2 特征融合网络优化 肉兔之间的遮挡及不同日龄的肉兔体型尺寸不同,造成图像上死兔目标尺寸不同,大小合理的感受野有助于死兔目标的提取。为应对单级特征图感受野所对应的目标尺寸范围有限问题,YOLOF 串联了 4 个具有不同空洞率的残差模块来获得具有不同感受野的特征图,但采样率较大的空洞卷积缺失小目标的有效特征,即使串行残差结构弥补了部分缺失信息,这部分信息却没有被有效、准确地利用,因此采用嵌入 SRM 注意力机制的 ASPP结构(简写为 SRM-ASPP)替换串联空洞卷积结构。ASPP 结构由一个 11 卷积、一个全局平均池化模块及三个不同空洞率的 33 卷积并行堆叠构成,随后采用 11 卷积来压缩特征通道数量。SRM 利用中间特征图的风格自适应重新校准特征图,总体结构见图 6。风格池化运算集合跨空间维度的特征响应来获得每个通道的风格特征,随后风格集成运算在通道维度上利用风格特征来生成特定的风格权重,该权重用于重新校准特征图,突出或抑制相关信息。图 6 SRM 结构Fig.6 SRM structure嵌入 SRM 的 ASPP 结构见图 7。在 33 卷积和11 卷积的基础上增加一个残差结构,残差结构由11卷积和 SRM 两条支路构成,11 卷积支路在 33 卷积提取特征的同时可实现恒等映射,补充遗失的特征信息,SRM 支路重新校准特征图突出了死兔关键特征。2 结果与分析2.1 试验条件及配置试验操作系统为 Windows Server 2012,处理器为Intel Xeon Gold 6148,深度学习框架为 PaddlePaddle,图 7 改进的 ASPP 结构Fig.7 Improved ASPP structure内存为 16 GB,显卡为 NVIDIA Tesla V100,显卡内存为 32 GB,并行计算环境为 CUDA10.1 和 cuDNN7.6,编程语言为 Python。为简化网络训练时间,提高网络精度,使用 COCO 数据集上训练得到的参数作为初始参数。优化算法为随机梯度下降法,初始学习率为 0.006 5,动量为 0.937,权重衰减为 0.000 55,输入尺寸为 416 像素416 像素,批大小为 24。2.2 模型试验与结果分析使用原模型及改进后的模型在训练集上进行训练,原模型为 YOLOF,改进模型 1 在原模型上将主干网络替换为 Mobilenetv3,改进模型 2 在改进模型 1 基础上将感受野增强模块替换为嵌入 SRM 的 ASPP 结构,选择精确率(Persion)、召回率(Recall)、平均精度(mAP)、每秒预测帧数(Batchsize=24)及参数量作为评价指标。模型训练过程中的损失变化见图 8。三种模型损失值在初期均快速下降,随后缓缓收敛至稳定,整体上并无大幅波动,说明模型训练超参数选择合理。原模型损失最小值稳定在 0.330 左右,损失值最小。改进模型 2 稳定在 0.373 左右,相较于改进模型 1 的最小损失值 0.389 进一步下降 0.016,两者的损失曲线在前期变化基本相同且收敛速度快于原模型。表 1 为消融试验结果,主干网络由 ResNet50 替换为 Mobilenetv3 后,平均精度经计算下降 1.8 个百分点,帧速上涨 6.0 帧/s,经计算参数量降低 92%,说明原主干网络存在较多的冗余,轻量级主干网络在保持一定精度的同时,可以大幅减少模型参数量,提升推理速度。引入 SRM-ASPP 后,相较于原模型,经计算平均精度仅降低 0.5 个百分点,帧速提升 4.2 帧/s,经计算参数量降低91.8%,同时改进模型2 的改进方法对召回率的影响大于精确率。0212023(15):118-122特种动物研究图 8 损失变曲线Fig.8 Loss curve表 1 消融试验结果Table 1 Results of ablation test模型召回率/%精确率/%平均精度/%每秒预测帧数/(帧 s-1)参数量/个原模型93.590.295.575.042 413 022改进模型 191.188.993.781.03 364 628改进模型 293.189.295.079.23 460 9882.3 模块消融试验2.3.1 主干网络对比试验 选择 7 种轻量级主干网络替 换 ResNet50,以 平 均 精 度、每 秒 预 测 帧 数(Batchsize=24)及参数量