基于SE-R(2+1)D网...的自然环境下的奶牛行为识别_史学伟.pdf

第 46 卷第 1 期2023 年 1 月河 北 农 业 大 学 学 报JOURNAL OF HEBEI AGRICULTURAL UNIVERSITYVol.46 No.1Jan.2 0 2 3基于 SE-R(2+1)D 网络的自然环境下的奶牛行为识别史学伟1，司永胜1,2，韩宪忠1,2，王克俭1,2（1.河北农业大学 信息科学与技术学院，河北 保定 071001；2.河北省农业大数据重点实验室，河北 保定 071001）摘要：智能行为识别对于奶牛健康的自动诊断和精准养殖具有重要意义。由于接触式传感器会损害动物福利，对奶牛产生应激反应。因此，本文设计了 R(2+1)D 模型对奶牛进行行为识别。3D 网络作为 1 种时空卷积网络，可以有效识别奶牛的基本时序行为，但该模型针对奶牛的进食行为与反刍行为不易区分，因此对残差网络中的残差映射部分进行改进，在残差网络中添加注意力机制，将 SE 模块加入到残差映射部分。首先，利用 Kinect相机采集奶牛的行为视频；其次，将采集到的奶牛视频分解成连续帧输入到改进后的模型中，连续帧经过二维空间特征和一维时间特征提取，经过残差网络的注意力模块，忽略一些无关的特征；最后，经过模型的 Softmax层进行行为分类。实验证明，和原模型比较，准确率提高了 2.36%。本文方法实现了精准的奶牛行为识别，可为智慧畜牧业的发展提供技术支持。关 键 词：行为识别；R(2+1)D 网络；深度学习；智慧畜牧业中图分类号：S823 开放科学（资源服务）标识码（OSID）：文献标志码：ARecognition of cow behavior in natural environment based on SE-R(2+1)D networkSHIXuewei1,SIYongsheng1,2,HANXianzhong1,2,WANGKejian1,2(1.College of Information Science and Technology,Hebei Agricultural University,Baoding 071001,China;2.Key Laboratory of Agricultural Big Data of Hebei Province,Baoding 071001,China)Abstract:Intelligent behavior recognition is of great significance for automatic diagnosis and precise breeding of dairy cow health.Stress responses to dairy cows as contact sensors compromise animal welfare.Therefore,this paper designs an R(2+1)D model for behavior recognition of dairy cows.As a spatiotemporal convolutional network,the 3D network can effectively identify the basic temporal behavior of cows.However,the model is not easy to distinguish the feeding behavior and rumination behavior of dairy cows,so the residual mapping part in the residual network is improved,the attention mechanism is added to the residual network,and the SE module is added to the residual mapping part.First,use the Kinect camera to collect the behavioral video of cows;secondly,decompose the collected cow video into consecutive frames and input them into the improved model.The attention module ignored some irrelevant features;finally,it goes through the softmax layer of the model for action classification.Experiments showed that the accuracy rate was increased by 2.36%compared with the original model.The method in this paper realized accurate cow behavior identification and provides technical support for the development of smart animal husbandry.Keywords:behavior recognition;R(2+1)D network;deep learning;smart animal husbandry文章编号：1000-1573(2023)01-0097-06DOI：10.13320/ki.jauh.2023.0014收稿日期：2022-07-30基金项目：河北农业大学精准畜牧学科群建设项目（1090064）.第一作者：史学伟（1997），男，河北定州人，硕士研究生，从事家畜行为识别研究.E-mail：通信作者：韩宪忠（1965），男，河北沧州人，教授，从事计算机网络与数据库研究.E-mail：本刊网址：http:/98第 46 卷河 北 农 业 大 学 学 报信号，并应用萤火虫寻优算法优化支持向量机参数的方法对奶牛的反刍、进食、饮水3种行为进行分类。ChenChen等19利用ResNet50网络来提取空间特征，之后将特征输入到 LSTM 网络中提取时空特征，最终使用 Softmax 预测函数对奶牛进行分类。对比上述各类牲畜行为识别方法，接触式传感器识别方法虽然硬件体积小，使用便利，但易引起奶牛的应激反应，对奶牛的身体健康造成损害；而上述非接触式牲畜行为识别方法，大部分是针对单目标单行为的识别，并未考虑监控视频的前后帧的相关性以及奶牛相似行为的差异性。因此本文提出1 种基于机器视觉的非接触、低成本的奶牛行为识别方法，在采集活动区奶牛视频样本的基础上，首先对原数据集进行扩充，其次针对奶牛进食与反刍行为不易区分的问题，在 R(2+1)D 的 Resnet 网络中加入 SE 模块形成 SE-Resnet 网络对奶牛的相似行为进行区分。1 材料与方法1.1 数据材料获取视频数据为 2020 年在自然条件下河北省保定市满城宏达牧业有限公司奶牛养殖场采集的。试验对象为 24 头荷斯坦奶牛，在奶牛进食区与休息区安装多台 Kinect 相机进行实时数据采集，共采集奶牛躺卧站立、行走、进食和反刍视频片段 124 段，其中躺卧、站立以及行走视频各为 22 段，进食与反刍视频片段各为 29 段，视频分辨率为 2 5601 440。采集的数据集相对较少，为了防止模型出现欠拟合问题，需要对数据集进行扩充。本文模型在 Google Colaboratory 云平台上操作进行，试验环境为 64 位 Windows 10 操作系统。奶牛行为识别模型由 Python 3.6 基于 Pytorch 0.40 框架训练实现。1.2 数据集扩充由于采集的奶牛数据集数量相对较少，需要对原数据集进行扩充。首先将采集到的奶牛行为视频分解成连续帧，将 1 个行为视频分解的连续帧图片放置到 1 个文件夹中，之后对单一文件夹进行数据扩充操作，将扩充后的连续帧图片整理到 1 个新的文件夹作为 1 个新的数据集。数据集格式同 ucf101-24 数据集一样。对原数据集进行扩充的操作包括高斯模糊，调整亮度以及左右翻转操作（图 1）。奶牛的行为是其体内生理活动与周围环境的综合作用所产生的反映1，可作为快速获取奶牛身体健康状况 1 种直观依据。识别奶牛的基本行为(进食、反刍、行走、站立和躺卧)，不仅有助于奶牛的生理健康评价和疾病治疗，而且对奶牛的健康状况有重要的指导意义2。传统的奶牛行为监测方法主要依赖于人工观测记录或穿戴式设备监测3-5。采用传统的人工肉眼观测方法，存在着工作强度大、人工成本高、易疲劳、实时性差等问题6，因此依靠人工方式逐个对奶牛行为进行准确观察难以实现，佩戴式设备虽然能在一定程度上保证监测的准确率，但在目前条件下，很难为每头奶牛个体配备高成本的监测设备7,加之牧场对庞大数据资料准确管理的需要，规模化牧场的许多工作必须要依靠信息系统来完成。近年来，随着畜牧养殖智能化技术的不断更新，基于感知方式的家畜行为监测技术成为研究的热 点8。国内外学者致力于研究自动化检测动物行为的方法9-12，依据感知方式的不同主要可分为2大类：接触式的佩戴传感器方式、基于机器视觉的非接触式方式。接触式传感器的方式多为将各类传感器佩戴在动物身上；基于机器视觉的非接触式方式主要通过搭建视频监控系统，采集动物视频数据，然后由计算机实时分析动物行为。（1）直接接触法Benaissa 等13使用 3 个加速度传感器相结合对奶牛的产犊和发情进行检测。刘忠超14通过采集奶牛体温和活动量发情体征参数，分析了奶牛发情期的体征特征，将体温和运动量融合，建立了奶牛发情检测模型。闫丽等15用 MPU6050 传感器采集哺乳期内母猪的三轴加速度数据，使用直方图统计法设定阈值，对母猪高危动作进行定位，进而识别其高危动作类别，但是阈值选取的准确性不易判断。（2）非接触法顾静秋等16通过最小包围盒面积计算与目标对象轮廓图，捕获奶牛爬跨行为与蹄部、背部特征，用以检测奶牛的爬跨以及跛足行为，但并未考虑监控视频的前后帧的相关性，未结合奶牛行为的时间相关性。Yangyang Guo 等17使用 Otsu 阈值分割获得二值化图像，提取检测区域的几何特征和光流特征，最后使用 SVM 分类器建立模型进行分类。任晓惠等18用加速度传感器采集奶牛颈部的加速度99第 1 期式是：f()=1 2e-(-)2/22（1）式中：代表 的均值；是 的方差。因为计算平均值的时候，中心点即是原点，所以 等于 0。高斯模糊也叫高斯平滑，是指 1 个图像与二维高斯分布的概率密度函数做卷积。高斯分布即正态分布。它将图片按中心划分，让每个像素点对应的权重值随着它们到中心点距离的不同而改变，这个特点是利用正态分布实现的20。该分布的一维形 原图 高斯模糊 亮度调节 左右翻转图 1 数据扩充效果Fig.1 Data augmentation effect1.3 SE-R(2+1)D 网络的构建1.3.1（2+1）D 网络作为连续动作多以连续帧图像作为输入，2D 卷积不能有效提取连续帧之间的时间特征,会将时间信息折叠，大大降低准确率；在三维卷积网络中，三维卷积会将数据中的时间信息提取出来，因此三维卷积比二维卷积相比更适合于动作识别领域。如图 2 所示。输出输出WWLLHHKKKK（a）2D 对视频的卷积 （b）3D 对视频的卷积图 2 2D 与 3D 卷积对视频的操作Fig.2 2D and 3D convolution operations on video图 2（a）为 2D 卷积用于多通道图像的情况，可以看到即使输入连续帧图片，对于 2D 卷积输出也为 1 张二维的特征图；而对于 3D 卷积而言，输出为三维的特征图，考虑了连续帧之间的运动信息，保留了输入的时间信息。因此，3D 卷积相比于 2D卷积更适合用于行为识别领域。（2+1）