基于改进YOLOX模型的樱桃缺陷及分级检测_刘敬宇.pdf

基金项目:国家自然科学基金(编号:)作者简介:刘敬宇,女,大连大学在读硕士研究生.通信作者:裴悦琨(),男,大连大学讲师,研究生导师,博士.E m a i l:p e i y u e k u n c o m收稿日期:改回日期:D O I:/j s p j x 文章编号 ()基于改进YO L OX模型的樱桃缺陷及分级检测C h e r r yd e f e c t a n dc l a s s i f i c a t i o nd e t e c t i o nb a s e do n i m p r o v e dY O L O Xm o d e l刘敬宇,L I UJ i n g y u,裴悦琨,P E IY u e k u n,常志远,CHANGZ h i y u a n,柴智,CHA IZ h i,曹佩佩,C A OP e i p e i,(大连大学辽宁省北斗高精度位置服务技术工程实验室,辽宁 大连 ;大连大学大连市环境感知与智能控制重点实验室,辽宁 大连 )(B e i d o uH i g hP r e c i s i o nP o s i t i o n i n gS e r v i c eT e c h n o l o g yE n g i n e e r i n gL a b o r a t o r yo fL i a o n i n gP r o v i n c e,D a l i a nU n i v e r s i t y,D a l i a n,L i a o n i n g ,C h i n a;E n v i r o n m e n tS e n s i n ga n dI n t e l l i g e n tC o n t r o lK e yL a b o r a t o r yo fD a l i a n,D a l i a nU n i v e r s i t y,D a l i a n,L i a o n i n g ,C h i n a)摘要:目的:实现工业化条件下樱桃的快速分级.方法:采用YO L OX网络对缺陷果进行检测,通过为特征金字塔网络设置适当的融合因子来提高不明显缺陷的检测精度,并将F o c a lL o s s集成到损失函数中;使用YO L OX网络对完好果进行分级,引入注意力机制C B AM来加强网络特征提 取.结 果:樱 桃 表 面 缺 陷 的 平 均 检 测 精 度 为 ,大小和颜色分级的平均检测精度为 .结论:改进后的YO L O X网络可明显提升樱桃缺陷及分级检测的精度.关键 词:樱 桃 分 级;YO L O X;F P N;F o c a lL o s s;注 意 力机制A b s t r a c t:O b j e c t i v e:I no r d e r t oe x p a n dt h es c o p eo f c h e r r ys a l e sa n da c h i e v er a p i dg r a d i n go fc h e r r i e su n d e r i n d u s t r i a l c o n d i t i o n s M e t h o d s:F i r s t l y,t h eYO L O Xn e t w o r kw a su s e dt od e t e c tt h ed e f e c t i v e f r u i t,i no r d e r t os o l v es o m ep r o b l e m sw h e r e t h ed e f e c tw a sn o to b v i o u s T h ed e t e c t i o na c c u r a c yo ft h ei n c o n s p i c u o u sd e f e c tw a s i m p r o v e db ys e t t i n gt h ea p p r o p r i a t ef u s i o nf a c t o rf o rt h e f e a t u r ep y r a m i dn e t w o r k,a n d i no r d e r t o s o l v e t h ep r o b l e mo fi m b a l a n c eb e t w e e nv a r i o u s t y p e so f r e a l s a m p l e s,F o c a lL o s sw a si n t e g r a t e di n t ot h el o s sf u n c t i o n T h e n,t h ei n t a c tf r u i t w a sg r a d e du s i n gt h eYO L O Xn e t w o r k,a n d t h ea t t e n t i o nm e c h a n i s mC B AM w a s i n t r o d u c e d t oe n h a n c e t h en e t w o r k f e a t u r e e x t r a c t i o nR e s u l t s:E x p e r i m e n t a l r e s u l t ss h o w e dt h a t o ft h emA Pd e t e c t e df o r c h e r r y s u r f a c e d e f e c t s a n d o f t h emA Po f s i z ea n dc o l o r g r a d i n g C o n c l u s i o n:T h ea c c u r a c yo f c h e r r yd e f e c t s a n dg r a d i n gh a sb e e ns i g n i f i c a n t l y i m p r o v e db y t h e i m p r o v e dYO L O Xn e t w o r k K e y w o r d s:c h e r r y g r a d i n g;YO L O X;F P N;F o c a l L o s s;a t t e n t i o n a lm e c h a n i s m果品分级一直是果蔬产品销售中的一个重要环节,并且随着电商行业的日渐壮大,果品能够在全球实现流通销售.如果想要占有较大的市场份额,实现工业化果品分级尤为重要.利用图像视觉和神经网络算法对水果进行缺陷及分级检测是目前的研究热点,国内外许多学者对此进行了大量工作.但是,在樱桃分级的实际应用中,由于环境复杂、缺陷不明显、正负样本不均衡等因素极易影响检测效率和精度.因此,如何提高樱桃分级的检测精度和检测速度是应用的关键.研究拟通过改进多特征融合模块 和损失函数,提出一种基于改进YO L O X 的樱桃缺陷检测方法.结合注意力机制C B AM,用于加强关键特征 信 息的 学习,提高对樱桃大小和成熟度分级的精度,并与现有的樱桃分级算法进行对比,验证试验算法在樱桃分级检测中的可行性,旨在为后期实现自动化樱桃缺陷及分级检测提供理论基础和技术支持.相关工作数据集公开的樱桃数据集缺少不同缺陷、大小和颜色的樱桃图像,仅仅依靠公开数据集难以获取合适的数据.为了解决这个问题,在辽宁省大连市金州区当地樱桃果园进行采集,并通 过 实验 室设 备进 行 拍摄 和标 注 完 成 数据集.将采集到的樱桃放置于实验室滚轮上,转动滚轮将样本各个角度进行拍摄,每张图片中有 个樱桃,图像分辨率为 像素 像素,图像均为J P G格式.共采集 张图片,其中,缺陷果可以分为鼻尖裂F OO D&MA CH I N E R Y第 卷第期 总第 期|年月|口、裂口、病变、刺激生长、腐烂、干疤、畸形、霉变、双生类(见图),完好果根据其成熟度和樱桃颜色分为大果成熟、大果半熟、中果成熟、中果半熟、小果成熟、小果半熟类(见图).使用L a b e l I m g软件对图像进行标注,并 将标 注信 息P A S C A L VO C的格 式保 存 为XML文件.试验环境实验室硬件设备主要由图像采集设备和计算机处理单元两部分组成(见图).其中图像采集设备主要是由工业 摄 像 机CMO S摄 像 机(a c A g型)、镜 头(M MP (CH)型)、频闪控制器组成的红外触发器,通过频闪控制器和红外触发器触发相机拍照,以及L E D光源漫光片和梯台型光源罩,保障照片质量.计算机处理单元主要是G e F o r c eG T X 显卡,运行内存 为 G并 配 置P O E千 兆 网 卡;I n t e r(R)C o r e(TM)i K处理器,G内存,频率D D R .依次为鼻尖裂口、裂口、病变、刺激生长、腐烂、干疤、畸形、霉变、双生、完好图缺陷检测中樱桃类型F i g u r eT y p e so f c h e r r i e s i nd e f e c td e t e c t i o n依次为大果成熟、大果半熟、中果成熟、中果半熟、小果成熟、小果半熟图樱桃大小颜色类型F i g u r eC h e r r ys i z ea n dc o l o r t y p e电脑同步光源控制器激光接近传感器滚轮传送齿轮相机遮光罩光源图硬件设备F i g u r eH a r d w a r ed e v i c e s设计思路设计原理樱桃缺陷及分级检测主要根据樱桃是否有缺陷、果体大小和成熟度个标准.在实际需求中,首先需要对缺陷樱桃进行剔除,保留完好的樱桃,然后对完好樱桃进行分级.所以对于樱桃缺陷及分级检测系统来说,主要由两部分组成,第部分进行樱桃缺陷检测,第部分根据樱桃的大小和颜色对樱桃进行分级.系统流程图如图所示.试验算法试验提出一种基于改进YO L OX的樱桃缺陷及分级检测算法,以实现对樱桃的实时分级.YO L O X网络主要分为个部分:C S P D a r k n e t、F P N 以及Y o l oH e a d,结构图如图所示.特征提取网络特征提取网络是目标检测中的骨干网络,决定了检测模型的速度和准确性,通过主干特征提取网络会生成个有效特征层.YO L O X的主干特征提取网络为C S P D a r k n e t,每输入一张樱桃图片会先对其进行r e s i z e,将其大小变为 ,然后通过F o c u s网络结构对其进行特征提取,之后使用卷积标准化和激活函数对其通道数进行调整,然后通过次R e s b l o c kb o d y结构进行特征提取.R e s b l o c kb o d y结构首先会利用一个 的卷积进行高和宽的压缩,并调整其通道数,然后使用C S P L a y e r结 构 进 行 特 征 提 取.在 第个R e s b l o c kb o d y结构中加入了S P P结构,该结构使用不同池化核的最大池化进行特征提取,将池化后的结果堆叠,再利用卷积来调整通道数.图系统流程图F i g u r eS y s t e mf l o w c h a r t贮运与保鲜S TORAG ET RAN S P OR TA T I ON&P R E S E RVAT I ON总第 期|年月|图YO L O X结构图F i g u r eYO L OXs t r u c t u r ed i a g r a mF P NF P N算法主要是为了解决物体在检测过程中的多尺度问题,通过简单的网络连接改变,大幅度提升了小物体检测的性能.由于低层的特征语义信息比较少,但是目标位置准确,高层的特征语义信息比较丰富,但是目标位置较模糊,所以将顶层特征通过上采样和低层特征进行融合,而且每层都是独立预测的.Y o l oH e a d在Y