基于改进的FasterR-CNN苹果缺陷区域目标检测.pdf

安徽科技学院学报,2 0 2 3,3 7(3):9 6-1 0 1 J o u r n a l o fA n h u iS c i e n c ea n dT e c h n o l o g yU n i v e r s i t y 收稿日期:2 0 2 2-1 2-0 7基金项目:安徽省重点研究与开发项目(2 0 2 1 0 4 f 0 6 0 2 0 0 1 9)。作者简介:张琪(1 9 8 7-),女,安徽濉溪人,硕士研究生,主要从事智能农业装备研究。通信作者:曹浩,教授,E-m a i l:3 6 5 5 5 0 5 6 8 91 6 3.c o m。基于改进的F a s t e rR-C N N苹果缺陷区域目标检测张 琪1,曹 浩2*(1.安徽科技学院 机械工程学院,安徽 凤阳 2 3 3 1 0 0;2.安徽科技学院 信息与网络工程学院,安徽 凤阳 2 3 3 1 0 0)摘 要:目的:为实现在复杂果园环境下,初摘苹果快速、准确的分拣,基于F a s t e rR-C NN模型,提出一种识别苹果损伤区域的算法模型。方法:修改F a s t e rR-C NN模型特征提取网络,以苹果损坏区域为研究对象,将缺陷区域从图像中快速检测出来。结果:应用改进模型,对苹果缺陷区域检测的平均精度值较高(8 7.0 6%)。结论:应用改进的F a s t e rR-C NN算法可以实现复杂环境下苹果较小缺陷区域快速检测,为果园苹果快速粗分拣设备开发提供技术支撑。关键词:F a s t e rR-C NN;苹果缺陷区域;目标检测;图像处理中图分类号:T P 2 4 9文献标志码:A文章编号:1 6 7 3-8 7 7 2(2 0 2 3)0 3-0 0 9 6-0 6开放科学(资源服务)标识码(O S I D):D O I:1 0.1 9 6 0 8/j.c n k i.1 6 7 3-8 7 7 2.2 0 2 3.0 0 5 1I m p r o v e dF a s t e rR-C N Nb a s e do na p p l ed e f e c t i v er e g i o nt a r g e td e t e c t i o nZ HANGQ i1,C AO H a o2*(1.C o l l e g eo fM e c h a n i c a lE n g i n e e r i n g,A n h u i S c i e n c ea n dT e c h n o l o g yU n i v e r s i t y,F e n g y a n g2 3 3 1 0 0,C h i n a;2.C o l l e g eo f I n f o r m a t i o n&N e t w o r kE n g i n e e r i n g,A n h u iS c i e n c ea n dT e c h n o l o g yU n i v e r s i t y,F e n g y a n g2 3 3 1 0 0,C h i n a)A b s t r a c t:O b j e c t i v e:T oa c h i e v e f a s t a n da c c u r a t es o r t i n go f f i r s t-p i c k e da p p l e s i nac o m p l e xo r c h a r de n-v i r o n m e n t,a na l g o r i t h m i cm o d e l f o r i d e n t i f y i n ga p p l ed a m a g e dr e g i o n s i sp r o p o s e db a s e do nt h eF a s t e rR-C NN m o d e l.M e t h o d s:T h eF a s t e rR-C NN m o d e l f e a t u r ee x t r a c t i o nn e t w o r k i sm o d i f i e dt os t u d yt h ea p p l ed a m a g e da r e a t od e t e c t t h ed e f e c t i v ea r e a f r o mt h e i m a g eq u i c k l y.R e s u l t s:T h ea p p l i c a t i o no f t h ei m p r o v e dm o d e l r e s u l t e s i nah i g ha v e r a g ea c c u r a c yv a l u eo f8 7.0 6%f o ra p p l ed e f e c tr e g i o nd e t e c t i o n.C o n c l u s i o n:T h ea p p l i c a t i o no ft h ei m p r o v e dF a s t e rR-C NNa l g o r i t h mc a na c h i e v er a p i dd e t e c t i o no fs m a l l e rd e f e c t a r e a s o fa p p l e si n c o m p l e x e n v i r o n m e n t s a n d p r o v i d e t e c h n i c a ls u p p o r tf o rt h ed e v e l o p m e n to f r a p i dc o a r s es o r t i n ge q u i p m e n t f o ra p p l e s i no r c h a r d s.K e yw o r d s:F a s t e rR-C NN;A p p l ed e f e c t r e g i o n;T a r g e td e t e c t i o n;I m a g ep r o c e s s i n g我国是农产品生产大国,苹果产业无论是栽培面积还是销售总量均为世界前列,但相比于发达国家,我国高品质苹果出口量不大、整体价格较低以及深加工食品较少1-2。为提高我国苹果品质,增强市场竞争力,需要对苹果外观特征进行筛选,剔除缺陷苹果,保留外观完好苹果。目前,缺陷苹果的筛选工作主要以传统的人工识别为主,此种方式劳动强度大、时间长、受工人主观意识的影响较大。随着人工智能的迅速发展,基于机器学习的图像处理技术陆续运用到苹果缺陷目标检测中,此种目标检测方式高效、快速、精准,克服了传统检测方式的效率低、劳动成本高等缺点。薛勇等3提出了基于G o o g L e N e t的深度迁移模型对苹果进行缺陷检测,该方法比常用的苹果缺陷检测算法有更好的泛化能力和鲁棒性。高辉等4设计了自动亮度校正技术和加权矢量机相结合,实现基于机器视觉的苹果缺陷快速检测,苹果缺陷检测效果有明显改善。李林蔚5提出了一种新的目标检测网络M 2 D e t-ME,通过改进特征金字塔部分和上采样部分的方式,提高检测准确率。李潘6使用空洞卷积扩大卷积核感受野,使用S w i s h激活函数提高网络中的非线性表达能力,改进后的模型可以更好的对苹果表面缺陷进行检测。程磊7通过适应值函数建立粒子早熟判断机制,调节粒子权重和反余弦策略优化粒子寻优,该算法检测苹果表面缺陷的轮廓较为清晰。F a n等8采用基于卷积神经网络的深度学习架构和低成本的计算机视觉模块,将基于C NN的模型加载到定制软件中,所提出的基于C NN的分级模型有应用潜力。以上基于机器视觉的苹果缺陷检测都在某一方面提高了相应的检测效率,深度学习机器视觉在苹果分级的各个指标上仍有很大优化空间,继续探索优化方法对开发生产设备有重要作用。本研究通过改进基于F a s t e rR-C NN的网络检测模型,对缺陷苹果图像数据集进行训练,获得苹果损伤特征信息和损伤位置的回归参数,对苹果的损伤部位进行识别并且对损伤位置区域进行预测,为快速分级提供技术支撑。1 试验过程1.1 F a s t e rR-C N N算法相对于F a s tR-C NN,F a s t e rR-C NN的主要改进在于采用了R P N的方式,在神经网络中获取候选框,极大提升了检测速度9-1 0,F a s t e rR-C NN模型检测过程如下。(1)卷积神经网络。将待检测图片做预处理,消除噪声等确保输入信息能够分布在坐标系原点周围,接着送入卷积神经网络进行卷积操作,提取特征生成共享特征图,再将共享特征图送R P N网络R O I池化层。(2)区域生成网络R P N。将生成的共享特征图输入到R P N网络中,以固定步长滑动窗口生成候选框,在候选框的位置生成一系列锚框,用s o f t m a x筛选锚框,将候选框回归修正后输出。(3)R O I池化。将不同尺度的特征图转换为统一大小输出,然后将候选框输入到该层中,得到尺度一致的候选框特征图,再输入到全连接层得到特征向量。(4)s o f t m a x分类和边框回归。将尺度一致的候选框特征图送入s o f t m a x分类器中进行目标分类,同时使用边框回归获得目标的位置。F a s t e rR-C NN检测流程如图1所示。图1 F a s t e rR-C N N流程图F i g.1 F a s t e rR-C NNf l o w c h a r t79第3 7卷第3期张 琪,等:基于改进的F a s t e rR-C NN苹果缺陷区域目标检测1.2 主干网络选取F a s t e rR-C NN网络模型能够自动提取目标图像特征,卷积神经网络VG G 1 6在特征提取过程中,随着网络层数的加深,小物体的特征会被高度卷积,语义信息变弱,特征变得不明显,对小物体检测精度有下降趋势1 1-1 5,给后续分类器的检测带来很大困难。而R e s N e t 5 0采用残差连接方式,可更好地解决梯度消失和梯度爆炸问题,建立更深层次的网络模型,从而可提高模型准确率1 6-2 0,本研究选择R e s N e t 5 0作为特征提取的主干网络,检测流程如图2所示。R e s N e t 5 0网络模型中C o n v l-C o n v 4卷积后生成的特征图输送至R P N和R O Ip o o l i n g共享,C o n v 5卷积后输送至全连接层,得到的特征图用于分类和回归。图2 基于R e s N e t 5 0的F a s t e rR-C N N工作图F i g.2 F a s t e rR-C NNw o r k i n gd i a g r a mb a s e do nR e s N e t 5 01.3 数据集的采集及标注1.3.1 数据采集 为提高模型泛化能力,提高模型准确率,对10 0 0张缺陷苹果原始图像进行数据增强,最终得到50 0 0张图像数据,把数据分为训练集、测试集与验证集,分别占总样本的8 0%、1 5%和5%,依次为40 0 0张训练集、7 5 0张测试集样本以及2 5 0张验证集样本。苹果缺陷类型包括虫咬、腐烂和细菌感染,数据集部分图片如图3所示。图3 数据集部分图片F i g.3 S o m e i m a g e so f t h ed a t a s e t1.3.2 图像目标标注 新建J P E G I m a g e s文件夹,文件夹包含图像的命名编号,以J P G格式保存所有缺89 安徽科技学院学报 2 0 2 3年陷苹果图像。新建A n n o t a t i o n s文件夹,在L a b e l I m g菜单栏依次单击F i l e-C h a n g eS a v eD i r,设置A n n o-