基于视觉的香蕉分级技术的研究_孙霁阳.pdf

2023.7电子产品世界设计应用视觉处理Design&Application基于视觉的香蕉分级技术的研究*A study of visual-based banana grading techniques孙霁阳，张月华，张新贺（辽宁科技大学电子与信息工程学院，辽宁鞍山114051）摘 要：为了满足消费群体对于高品质水果的需求和产业精细化发展，提出了一种通过视觉对香蕉无损检测并分级的方法，并且在Jetson Nano平台设计视觉系统，基于YOLOv5搭建的模型实现视觉识别。最终Matlab仿真结果和视觉实验结果表明该方法可以实现对香蕉表面的缺陷进行识别，果实平均识别准确率达到91.3%。关键词：香蕉检测；Jetson Nano；YOLOv5；视觉识别；无损检测基金项目：本项目由辽宁省大学生创新创业训练项目基金支持新一代信息技术的发展加速了农业生产的数字化、智能化发展,同时智慧农业是中国“十四五”时期的重要发展方向。随着人们对高品质水果的需求越来越大,对于水果的分级也将成为水果产业中最重要的一环,而人工检测常常存在效率低下且结果不准确的现象,所以自动检测技术将得到大力发展。而无损检测技术即可在不破坏农产品本身的情况下对其质量实现高效快速的检测,因而无损检测技术发展前景极为可观1。本文基于 RGB 彩色空间的图像分割技术对图像进行二值化,通过阈值分割,确定香蕉表面需要被提取的像素的阈值后得到处理后的图像,最后通过 YOLOv5搭建模型计算出香蕉表面破损、发黑、腐烂的面积占比从而实现分级。该技术可广泛应用于鲜果分级和水果加工中,将大大降低人力成本、提高生产效率,促进我国水果产业工业化的发展,并带动香蕉加工企业的共同发展。1 现状分析计算机视觉技术是近年高速发展的一种新型技术,其中包括图像采集、识别、分析等功能,因其处理信息的综合能力强和速度快,同时还能避免人为主观因素对检测结果产生偏差,所以目前在水果自动分级中已被广泛应用2。目前国外的普遍方法为通过 HIS 彩色模型来实现分类检测,成功率最高可达 85.8%,目前我国水果的品质检测很大一部分依然是凭借分拣员直觉进行,导致部分劣质果流进市场,直接影响了卖家的收入和买家的满意度。虽然我国该技术起步较晚,但发展迅速,通过一种适当的颜色面积累积百分比进行分类,其准确度最高可达 88%。虽然国内外对该技术取得了一定的创新与进步,但是该技术距离实现广泛推广还需要大量的技术积累,目前部分投入生产的大多是通过边缘检测和一些重力传感器组成的系统,该系统大多只具备果实大小、质量的识别,该方法并不能有效地实现准确的分类。2 系统设计本文设计的识别方法基于香蕉表皮颜色特征,其核心为将新鲜区域与缺陷区域的颜色进行对比,根据阈值分割出新鲜区域,其步骤如图 1 所示。图像采集图像降噪图像分割图像处理分级图1 图像分级步骤16ELECTRONIC ENGINEERING&PRODUCT WORLD 2023.7$视觉处理电子产品世界Design设计应用&Application2.1 图像降噪在实际检测中,由于相机等硬件问题和环境因素常常导致拍摄到的香蕉图像包含大量的噪声。所以在图像分割前需要消除图像中的无关噪声,本文中采取均值滤波法,即将图像区域中的像素点求平均值以达到降噪的效果,其数学表达式如式（1）所示,M 为所选取的横坐标数,N 为所选取的纵坐标数,所选取的像素点必须包含于图像面积内,经测试当 M 和 N 选取 3 时降噪效果最好,即选取 3*3 的滤波器。(,)g x y=(,)i jsMN(,)i j（1）2.2 图像分割香蕉会随着新鲜度的降低而导致颜色由黄色转为黑色,所以在香蕉图像中其新鲜区域与不新鲜区域颜色差别很大,所以可以通过提取香蕉图像的颜色特征来区分新鲜区域和不新鲜区域,本文所用到的颜色模型为RGB 模型,模型如图 2 所示。图2 RGB模型图图像的阈值分割即通过设定阈值划分不同的区域,设 f x y(,)为图像中坐标为(,)x y 的像素点的灰度级,阈值为j,经分割后图像仅包含“0”和“1“两个灰度级,称为二值化图像,其数学表达式满足式（2）。F x y(,)=1(,)0(,)f x yjf x yj（2）常见的阈值分割方法中最小误差法和最大熵法常常出现错误的坐标点,而 Otsu 法则没有3,所以本文选用 Otsu 法。如图 3 所示,预处理分别对背景、新鲜区域、缺陷区域进行了分割,二值化图像中香蕉新鲜区域表现为白色,背景区域和缺陷区域表现为黑色。图3 图像处理后对照图2.3 视觉分级系统设计本文最终设计了视觉分级系统用来验证结果,该系统以 Jetson Nano 为 GPU,并搭载一个可支持 Linux操作系统深度相机作为图像输入设备,经实际测试其彩色图分辨率可达到 1 28072030FPS、精度为(1 3)mm/m,可以达到实验所需标准,最后将结果显示在显示屏上,本实验硬件配置如表 1 所示。表1 系统硬件配置图类别参数Jetson Nano4GB DEVELOPER KIT(SUB)深度相机Astra Pro显示屏7寸HDMI电容屏系统Linux数据处理YOLOv5、PythonYOLOv5 是一种单阶段目标检测算法,其相对与YOLOv4 增加了自适应锚框计算、自适应图片等缩放操作,从而使其速度和精度均得到了极大的提升。同时YOLOv5 是完全开源的,首先将系统的 Python 更新到 3.8 版本以上后配置 Anaconda、Pytorch 的环境后即可安装 YOLOv5 环境。视觉识别效果如图 4 所示。图4 视觉识别效果图通过视觉识别后即可计算香蕉的等级,本文的分级 2023.7电子产品世界设计应用视觉处理Design&Application方法为通过新鲜区域面积占比来划分不同等级,即首先将图片缩放到 512 12来确定总面积 S,预处理后可计算出背景面积 s1、新鲜面积 s2、缺陷面积 s3,二值化图像中取出更为准确的新鲜区域面积s,其数学表达式如式（3）所示,分级标准如表 2 所示。f x()=S1ss（3）表2 香蕉分级标准新鲜区域占比（%）等级100901级89702级69303级2904级3 实验结果与分析随机选取 100 份样品,每份样品为三根香蕉,由于样本获取时基本都是新鲜的,为了使实验结果更加准确将样本静置在常温室内不同天数后进行测试,分别在第1、5、9 d 进行测试,总计测试 300 次。测试时分别对样本进行人工分级和机器视觉分级并计算吻合度4,其结果如表 3 所示。表3 香蕉样本分级结果等级人工视觉分级（A）机器视觉分级（B）吻合度(C)/%1级777090.912级737893.153级817592.594级697788.41平均值91.27吻合度计算公式为：C=1ABA（4）根据实验结果分析误差主要来自于人工挑选可以在多位置进行观察并且手动调整遮盖区,而机器视觉分级时视角单一且无法检测到香蕉之间互相遮盖的部分,将双方视角统一且禁止人工触碰改变检测目标形态后重新测试,吻合度可达到 97.35%。4 结束语本文提出了一种通过阈值分割对香蕉分级的方法,通过实验测试该方法与人工分级吻合度最高可达 97.35%,且该系统效率远远高于人工,在成本方面同样具有优势。但是由于香蕉之间不可避免地存在互相遮挡的现象,其对实验效果将产生巨大影响,为了弥补该不足需要对系统增加遮挡目标检测算法,目前主要采取的方法就是将区域卷积神经网络应用到目标检测,但是当前的检测模型大多是针对特定场景或者特定目标进行训练,通用的目标遮挡检测研究还较少,但是通用目标的检测是真实环境中不可避免的,因此需要投入大量的研究5。基于视觉分级的系统具有识别速度快、精度高等优点,是未来水果无伤识别的发展趋势。该分级系统未来可广泛适用于水果产业,不同水果只需要改变其阈值即可实现识别与分级,如水果分拣系统,通过传送带运输水果后进行拍摄分级以此提高消费者满意度并实现水果价值最大化。目前国内机器视觉的研究依然处于起步阶段,发展中的最大问题就是像 CCD、CMOS 等核心硬件都依赖于发达国家研发,国内制造商处于代工环节。目前在已经实现使用机器视觉分类甜椒6和彩色制图系统来评估西红柿和枣的品质7,但大多仍处于实验室阶段而未能投入到实际生产中,相信随着中国电子工业的发展和人工智能算法的研究,未来在果实分级方面中国将实现重大突破。参考文献：1 罗印斌,蔡艳丽,兰菡,等.农产品无损检测方法应用现状J.食品工业科技,2018,39(15):340-344.2 杨再雄,吴恋,左建,等.基于人工智能的农产水果分级检测技术综述J.科技创新与应用,2021,11(22):41-43.3 邵志明,王怀彬,董志城,等.基于近红外相机成像和阈值分割的苹果早期损伤检测J.农业机械学报,2021,52(S1):134-139.4 安爱琴,余泽通,王宏强.基于机器视觉的苹果大小自动分级方法J.农机化研究,2008,156(4):163-166.5 孙方伟,李承阳,谢永强,等.深度学习应用于遮挡目标检测算法综述J.计算机科学与探索,2022,16(6):1243-1259.6 S.A.SHEARER,F.A.PAYNE.Color and defect sorting of bell peppers using machine vision.Transactions of the ASAE,1990,33(6):2045-2050.7 D.J.LEE,J.K.ARCHIBALD,XIONG G MJ.Rapid color grading for fruit quality evaluation using direct color mapping.IEEE Trans.Autom.Sci.Eng,2011,8(2):292-302.