基于IMFO-Otsu的果实深度图像多阈值分割.pdf

30现代农业装备2023年基于IMFO-Otsu的果实深度图像多阈值分割陈汝杰，唐文艳，吕文阁，李德源（广东工业大学机电工程学院，广东 广州 510006）摘 要：为了解决传统果实图像进行阈值分割易受颜色、光照等因素影响的问题，提出一种基于改进飞蛾火焰算法（ImprovedMothflameOptimization，IMFO）的多阈值分割算法（IMFO-Otsu）。算法在构建深度直方图后，根据多阈值Otsu准则获取最佳分割阈值。为了提高获取最佳阈值的计算效率，对多阈值Otsu准则进行剪枝处理，并使用提出的改进飞蛾火焰算法对算法进行加速。为验证IMFO-Otsu算法的效果，使用该算法对采集得到的果实图像进行多阈值分割，结果表明提出的算法具有良好的性能。由于提出的算法没有用到彩色图像的颜色信息且简单有效，能在夜间环境等复杂情况对果实识别与定位提供支持。关键词：深度图像；多阈值分割；飞蛾火焰算法；大津法；果实图像中图分类号：TP391；S126 文献标识码：A 文章编号：1673-2154（2023）04-0030-06现代农业装备第44卷第4期2023年8月Vol.44No.4Aug.2023Modern Agricultural Equipment收稿日期：2023-03-27基金项目：国家自然科学基金资助项目（51776044）作者简介：陈汝杰（1996），男，硕士研究生，主要研究方向为机器视觉。E-mail：通讯作者：吕文阁（1966），男，博士，教授，主要研究方向为启发式优化算法、机器视觉应用等。E-mail：0 引言机器视觉技术已经成为农业采摘机器人的核心技术之一1。图像分割是机器视觉的关键技术，是目标识别的关键和首要步骤，并为后续分类、识别提供依据。图像阈值分割以简单、快速和有效的特点得到了广泛的应用，文献 2-3 使用阈值分割算法对果实图像进行分割。但传统的果实图像是 RGB 图像，使用颜色信息作为图像阈值分割的依据，但由于 RGB 图像容易受到光照、环境等因素的影响，如果环境发生变化，设定的阈值可能会失效导致分割效果不理想4。深度图像是描述场景深度信息的图像，其像素值表示距离的远近，具有不易受光照、环境等因素影响的优点5。在果实图像中利用深度信息是研究的热点，文献 6-7 在深度图像中使用边缘轮廓提取算法对果实进行分割，但是提出的算法较为复杂，实时性较差。因此需要研究简单、实时性强的深度图像分割算法。传统的阈值分割算法只能将图像分割成 2 个部分，不能完成复杂情况的分割任务，因此需要多阈值分割，但多阈值分割算法的计算量较大，难以做到实时性。本文提出一种基于改进飞蛾火焰算法的深度图像多阈值分割算法（IMFO-Otsu）并应用在果实图像的分割。1 快速多阈值Otsu深度图像分割算法1.1 构建深度直方图由于深度图像的深度值没有固定的量化级，因此需要对其深度级进行量化，构建深度直方图，类似于灰度图像，可以设深度范围为 0，L-1，得到 L个深度级，其中 L=2d，d 为图像的深度；设 i 为图像的像素即深度值，深度值为 i 的像素数为 ni。这种方法能方便有效保留图像的深度信息和快速构建深度直方图。1.2 快速多阈值Otsu算法Otsu 算法是由日本学者大津提出的自适应算法，是目前最常用的图像阈值分割方法之一8。其主要思想是在寻找图像的最佳阈值使得类间方差最大9，假设有 m 一组阈值 t1，t2，tm，将图像分为 m+1类，灰度级为 i 的像素数为 ni，总的像素数为 N，各31陈汝杰 等：基于IMFO-Otsu的果实深度图像多阈值分割第4期灰度出现的概率 Pi=ni/N。类间方差 2b定义为：（1）式中：；。Otsu 采用穷举法，随着阈值数量和灰度范围的增加，计算量会增加，因此需要提高算法计算效率。深度图像部分深度值对应的像素的数目为 0，对于像素数 nk为 0 的深度值 k，出现的概率 Pk=nk/N=0，若假设以深度值 a，b 为阈值，Cb为 a，b 之间的类，设深度值 j，ajb，nj 0，且 nj+1=0，nb=0，则 （2）（3）所以 b 作为阈值和 j 作为阈值，对类间方差的结果是等效的。因此可以通过对阈值搜索范围进行剪枝处理来缩小搜索范围来提高搜索效率，具体操作为：寻找像素数 nki 0 的像素值集合 K=K0，K1，KkL，阈值 t 在 K 里搜索。剪枝后的图像类间方差 2b计算公式如下：（4）式中：；。2 改进的飞蛾火焰算法（IMFO）虽然剪枝后的 Otsu 的搜索空间缩小，避免无效的阈值搜索，计算时间也会相应缩短，但其选取最佳阈值仍是采用穷举法。为提高算法的运行效率，引入一种改进飞蛾火焰算法，用于优化加速选取最佳阈值的过程。2.1 飞蛾火焰算法飞蛾火焰算法（MFO）10是一种新型的智能优化算法。在 MFO 中，假设待优化问题候选解是飞蛾，其集合表示为 M=Md1，Md2，.，Mdn，其中 d 是变量维度，n 是种群数目。火焰是记录目前飞蛾的最佳位置，其集合表示为 F=Fd1，Fd2，.，FdnT。飞蛾位置更新公式：（5）（6）式中：Di 第 i 个飞蛾的位置与第 j 个火焰的位置之间的距离；b 与螺旋形状相关的常量，取 1；t 随机数，取值区间为-1，1。为了避免陷入局部最优，使用自适应火焰数目机制，火焰更新公式为：（7）式中：flameno 火焰的数量；t 当前迭代次数；N 最大火焰数量；T 最大迭代次数；round 四舍五入函数。2.2 改进的飞蛾火焰算法由于标准的 MFO 算法具有易陷入局部最优解、收敛速度慢等缺点，为了解决其缺点，在标准 MFO算法的基础上提出一种改进飞蛾火焰算法。2.2.1 精英准反向学习TIZHOOSH11首次提出反向学习的概念，反向学习是在当前解的基础上，通过反向学习机制生成反向解，对比保留较优解。准反向学习12是在反向学习基础上，提出使用准反向解代替一般的反向解，准反向解比一般的反向解更靠近最优解。准反向学习定义为：设 xi（g）和 x*i（g）别为第g 代的当前解和准反向解，则 x*i（g）可定义为：（8）32现代农业装备2023年式中：；。IMFO 采取动态切换概率策略，用于控制是否进行准反向学习。动态切换概率 p 的公式如式（9）所示：（9）2.2.2 柯西变异针对标准 MFO 算法种群多样性少的问题，对种群进行变异操作，增加种群的多样性。利用标准的柯西分布具有较好的两翼概率特性，对适应度较好的飞蛾个体引入服从柯西分布的随机向量进行柯西变异，变异的飞蛾数量是种群数量的 10%。柯西变异的公式如式（10）所示：（10）式中：Mnew 变异后的飞蛾；M 变异前的飞蛾；C（0，1）标准柯西随机数。2.2.3 惯性权重策略标准 MFO 算法后期收敛速度较慢。为了解决这个问题，受到改进粒子群算法中惯性权重思想的启发13，在式（5）引入惯性权重因子，当惯性权重比较大时，提高算法的全局搜索能力；当惯性权重比较小时，提高算法局部搜索能力。惯性权重的公式如式（11）所示：（11）式中：min最小权重，取 0.4；max 最大权重，取 0.6；k 权重因子，一般取 0.1；i 当前飞蛾根据适应度值排序后的次序；NP 所有飞蛾的数目。引入惯性权重 飞蛾位置的更新公式如式（12）所示：（12）2.3 基于IMFO-Otsu多阈值深度图像分割算法流程将剪枝后的 Otsu 算法作为适应度函数，与 IMFO算法结合为 IMFO-Otsu 算法，其流程如图 1 所示。图 1 算法流程图3 试验与分析为验证 IMFO-Otsu 在果实图像的分割效果，分别对测试图像进行双阈值、三阈值、四阈值图像分割。结果如图 2 所示（第一列从上往下分别为图像33陈汝杰 等：基于IMFO-Otsu的果实深度图像多阈值分割第4期a、b、c 的原图）。使用的仿真软件为 MatlabR2018b。将 IMF-Otsu 与基于标准 MFO 算法的 MFO-Otsu、基于标准粒子群算法的 PSO-Otsu 进行对比，采用峰值信噪比（PSNR），结构相似性（SSIM），适应度值及运行时间作为评价标准。为减小算法的随机性影响，试验的种群数量均设为 30，最大迭代次数为 30。PSNR 是评价图像失真程度的指标，PSNR 越大，失真越少。其定义如下：（13）式中：MSE 原图像与分割后图像之间的均方误差；MAX 2I 图像可能最大的像素。SSIM 是一种衡量两幅图片相似度的指标，SSIM越大，分割后的图像与原图相似程度越高。其定义如式（14）所示：（14）式中：x和 y 分别为原图像和分割图像平均灰度；2x和 2y 分别为两幅图像的方差；2xy 原图像和分割图像的协方；c1=（0.01L）2；c2=（0.03L）2，L 为像素值范围。表 1、表 2、表 3 和表 4 分别为分割时间、最佳适应度值、PSNR 值和 SSIM 值的结果，表中的 m 均为阈值数量。从表 1 可知，3 种算法中 PSO-Otsu 算法运行时间最长，其它 2 种运行时间相近，均在 0.8 s 以内。表明 IMFO-Otsu 的运行速度快。从表 2 可知，在阈值数为 2 的时候，三者的适应度值一样，在阈值数为 3、4 的时候，IMFO-Otsu 的适应度值均为最大，表明 IMFO 在多阈值 Otsu 分割问题上具有良好的寻优性能。从表 3 可知，阈值数为 2 时，三者的 PSNR值 相 等，当 阈 值 数 为 3 和 4 时 候，IMFO-Otsu 的PSNR 值是最大的，即 IMFO-Otsu 分割后的图像失真较小。从表 4 可以得到，阈值数为 2 时，三者的SSIM 值相等，当阈值数为 3 和 4 时候，IMFO-Otsu的 SSIM 值在 3 种算法中是最大的，即 IMFO-Otsu分割后的图像与原图的结构更相似。试验结果表明，IMFO-Otsu 算法与其它对比算法相比，寻优质量和稳定性更高，对果实深度图像的分割质量更好。原始图像双阈值三阈值四阈值图 2 基于 IMFO-Otsu 分割效果图34现代农业装备2023年表1 运行时间单位：s图像mTimeIMFO-OtsuMFO-OtsuPSO-Otsua20.78900.74691.142830.78620.71341.110040.79530.76551.1228b20.77510.72421.053530.78270.74621.061540.71590.71341.2061c20.82050.82681.146630.75220.74691.065940.78260.79631.1352表2 适应度值图像m适应度值/108IMFO-OtsuMFO-OtsuPSO-Otsua21.81991.81991.819931.86041.86031.806441.89361.89331.8935b22.38232.38232.382332.45592.45592.455942.48432.48212.4819c21.77721.77721.777231.83661.83661.836641.86461.86421.8643表3 PSNR图像mPSNRIMFO-OtsuMFO-OtsuPSO-Otsua214.564514.564514.5645313.294213.282513.2852429.148629.110729.1480b212.608612.608612.6086312.283712.249212.2837427.926927.783927.7697c213.780013.780013.7800313.382813.327713.3242428.315728.136528.1482表4 SSIM图像mSSIMIMFO-OtsuMFO-OtsuPSO-Otsua20.55070.55070.550730.52490.52310.524940.94520.94470.9451b20.57390.57390.573930.56410.56400.564140.89820.89730.8974c20.56610.56610.566130.55340.55330.553340.93290.93090.93094 结语颜色、光照等因素影响传统的果实图像阈值分割的效果，深度图像相对于传统的颜色图像不容易受颜色和光照变化的影响，适合使用阈值算法分割，本文提出一种基于 IMFO-Otsu 算法的深度图像算法。由于传统的多阈值分割算法运行时间较长，通过对算法的阈值范围进行剪枝处理，引入改进飞蛾火焰算法优化算法寻找最佳阈值的过程，不仅具有传统多阈值算法的简单、有效等特点，而且计算效率高。试验表明，提出的算法寻优质量和稳定性高，对果实深度图像的分割快速且准确，有利于复杂环境的果实定位和识别。参考文献1 王文杰，贡亮，汪韬，等.基于多源图像融合的自然环境下番茄果实识别 J.农业机械学报，2021，52（9）：156-1642 牛晗，伍希志.基于大津算法连通域的松果多目标识别定位 J.江苏农业科学，2021，49（15）：193-1983 邓子青，王阳，张兵，等.基于 Otsu 算法与形态学的火龙果图像分割研究 J.智能计算机与应用，2022，12（6）：106-109，1154 熊俊涛，郑镇辉，梁嘉恩，等.基于改进 YOLOv3网络的夜间环境柑橘识别方法 J.农业机械学报，2020，51（4）：199-2065 谭志国，欧建平，张军，等.多特征组合的深度图35陈汝杰 等：基于IMFO-Otsu的果实深度图像多阈值分割第4期像分割算法 J.计算机工程与科学，2018，40（8）：1429-14346 NISSIMOVS,GOLDBERGERJ,ALCHANATISV.ObstacledetectioninagreenhouseenvironmentusingtheKinectsensorJ.ComputersElectronicsinAgriculture,2015,113(4):104-1157 LID,XUL,TANC,etal.DigitizationandvisualizationofgreenhousetomatoplantsinindoorenvironmentsJ.Sensors,2015,15(2):4019-4051.8 卢建宏，刘海鹏，王蒙.改进海鸥算法的多阈值图像分割算法 J.光电子激光，2022，33（9）：932-9399 MIRJALILIS.Moth-flameoptimizationalgorithm：anovelnature-inspiredheuristicparadigmJ.Knowledge-BasedSystems,2015,53(5):60-63.10 HOUSSEINEH,HUSSAINK,ABUALIGAHL,etal.Animprovedopposition-basedmarinepredatorsalgorithmforglobaloptimizationandmultilevelthresholdingimagesegmentationJ.Knowledge-BasedSystems,2021(11):229-237.11 TIZHOOSH,H.R.Opposition-basedlearning:anewschemeformachineintelligenceC/InternationalConferenceonInternationalConferenceonComputationalIntelligenceforModelling,Control&Automation,IEEE,2005:695-701.12 RAHNAMAYANS,TIZHOOSHHR,SALAMAMMA.Quasi-oppositionaldifferentialevolutionJ.IEEE,2007.DOI:10.1109/CEC.2007.4424748.13 SHIY.AmodifiedparticleswarmoptimizerC/EvolutionaryComputationProceedings,IEEEWorldCongressonComputationalIntelligence.The1998IEEEInternationalConferenceon,1998.DOI:10.1109/ICEC.1998.699146.Depth Image Segmentation of Multilevel Threshold based on Improved Moth Flame OptimizationChenRujie,TangWenyan,LyuWenge,LiDeyuan(SchoolofElectromechanicalEngineering,GuangdongUniversityofTechnology,Guangzhou510006,China)Abstract:In order to solve the problem that traditional fruit images for thresholding are easily affected by color and illumination,a multi-threshold segmentation algorithm(IMFO-Otsu)based on Improved Moth flame Optimization(IMFO)is proposed.The algorithm obtains the best combination of thresholds according to the multi-threshold Otsu criterion by constructing a depth histogram.To improve the computational efficiency of obtaining the best threshold combination,the multi-threshold Otsu criterion is pruned and the algorithm is accelerated using the proposed improved moth flame algorithm.The results of the multi-threshold segmentation of the acquired fruit images using the IMFO-Otsu algorithm show the good performance of the proposed algorithm.Since the proposed algorithm does not use color information of color images and is simple and effective,it provides a basis for fruit recognition and localization in complex situations such as nighttime environments.Key words:depth image;multilevel threshold segmentation;Moth flame Optimization;Otsu;fruit image