基于改进后语义分割模型的障碍物检测方法_乔玉龙.pdf

：基于改进后语义分割模型的障碍物检测方法收稿日期：；修回日期：。基金项目：国家自然科学基金资助项目（）。作者简介：乔玉龙（），男，教授，博士，主要研究方向为图像处理与应用、纹理分析与应用。通信作者：赵雪晨（），女，硕士生，。乔玉龙，赵雪晨（哈尔滨工程大学 信息与通信工程学院，哈尔滨 ）摘要：障碍物检测是确保无人水面艇避障和安全航行的关键技术，针对水面反光区域误检和水面分割不准确导致的漏检问题，提出了一种基于改进后语义分割模型的障碍物检测方法，通过图像预处理、语义分割模型、显著性估计实现障碍物检测。首先，通过在预处理环节对水面中反光区域进行去除，避免其对后续检测的干扰；然后，通过引入海天线估计参数，用于调整语义分割模型初始化和先验信息，提高水面分割精度；最后，在水域范围内选取形边界集合构造背景模型，由此判断水面中非水像素为障碍物。实验结果表明：该方法可以提高水面障碍物检测的准确度。关键词：障碍物检测；语义分割模型；反光区域去除；显著性估计；无人水面艇中图分类号：文献标志码：文章编号：（），（，）：，：；随着对沿海水域的探索和研究，无人水面艇（，）作为水面环境开发过程中的重要工具被广泛使用。为了确保 能够自主安全航行，避免碰撞和危险情况，第 卷第期 年月 海军工程大学学报 水面障碍物检测技术就成为一项重要研究内容。在水面上航行，对其存在危险的障碍物通常位于海天线之下。因此，许多障碍物检测方法首先检测海天线，然后利用阈值分割等方法来检测障碍物。它们将海天线当作直线进行检测，但是当 在近岸时，图像中的水边缘不再是一条直线，通过直线检测确定的水面范围是不准确的，会导致后续检测中出现误差。还有一些基于深度学习的方法，由于无法提供大量的训练数据，导致检测结果并不理想。针对这些问题，等提出了一种通过对水面场景进行语义分割，来实现障碍物检测的图模型。该模型将水面图像划分为个语义区域，采用高斯分布与均匀分布的混合模型，并结合马尔可夫随机场对当前像素的特征向量进行建模，最后确定水域范围内的非水像素为障碍物。基于语义分割模型的方法可以实现障碍物检测并取得了较好的结果，但水面环境的复杂多变给障碍物检测带来了许多困难，现阶段的方法并不能完全解决检测中存在的各种问题。因此，本文针对反光区域误检和水面分割不准确导致的漏检等实际问题，提出了一种基于改进后语义分割模型的水面分割方法。水面障碍物检测方法针对复杂的水面环境，本文设计了一种基于改进后语义分割模型的水面障碍物检测方法（见图）。图障碍物检测方法框图 图像预处理图像预处理分为水面反光区域去除和简单非迭代聚类超像素算法预分割图像。根据双色反射模型，水面图像中像素点的亮度可表示为（）（）（）（）（）。（）式中：（）（），（）（）分别为漫反射分量和镜面反射分量，而相应的，分别表示漫反射色度和光照色度；（），（）分别为各自分量的表面几何权重。通过将颜色归一化后，得到光照色度，。本文使用的亮度比例模型是在原双色模型基础上，根据图像中存在一定成分完全漫反射像素点这个特点，使用与反射系数无关的亮度比例模型，即完全漫反射像素点的亮度比与物体的表面几何因素无关。其中，亮度比的定义为（）（）（）（）（）（）。（）式中：亮度范围值 （）（）（）（）（）。（）图像中的完全漫反射像素所占的比例小于阈值，将所有像素点（数量为）根据亮度比例进行升序排序，排序方式依据式（）来进行。然后，选取距离最近整数值所对应的像素点，将该点的（）作为高光像素点检测的阈值，并根据式（）获得镜面反射分量，再根据式（）得到漫反射分量。（）（）（），。（）由此获得的反光区域的二值图像（见图（）。图反光区域检测结果 水面反光区域去除具体步骤如下。步骤根据确定图像中反光像素点 的位置，并以其为中心，在邻域内求该点第期乔玉龙 等：基于改进后语义分割模型的障碍物检测方法与其他像素点亮度值的差值和。计算式为 （）（）。（）式中：（）为该点的亮度值；（）为其邻域内像素点的亮度值，且（）（）。当 为时，扩大邻域范围，重复进行计算。步骤计算 邻域内各像素点亮度值的权重（），以及邻域内全部像素点的加权和，用加权和对该点亮度值进行更新。步骤在邻域内寻找的像素点，使用更新后的亮度值代替这些像素点亮度值。步骤更换位置，重复上述操作，直到遍历完反光区域内的所有像素点。最后，得到去除水面反光区域后的图像（见图）。图反光区域去除结果 改进后的语义分割模型根据水面图像的特点，将其划分成个语义区域：天空、陆地和水面（见图）。图水面图像的个语义区域 本文使用的模型是在文献 中的语义分割模型（，）基础上进行改进的。因为 中检测的障碍物是在水域内确定的，所以水面分割结果对后续检测有很大影响。为获得更精确的水面分割结果，将海天线引入到模型中进行改进。水面图像中，用特征向量来表示超像素的位置和颜色信息，而所对应的概率为（，）（，）。（）式中：，为高斯核（，）的均值和协方差；为时海天线参数；为先验信息。根据来调整模型初始化和先验。但是，当 航行至近岸时，图像中没有代表海天线的线段，这时将图像按固定比例分成个区域，从而获得初始化参数。获得海天线参数的具体步骤如下。步骤将图像沿垂直方向均匀分成个子区域，用灰度共生矩阵来表示其纹理信息。步骤由各子区域对比度、能量、熵和逆差矩组成的向量表示每个子区域的纹理特征。步骤比较相邻子区域间的纹理差异。步骤选择差异值最大的两个子区域和其相邻的两个子区域，构成待检测区域。步骤在待检测区域中，利用霍夫变换直线检测的方法确定海天线的大致位置。步骤将得到的结果对应于原始水面图像获得的值，并利用该值计算先验概率，相应表达式为（）和（）。步骤获取先验分布，计算式为 （）。（）而相应的高斯参数超先验定义为（，）（），（）；（）（）（），（）。（）根据文献 和 的推导，得到变量.和.的值，并在（）算法（）步骤中，实现联合概率密度函数最大化，并得到先验.。.（.）（）。（）在（）步骤中结合与相关的超先验，获得每个语义区域相应高斯分量的均值和协方差，即（）（）（）；（）（）（）。（）交替完成、步骤，直到迭代收敛为止。基于背景的显著性估计由于障碍物相对于水面在视觉上存在明显差海军工程大学学报第 卷异，所 以 使 用 显 著 性 估 计 的 方 式 来 检 测 障 碍物。为了降低检测复杂性，避免天空和陆地对检测的干扰，该方法在海天线以下水域中进行。用（为数量，为颜色特征向量）表示水面。为减少计算量，建模时不使用水面上所有超像素而是选取其中部分超像素来构造高斯背景模型（，）。如文献 选取形边界集合来建模，然而通过实验发现，形边界集合用于构造 ，在后续检测中可能会将海天线附近水面超像素误检为障碍物。这是因为在图像中海天线处水面，其颜色纹理与底部边界处存在部分差异，易导致误检。为了避免此类问题，选取水面中部的超像素代替底部边界，形成一个形边界集合来构建，完成后续基于显著性估计的障碍物检测（见图）。图不同边界集合对应的显著性估计检测结果 由于所选集合中可能会包含部分障 碍 物，为 了 将 这 类 超 像 素 排 除 掉，使 用 规则对进行过滤。它是根据超像素唯一性来判断，唯一性定义为中超像素与所有超像素之间欧几里得距离的平均值。然后，计算所有超像素 的均值和标准差，将满足条件的超像素去除，得到一个新集合。计算新集合的均值和方差，并用其构造分布为（，）的 。而后，根据（，）来确定水面范围内各超像素属于水面背景的概率，并通过 （）（）实现基于背景的显著性估计，完成障碍物检测。式中：为控制显著性算子的范围，取值为，当的值越接近，对应的超像素就为所要检测的障碍物。实验结果及分析为验证本文所提方法的性能，在海洋障碍物检测数据集（，）上进行实验。为了评价所提方法的水边缘 和 障 碍 物 的 检 测 效 果，将 其 与 、种代表性方法进行了比较。其中，水边缘是通过将检测结果与真实边缘的均方根误差的均值和标准差来衡量，障碍物检测则用精度（）、召回（）、分数（）和每帧误检数（）予以衡量，结果如图所示。第期乔玉龙 等：基于改进后语义分割模型的障碍物检测方法图不同方法的实验结果 水边缘检测结果分析表为各方法水边缘检测结果，其中本文方法明显优于 和 。这是因为引入了改进初始化和先验分布，从而获得了更准确的水 边 缘 检 测 结 果。但 是，该 方 法 并 不 优 于。这是因为本文方法在水边缘检测时，将边缘拟合为一条直线，使得在 远离岸边所拍摄的图像中得到了较好的结果，然而当 航行到邻近岸边时，此时水边缘并不是直线，通过直线拟合得到的结果不准确，且确定的水面会包含部分其他区域，易造成误检（见图）。表水面边缘检测结果 方法 .本文方法.图 邻近岸边时水边缘检测结果 综合以上分析可知，本文方法在水边缘检测上是具有明显优势的，可以获得更精确的水面分割结果，且有利于后续障碍物检测。障碍物检测结果分析表为各方法的障碍物检测结果，其中本文方法具 有 最 高 的 （.）、（.）和 （.）以及最低的 （.）。在精度和召回方面，该方法明显优于其他方法，从而具有更高的分数。这是由于该方法去除了反光区域，减少了由它们引起的误检；使用改进后的语义分割模型，能更精确地分割出水面，为后续障碍物检测提供准确范围；使用 形 进行显著性估计完成障碍物检测，降低了海天线处的误检，使得该方法比其他方法具有更高的精度。表障碍物检测实验结果 方法 .本文方法.对于图中的小障碍物，各方法均可准确检测出，但对于多个目标，和 无法检测出，因为它们将部分海天线处的障碍物与中间陆地一起视为一个语义区域，在水面分割时就将其排除，导致后续检测出现误差，造成漏检。而 和本文方法可以检测出这些障碍物，海军工程大学学报第 卷具有较高的召回率。而与 相比，本文方法在召回方面更有优势，这是因为使用了更好预分割算法以及改进后的分割模型，减少了由于水面分割不准确而导致的漏检，提高了召回率。本文方法在视频序列上的平均处理时间为 ，而 上相机帧率不超过 ，所以可以认为该方法满足检测的实时要求。极端条件下性能分析由于 相机拍摄的水面图像中可能会存在反光区域，以及 在剧烈晃动时行驶，都会给障碍物检测带来很大的挑战。极端条件下的实验结果如图所示。图极端条件下的实验结果 由图 可见，当存在 反光 区域 时，和 会出现误检。而当存在大面积反光区域时，与 无法准确分割出水面，还会沿着反光区域在水边缘处形成一个凹陷。而本文方法则不会出现类似情况，这是因为在预处理中就将反光区域去除，避免了这类情况造成的误检，从而获得更精确的水边缘和障碍物检测结果。由于 的剧烈晃动，可以看到在连续三帧的图像中海天线倾斜变化明显，会出现水面边缘检测不准确等情况。与 和 中使用固定比例垂直分割图像获得初始值不同，本文使用基于子区域划分和纹理特征结合的方法来获得海天线，进而调整初始先验参数，改进初始化和先验条件分布，使得在 剧烈晃动的情况下也能准确地分割出水面，获得水边缘检测结果。结束语本文提出了一种基于改进后语义分割模型的障碍物检测方法，通过在预处理中将水面反光区域去除，以减少其对后续检测影响，降低误检。结合超像素预分割和基于背景的显著性估计检测方法，实现了水面障碍物的检测。在 上进行实验的结果表明：本文方法优于其他相关算法，可以完成水面障碍物检测，并且具有较高的精度和召回率。参考文献（）：，第期乔玉龙 等：基于改进后语义分割模型的障碍物检测方法 ，：，（）：，：，：，：，（）：，（），：，：，：，：，（）（），：，：时俊楠，金久才，张杰 无人船监视图像反光区域检测与去除方法及实验验证 海洋科学，（）：，（）：（），（）：，：，（）：，（）：（上接第页）张伟钢，张涛，吕丹丹 疏水型近红外低反射与 低发射率兼容涂层的制备及性能表征 功能材料，（）：，（）：（）吴护林，朱敏 红外低发射率颜料制备及其可见光红外特性研究 表面技术，（）：，（）：（）王自荣，孙晓泉 铝粉涂层的红外发射率研究 功能材料，（增刊）：，（）：（）海军工程大学学报第 卷