基于双目近景图像的车体相对车位方位视觉检测方法_张西良.pdf

2023 年 5 月May 2023第 44 卷第 3 期Vol 44No 3doi:10 3969/j issn 1671 7775 2023 03 003开放科学(资源服务)标识码(OSID):基于双目近景图像的车体相对车位方位视觉检测方法张西良1，闫妍1，刘玉芹1，袁朝春2(1 江苏大学 机械工程学院，江苏 镇江 212013;2 江苏大学 汽车工程研究院，江苏 镇江 212013)摘要:为了提高自动泊车领域单一应用机器视觉技术对目标空车位方位检测的适应性，研究了一种基于双鱼眼镜头近景图像的车体相对车位方位机器视觉检测方法 采用双鱼眼镜头采集车位近景图像，通过对图像校正、图像拼接、逆透视变换和图像二值化等图像处理，提取俯视平面上目标空车位线轮廓边缘和双鱼眼镜头位置点 建立车体相对目标空车位的坐标系，通过视觉识别和像素点坐标计算确定双鱼眼镜头在车位二维坐标系下的坐标 基于已知车位和车体尺寸、鱼眼镜头在车体上安放位置等信息，运用几何方法建立车体相对车位方位角与距离的计算关系模型 结果表明:方位角检测最大相对误差为 9.16%，距离检测最大相对误差为 3.89%，提高了目标空车位检测的适应性关键词:自动泊车;近景图像;车位;机器视觉;图像处理;几何量检测中图分类号:TP391.9文献标志码:A文章编号:1671 7775(2023)03 0262 08引文格式:张西良，闫妍，刘玉芹，等 基于双目近景图像的车体相对车位方位视觉检测方法 J 江苏大学学报(自然科学版)，2023，44(3):262 269收稿日期:2021 07 03基金项目:国家自然科学基金资助项目(51775247)作者简介:张西良(1964)，男，江苏丹阳人，教授，博士生导师(zhangxl ujs edu cn)，主要从事系统检测与智能仪器研究闫妍(1997)，女，河南商丘人，硕士研究生(365402379 qq com)，主要从事机器视觉与图像处理研究Vision detection method of car body relative parking positionbased on close-range images of binocular lensZHANG Xiliang1，YAN Yan1，LIU Yuqin1，YUAN Chaochun2(1 School of Mechanical Engineering，Jiangsu University，Zhenjiang，Jiangsu 212013，China;2 Institute of Automotive Engineering，Jiangsu University，Zhenjiang，Jiangsu 212013，China)Abstract:To improve the single application adaptability of machine vision technology in the field ofautomatic parking to the orientation detection of the target empty parking space，a new machine visiondetection method for the relative position of car body was investigated based on the close-range image ofbinocular lens The close-range image of the parking space was collected through the binocular lensThrough the image processing of image correction，image mosaic，inverse perspective transformation andimage binarization，the contour edge of the target empty parking space on the top plane and the positionpoint of the binocular lens were extracted The coordinate system of the vehicle body relative to the targetempty parking space was established，and the coordinates of the binocular lens in the two-dimensionalcoordinate system of the parking space were determined through visual recognition and pixel pointcoordinate calculation Based on the known parking space and car size，the position of fisheye lens on thecar body and other information，the calculation relationship model between the azimuth and distance of第 3 期张西良等:基于双目近景图像的车体相对车位方位视觉检测方法263the car body relative to the parking space was established by geometric method The results show that themaximum relative error of azimuth detection is 9.16%，and the maximum relative error of range detectionis 3.89%，which improves the adaptability of target empty parking space detectionKey words:automatic parking;close-range image;parking space;machine vision;image processing;geometric measurement自动泊车系统一般包含车位识别、决策规划和执行控制 3 大关键技术1，只有准确识别车体相对目标空车位的方位才能使自动泊车系统制定高效精准的决策规划路线 车体相对目标空车位方位参数包括方位角和距离 2 个指标 获取车体相对目标空车位的方位角和距离是实现自动泊车的基础和关键目前，方位检测方法多应用于车辆定位2、水下未知目标检测和方位估计3、新型武器靶场试验方位检测4 等领域 在进行目标识别、检测、定位过程中通常需要借助雷达、声呐、经纬仪等仪器，检测获取目标周围参照物的信息，结合机器视觉检测技术获取方位，这给目标周围无参照物情况下方位检测带来较大限制应用单一机器视觉技术实现对无周围参照物的目标空车位方位检测是对其他车位方位检测方法的很好补充 其关键技术是基于视觉图像实现对几何尺寸和距离的检测 孙少杰5 以显著性标志物中的关键点为目标，探讨了一种基于计算机视觉的目标方位测量方法，通过采用 Harris 算法提取被测目标特征角点，基于亚像素技术识别特征角点像素坐标，实现对目标方位测量，但对大视场条件下的现场测量，未考虑镜头抖动、拍摄距离等导致图像解析度低等问题，适用性有待提高 LI Y L 等6 提出了一种基于探针式多视场三维视觉测量系统，通过建立立体定向靶标的 6 个单元模型实现多面体或旋转体的形状测量，并不适用于车位平面信息检测 WANG T Y 等7 设计了 1 个基于单视觉和人工平面的目标定位系统，研究图像匹配和位置解析，建立图像样本，验证图像匹配算法的准确性，但是其仅限于 80 mm 60 mm 靶标尺寸和 800 mm 小范围内靶标点检测笔者在应用双目视觉技术进行目标识别与尺寸大小检测研究的基础上，拟基于双鱼眼镜头近距离拍摄目标空车位近景图像，采用传统图像处理方法对双近景图像进行校正等处理，提取俯视平面上目标空车位线轮廓边缘和双鱼眼镜头位置点，基于特征点像素坐标和数学几何计算方法，检测车体相对目标空车位方位1车体相对车位方位视觉检测设计为了在初始采集图像时提高目标空车位信息在整体图像中的占比率，结合车位可能处于车体四周的情况，在车体四边各设置 1 个鱼眼镜头来采集图像 车体相对目标空车位方位视觉检测方法流程如图 1 所示图 1车体相对目标空车位方位视觉检测方法流程图检测方法流程包括 2 个阶段:车位近景图像获取与处理 首先确定 4 个鱼眼镜头在车体上的安放位置;然后依据车位情况，选其中靠近车位的车体相邻的 2 个鱼眼镜头拍摄车位近景图像，并对原始图像进行校正，消除鱼眼镜头视角拍摄产生的图像畸变;再将校正后的 2 张车位近景图像拼接起来，合成 1 幅完整的车位图像;接着对拼接图进行逆透视变换，提取车位 OI(region of interest)区域;最后做二值化处理，凸显 OI 区域中的车位线信息和 2个鱼眼镜头位置 车体相对车位的方位角与距离计算 先建立车位二维坐标系，基于图中像素灰度值差异，通过视觉识别双鱼眼镜头在车位二维坐标264第 44 卷系下的坐标;再基于已知车位和车体尺寸、鱼眼镜头在车体上安放位置等信息，以及拼接图中车位线轮廓边缘信息和 2 个鱼眼镜头坐标，应用数学几何方法分析车体相对车位的方位关系，建立相应的数学模型，计算求解最接近车位的车体端点在车位二维坐标系下的坐标、车体端点与坐标原点之间的距离以及车体前后或者左右侧边沿相对坐标轴方位角，实现车体相对车位方位参数的检测2车位近景图像获取与处理2.1车位近景图像获取4 个鱼眼镜头分别安置在车体 O1、O2、O3、O4处 O1在车尾中点位置，距离地面高度 h1为 60 cm;O2在左后视镜下方，距离地面高度 h2为 90 cm;O3在车头中点位置，距离地面高度 h3为 60 cm;O4在右后视镜下方，距离地面高度 h4为90 cm;车体邻边2 个鱼眼镜头到同一车体端点的尺寸分别为 W 和L 试验车位尺寸长度为 L1，宽度为 W1;试验车体尺寸长度为 L2，宽度为 W2为使采集的车位近景图像为全景图像，选用焦距为 1.7 mm、视角为 180的鱼眼镜头，构建获取图像的系统模型如图 2 所示图 2图像获取系统模型以 O4、O3处鱼眼镜头拍摄车位近景图像为例，其获取的垂直车位、平行车位和倾斜车位的 3 种车位近景图像如图 3、4 所示图 3O4处鱼眼镜头获取的车位近景图像图 4O3处鱼眼镜头获取的车位近景图像2.2车位近景图像校正为消除鱼眼镜头视角拍摄引起的图像畸变，采用张正友棋盘格标定法8 10，并依据鱼眼镜头在车体的已知安装位置条件，求解鱼眼镜头的内参矩阵和畸变矩阵，对原始车位近景图像进行图像校正，图像校正原理如下:kxky0=f1f2kxkykz0，(1)式中:(kx，ky)为该点对应在像素坐标系下的像素坐标;(kx，ky，kz)为世界坐标系下点的物理坐标;f1为内参矩阵;f2为畸变矩阵将制作的棋盘格布放在车体四周，然后用车体上的前后左右 4 个鱼眼镜头拍摄图像，用求解的内参矩阵和畸变矩阵对图像进行校正，二者对比效果如图 5 所示 经校正后可修复鱼眼镜头拍摄的畸变棋盘格图片 对图 3 获取的垂直车位、平行车位、倾斜车位 3 种车位的近景图像进行校正，其效果如图 6 所示，从校正图中可以看出，校正后可修复车位图像中间呈抛物状且向鱼眼镜头前部凸出的畸变第 3 期张西良等:基于双目近景图像的车体相对车位方位视觉检测方法265图 5棋盘格图像校正图 6车位近景图像校正图2.3车位近景图像拼接车位近景图像拼接的原理如下:将 2 幅存在一定重合部分车位