基于双目视觉的烟叶表面积三维测量方法研究_林雅婷.pdf

第 22卷 第 2期2023年 2月Vol.22 No.2Feb.2023软 件 导 刊Software Guide基于双目视觉的烟叶表面积三维测量方法研究林雅婷1，侯开虎1，张冀武2，盖小雷2，龙杰2，孙浩巍2，张轲2，张晓伟2（1.昆明理工大学 机电工程学院，云南 昆明 650500；2.云南省烟草质量监督检测站，云南 昆明 650106）摘要：针对采用二维图像处理测量烟叶表面褶皱面积不精确，从而影响烟叶智能分级准确度的问题，提出一种基于双目视觉的烟叶表面积三维测量方法。首先使用双目立体视觉系统采集烟叶图片并进行预处理，通过SGBM立体匹配算法求出视差图，采用形态学处理对视差图进行后处理；然后运用三角测量原理得到三维点云，并将点云数据导入Meshlab软件，利用Ball Pivoting算法进行烟叶表面三维重建；最后通过VTK统计网格数量计算得到烟叶表面积。通过对上、中、下3个部位共90片烟叶进行表面积测量实验比较，发现所提方法在烟叶面积测量准确度方面比二维图像法平均提高约30%，可为后续烟叶智能分级过程中褶皱特征的分析提供相应依据。关键词：双目视觉；立体匹配；三维点云；三维重建；烟叶褶皱面积DOI：10.11907/rjdk.221116开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP391 文献标识码：A文章编号：1672-7800（2023）002-0035-06Research on Three-dimensional Measurement Method of Tobacco Leaf Surface Area Based on Binocular VisionLIN Ya-ting1，HOU Kai-hu1，ZHANG Ji-wu2，GAI Xiao-lei2，LONG Jie2，SUN Hao-wei2，ZHANG Ke2，ZHANG Xiao-wei2（1.Faculty of Mechanical and Electrical Engineering，Kunming University of Science and Technology，Kunming 650500，China；2.Yunnan Tobacco Quality Supervision and Test Station，Kunming 650106，China）Abstract：Aiming at the problem that using two-dimensional image processing to measure the area of folds on the surface of tobacco leaves is not accurate，which affects the accuracy of tobacco leaf intelligent classification，a three-dimensional measurement method of tobacco leaf surface area based on binocular vision is proposed.First，use a binocular stereo vision system to collect tobacco leaf pictures and preprocess them，use the SGBM stereo matching algorithm to obtain the disparity map，and use morphological processing to post-process the disparity map；Then，use the principle of triangulation to obtain a three-dimensional point cloud，and import the point cloud data into Meshlab software to use the Ball Pivoting algorithm to perform three-dimensional reconstruction of the tobacco leaf surface；Finally，the surface area of the tobacco leaf is calculated by VTK statistical grid number.By comparing the surface area measurement experiments of 30 tobacco leaves in the upper，middle and lower parts，the results show that the proposed method improves the accuracy of tobacco leaf area measurement by about one-third.And it provides a corresponding basis for the analysis of the wrinkle characteristics in the subsequent intelligent grading process of tobacco leaves.Key Words：binocular vision；stereo matching；3D point cloud；3D reconstruction；tobacco fold area0 引言烟草行业在我国占有非常重要的经济地位。目前，国内外主要依靠分级人员的经验对烟叶进行分级。随着产业化发展进程的加快，该方式难以适应烟叶质量检测与分级标准不断规范化的客观要求1-2。因此，烟叶智能分级成为当前产业进一步发展的关键。目前，机器视觉技术成为烟叶智能分级的重要手段，在烟叶颜色和叶形识别方面取得了重要成果，为烟叶智能分级提供了重要依据3-4。为使烟叶分级精度得到进一步提高，除上述要素外，还需考虑叶片纹理、褶皱等因素。目前，已有学者对烟叶褶皱纹理特征进行了研究。例如，杨晓娟5运用灰度共生矩阵法提取烟叶纹理特征，最后确定收稿日期：2022-02-11基金项目：中国烟草总公司云南省烟草公司科技计划重点项目（2020530000241003，2021530000241012）作者简介：林雅婷（1997-），女，昆明理工大学机电工程学院硕士研究生，研究方向为企业集成及信息化；侯开虎（1963-），男，昆明理工大学机电工程学院教授、硕士生导师，研究方向为企业集成及信息化。2023 年软 件 导 刊能量、纹理熵、对比度和相关性作为评判烟叶等级的4个特征；戴建民等6基于图像的灰度直方图统计纹理特征的均值、标准差对纹理进行描述；陈朋7运用Gabor小波变换法对烟叶纹理特征进行提取，最终通过各级别烟叶纹理的特征均值和标准方差划分烟叶等级。然而，现有研究主要通过单目相机获取二维图像提取信息进行褶皱纹理分析，由于受图像维度的限制，表面遮挡、褶皱等信息无法得到精准表征，进而影响烟叶面积、褶皱等形态学参数的测量精度，对烟叶分级造成一定影响。因此，针对烟叶表型测量存在的问题和局限性，如何呈现烟叶表面细节以更好地提高烟叶表面积计算精度是目前亟待解决的问题。双目立体视觉是目前可视化研究中的关键技术，其通过模仿人的视觉原理获取图像的深度信息，将二维图像转换为三维几何信息，可以更大程度地呈现物体的表面细节，在植物表型研究方面具有明显的优势。目前，部分学者基于双目视觉对植物表型进行了三维重建技术研究。例如，殷悦等8采用基于双目视觉的三维重建技术得到拟南芥三维逼真模型；田东旭9采用双目视觉技术结合植物建模方法建立了大田玉米植株模型并在此基础上实现了植株各叶片的识别与定位；尹世和等10通过搭建双目视觉平台对大豆植株的生长参数进行无损检测，快速准确地获得了测量结果。上述文献表明，采用基于双目视觉的三维重建技术应用于植物研究能得到更全面的性状参数，对植物表型进行更精确的分析，还具有操作灵活、成本低、效率高等特点，但目前将该技术应用于烟叶表型分析的研究较少。因此，本文针对采用二维图像处理测量存在维度分析局限性而影响烟叶智能分级准确度的问题，提出一种基于双目视觉的烟叶表面积三维测量方法。首先，通过双目视觉系统采集烟叶图片，对得到的左右图像进行立体匹配得到视差图；然后运用三角测量原理生成三维点云，导入Meshlab软件中实现烟叶表面的三维重建；最后基于VTK库计算得到烟叶的表面积。1 材料与方法1.1实验材料本研究使用的烟叶均由云南省烟草质量监督检测站的分级专家进行部位分级，根据最小样本量的要求选取上部烟叶、中部烟叶、下部烟叶各30片，共计90片不同褶皱弯曲烟叶。1.2图像处理1.2.1相机双目标定采用张氏标定法对相机进行标定，标定板选用 129规格的棋盘格，每个格子的大小为15mm。通过固定的双目相机分别拍摄标定板正面、前后、左右各倾斜15方向的图片，选择性地删除存在角度或光线问题的图片以提升标定精度，最终得到采集后的左右图片各 14张。将图片分组导入MATLAB，使用图像处理和计算机视觉工具箱中的Stereo Camera Calibration 进行标定，获取左右两个相机的内外参数。经上述操作后，得到标定板与相机的 14种位姿和空间信息以及相机标定误差，最后得到相机标定误差为0.17，满足实验所需的精度要求。1.2.2烟叶图像立体校正立体校正是为了将实际情况下双目摄像头成像不共面、极线不平行的两幅烟叶图像，通过标定参数 R和 T进行矫正，得到左右相机光轴平行、成像平面完全共面且行对准的图像。在双目相机拍摄完烟叶的照片后，根据上述标定所得参数，调用 opencv 中 cv2.stereoRectify、cv2.undistort、cv2.remap、cv2.initUndistortRectifyMap等函数进行图像校正，并修剪成合适的尺寸，再通过画线的方式进行立体校正检验。通过烟叶实物的图像校正可以看出该方法的矫正效果良好。图1为立体校正前的图像，图2为立体校正后的图像。1.2.3图像立体匹配SGBM（Semi-global Block Matching）算法是一种半全局算法，结合了全局和局部匹配算法的优点，在运算速度和精度方面具有优势，主要包括以下几个步骤。（1）预处理。水平算子 Sobel遍历图像上的每个像素点，然后利用函数将其映射成为一个新图像，从而得到图像的梯度信息，用于代价计算。Sobel算子的计算公式为：Sobel(x，y)=2 P(x+1)-P(x-1，y)+P(x+1，y-1)-P(x-1，y-1)+P(x+1，y+1)-P(x-1，y+1)（1）（2）代价计算。烟叶左右图像同时进行两种不同的处理11，一种是对原图进行水平方向的梯度滤波，然后再进行 BT 代价计算；另一种是直接输入图像进行 BT 代价计算。将以上两步代价计算得到的结果进行融合，并进行成块处理。（3）动态规划。通过图像中多个方向上一维路径的约Fig.1Tobacco leaf image before stereo correction图1立体校正前的烟叶图像Fig.2Tobacco leaf image after stereo correction图2立体校正后的烟叶图像 36第 2 期林雅婷，侯开虎，张冀武，等：基于双目视觉的烟叶表面积三维测量方法研究束建立一个全局的马尔科夫能量方程，每个像素最终的匹配代价为所有路径信息的叠加，每个像素的视差选择通过赢家通吃算法（Winner-Takes-All，WTA）决定。在每个方向上按照动态规划的思想进行能量累积，然后将各个方向上的匹配代价相加得到总的匹配代价，表示为：Lr(p，d)=c(p，d)+min Lr(p-r，d)Lr(p-r，d 1)+P1mini=dmin，dmax