基于激光雷达的料堆特征提取方法优化_张荠匀.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0228005-1研究论文基于激光雷达的料堆特征提取方法优化张荠匀1，王建军1*，李旭辉1，王炯宇1，程霄霄1，王光彬21山东理工大学机械工程学院，山东 淄博 255049；2山东直通车科技有限公司，山东 淄博 255000摘要 对料堆表面和形态进行特征提取是实现仓储自动化、智能化的前提与基础，为货料的自动存、取控制提供判断依据。为了提取料堆的形态与覆盖面特征，首先，采用激光雷达对料堆进行扫描，获取三维点云后使用融合算法进行预处理；其次，基于表面法向量的差异和空间距离差异对点云进行超体素聚类；最后，利用曲面凹凸判断方法对聚类后的三维点云曲面提取出凸面，从而实现了料堆表面形态的判断。实验结果表明，该方法可较好地识别料堆表面特征，识别误差小于 3.11%，且不需要针对场景进行训练，可直接应用于不同料堆场景。关键词 遥感与传感器；激光雷达；特征提取；超体素聚类；凹凸关系；区域生长中图分类号 TN958.98 文献标志码 A DOI：10.3788/LOP212708Optimization of Feature-Extraction Method for Stockpiled Materials Based on LiDARZhang Jiyun1,Wang Jianjun1*,Li Xuhui1,Wang Jiongyu1,Cheng Xiaoxiao1,Wang Guangbin21School of Mechanical Engineering,Shandong University of Technology,Zibo 255049,Shandong,China;2Shandong Through Train Technology Co.,Ltd.,Zibo 255000,Shandong,ChinaAbstract Feature extraction of the surface and form of stockpiled materials is performed for achieving the automation and intelligence of warehousing,and it provides the analysis basis for the automatic storage and acquisition control of the materials.First,the stockpiled material is scanned by using LiDAR to determine its morphology and coverage characteristics,a 3D point cloud is obtained,and a fusion algorithm is used to preprocess the material.Second,the supervoxel clustering of point clouds is performed based on the difference of the surface normal vector and spatial distance.Finally,the convex surface is extracted from the 3D point cloud surface after clustering by using the concave and convex judgment method to analyze the surface shape of the stockpiled material.The experimental results show that the method can precisely recognize the surface characteristics of the stockpiled material,and the recognition error is less than 3.11%.The proposed method can be directly applied to different stockpiled material scenarios without training.Key words remote sensing and sensors;LiDAR;feature extraction;supervoxel clustering;concave and convex relations;region growing1引言经济全球化使各国的贸易往来越来越频繁，每天各国各地都要对大量原料进行装卸、转运。由于料场大多环境恶劣、工作强度高，机器代替人工显然是最优选，因此我国也在不断改进技术，从手动运行过渡为半自动运行最后到全自动运行，以实现料场智能化。目前我国绝大部分料场还停留在前两个阶段，而德国、日本等国家 21世纪初就开始进入全自动阶段，主要有两种智能化方式：远程控制和全自动方式，远程控制方式即工作人员远程监控堆取料机，发送控制指令，如日本的新日铁株式会社1。全自动方式中，堆取料机自动操作实现物料的进仓和出仓，工作人员只需监控设备运行状态即可，如德国的汉莎港1。堆取料过程中，对收稿日期：2021-10-11；修回日期：2021-11-14；录用日期：2021-11-29；网络首发日期：2021-12-08基金项目：国家自然科学基金（51575326）、淄博市校城融合项目（2017ZBXC161）、招远工业技术研究院创新研究基金（2018）通信作者：*0228005-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展料堆状况进行识别，确定取料、填料位置，是实现全自动方式需要攻克的关键技术。目前料堆的识别多使用摄像机和激光雷达，相比摄像机，激光雷达所采集的图像是三维的，更能体现出料堆的空间形态特征2-4，因此可使用激光雷达采集料堆点云进行分析，按几何特征对料堆进行分割，得到分割后的各部分料堆空间特征信息，反馈给堆取料机进行相应的控制5。目前点云分割的主要方法有 4 种：1）基于边界分割的方法，如 Jiang等6基于扫描线分组进 行 分 割 算 法；2）基 于 模 型 拟 合 分 割 的 方 法，如Ballard7的 Hough 变换算法和 Bolles 等8的随机采样一致性（RANSAC）算法；3）基于机器学习的方法，如Weinmann 等9的基于三维邻域几何特征及场景分类的算法；4）基于区域生长分割的方法，如 Rabbani等10的基于平滑约束的算法，Khaloo 等11的基于法向量的算法，汪文琪等12的基于改进多规则区域生长算法。边界分割法可快速提取出分割结果，但遇到干扰较多或密度不均的点云时，分割效果较差。模型拟合分割法能快速分离出已确定的几何形状，但不适合分辨复杂形状。机器学习法多为神经网络学习，需要大量数据提前进行训练13-15。国内外自动堆取料系统对料堆的识别多使用机器学习法或区域生长法，如 Kamari等16对扫描结果进行语义分割，识别目标后将其从环境中分割出来。孔德明等17将扫描结果与初始样本进行对比学习，刘畅等2在对扫描结果进行三维重建后结合区域生长法提取料堆特征，由于机器学习法需要大量数据进行学习，且需要提前采集样本数据，因此更适合固定场所和大型料堆，而普通的区域生长法提取料堆特征效果并不明显，需要提高生长聚类最小聚类阈值排除干扰，且不适合具有复杂表面的料堆。因此，本文使用一种特殊的区域生长法，首先针对料堆点云的特点加入预处理算法18去除干扰点，再使用超体素分割（VCCS）方法19，将三维点云立体网格化后的体素基于空间距离和由直方图交叉核（HIK）方法20计算的快速点特征直方图（FPFH）21-22的几何特征距离聚类为超体素；最后，使用计算超体素之间的凹凸关系进行凸面聚类，并对点云面片间凹凸关系的判断方法23-24进行优化，将计算料堆点云中点与点之间的凹凸关系转换为计算超体素之间的凹凸关系，使聚类结果更好地体现料堆表面的凹凸特征。2原理描述2.1总体技术路线本文总体技术路线如图 1所示。针对料堆点云含复杂环境信息，以及大多数料堆具有复杂曲面的特点，本文对区域生长法进行优化，提出一种使用融合算法、超体素分割、凹凸判断聚类的特殊区域生长法进行料堆的特征提取：1）针对目前主流算法对料堆点云的干扰点处理不足的问题，本文使用融合算法对点云数据进行预处理，在预处理流程中使用随机抽样一致算法、直通滤波器、统计滤波器、移动最小二乘法（MLS）去除地面点云、环境点云和噪声并对点云进行重采样来修补孔洞，平均点云密度；2）对点云进行网格化处理，根据法向量几何特征距离和空间距离进行超体素聚类，获取过分割点云。针对料堆具有表面连续且不规则，有细小坑洞的特点，本文对凹凸判断方法进行优化，采用法向量和空间位置向量进行凹凸判断，设置凹凸角度门限值及最小面片值过滤平缓坡面及细小坑洞，即使用 cc判断+门限过滤+过小面吸纳归类的凹凸判断法来进行凹凸性关系判断，对过分割结果进行聚类，以更好地提取料堆特征，提升计算速度。2.2点云预处理由激光雷达获得点云后，首先需要进行预处理。对于数据中的地面点云，用随机抽样一致拟合平面的方法去除，RANSAC 算法拟合平面首先要在给定点集中选取 3 个点，计算得到平面公式ax+by+cz+d=0，而后由距离公式di=|axi+byi+czi+d|计算点集中其他点到此平面的距离，给定距离上限dr，di 2则两面片为凹关系，若1 2则为凸关系。考虑到测量噪声等因素，需要在实际使用过程中引入门限值t（1需比2大出一定量）来滤除较小的凹凸误判，两面片夹角以及两面片凹凸关系判断公式为=|1-2|=cos-1(n?1n?2)2 tfalse otherwise。（13）在计算完各个点云面片的凹凸关系后，对各个点云面片采取跨凸边增长的区域生长法。此外，料堆作为一个整体，表面的一些小坑可以忽略不计。因此当某一面片体积小于门限值时，可以与其相邻面间值最小的归于同一类，由此可将各个集合进行整合，从而分割整个点云。3仿真分析首先使用仿真的料堆理想模型进行算法验证。设地面上有两个半径为 100 m 的相邻半球面，采用激光雷达对其进行模拟扫描，获得点云图，如图 4（a）所示。先对模型点云进行预处理，将地面点使用 RANSAC平面拟合法去除，结果如图 4（b）所示。料堆的特征提取目前有机器学习法及区域生长法两类，由于机器学习法需要大量样本且适合于固定场所的特点，本文选择具有普适性，不受场所及样本约束的区域生长法进行改进，并与目前采用的区域生长法进行对比实验。采用区域生长法结合预处理算法对模型进行聚类，结果如图 5所示。由图 5可见区域生长聚类能将两个料堆进行区分，但在边界处识别效果较差，在料堆模型交界处及料堆边缘，点云有残余归类。采用本文算法对预处理结果进行超体素聚类，结果如图 6（a）所示。再通过凹凸关系判断方法对模型进行区域生长分割，结果如图 6（b）所示。结果表明，在超体素聚类后形成的点云面片的图 6（a）中可见，两个料堆已经有明显的边界，再经过对点云面片凹凸关系判断聚类后的图 6（b）可见，料堆交界处未归类的残余点云基本消除，可以很好地将两个料堆区分开来。4实验验证对实际的土堆地形进行实验，进行点云算法验证，获得实际料堆点云后进行预处理，对预处理后的点云文件分别使用“基于法向量的区域生长聚类算法”和“超体聚类+基于凹凸性聚类的算法”进行特征提取对比实验，并对实验结果进行了定性和定量分析对比来验证本文算法的先进性。首先将 VLP-16激光雷达安置于三角架上对料堆进行扫描，获得激光点云，扫描场地为山东理工大学校内的一处建筑施工场地土堆，如图 4激光扫描点云仿真图及其预处理。（a）模型点云；（b）预处理Fig.4Laser sca