基于TOF相机的露天矿卡车装载体积测量实验研究_张烨佼.pdf

Series No.560February 2023 金 属 矿 山METAL MINE 总 第560 期2023 年第 2 期收稿日期 2022-03-22基金项目 国家自然科学基金项目(编号:51674063);国家重点研发计划项目(编号:2016YFC0801608)。作者简介 张烨佼(1991),男,硕士研究生。通信作者 孙效玉(1963),男,教授,博士,硕士研究生导师。基于 TOF 相机的露天矿卡车装载体积测量实验研究张烨佼1,3 马连成2 段金刚2 刘洪臻2 孙效玉1 刘煜祖1 王仁炎1(1.东北大学智慧矿山研究中心,辽宁 沈阳 110004;2.鞍钢集团矿业有限公司齐大山铁矿,辽宁 鞍山 114000;3.紫金矿业集团股份有限公司,福建 龙岩 364000)摘 要 TOF 相机作为新兴技术设备,在三维建模、体积计算等方面具有良好的应用前景。针对露天矿山多个环节都涉及到的矿用卡车装载计量的需求,为了更进一步提升矿用卡车装载计量评价效果,本研究利用 TOF 相机进行矿用卡车装载体积计量的方法。该方法首先采用 TOF 相机提取矿用卡车的点云,然后使用 cloudcompare 对点云进行降噪、分割等预处理,构建矿用卡车的点云表面模型,并对装载前后的点云模型进行配准,最后计算矿用卡车的装载体积,并且同时提供了 2 种矿用卡车装载体积计算的方法。实验室环境下对矿用卡车模型装载体积进行多次测试,同真实体积相比,平均误差小于 5%。关键词 露天矿 TOF 相机 点云处理 点云体积计算 中图分类号TD56 文献标志码A 文章编号1001-1250(2023)-02-167-06DOI 10.19614/ki.jsks.202302023Experimental Study on Loading Volume Measurement of Truck in Open Pit Mine Based on TOF CameraZHANG Yejiao1,3 MA Liancheng2 DUAN Jingang2 LIU Hongzhen2 SUN Xiaoyu1 LIU Yuzu1 WANG Renyan1(1.Interlligent Mine Research Center of Northeastern University,Shenyang 110004,China;2.Qidashan Iron Mine,Angang Group Mining Co.,Ltd.,Anshan 114000,China;3.Zijin Mining Group Co.,Ltd.,Longyan 364000,China)Abstract As an emerging technology and equipment,TOF camera has a good application prospect in three-dimensional modeling,volume calculation and so on.In view of the demand of mining truck loading measurement involved in many links of open-pit mine,in order to further improve the evaluation effect of ore card loading measurement,this paper studies the method of ore card loading volume measurement using TOF camera.Firstly,TOF camera is used to extract the point cloud of the ore card,and then cloudcompare is used to preprocess the point cloud for noise reduction and segmentation,construct the point cloud surface model of the ore card,and register the point cloud model before and after loading.Finally,the loading volume of the ore card is calculated,and two methods for calculating the loading volume of the ore card are provided at the same time.The loading volume of the ore card model is tested many times in the laboratory environment.Compared with the real volume,the average error is less than 5%.Keywords open pit mine,TOF camera,point cloud processing,point cloud volume calculation 露天矿生产过程中,运输成本占据了总成本的60%,计量工作的准确与否对矿山企业的成本管理、司机考核都具有十分重要的意义1-4。卡车装载计量方法主要有重量测量与体积测量。其中装载体积测量比较成熟的方法是三维激光扫描。文献5使用 2 个激光雷达对移动中的卡车进行测量,重建卡车及其负载,通过卡车的激光雷达测量,获取装载物的三维点云,借助卡车铲斗的先验模型创建负载网格,最终根据网格估算荷载体积。文献6采用固定式单线激光雷达对目标车辆进行俯视扫描,基于车辆形态特征分割出载荷物顶部点云,然后经时态校正,并与预先构建的车辆信息数据库进行匹配,重建出载荷物的三维表面模型,最后通过对载荷物表面模型的切片积分实现方量核算。文献7利用双目立体相机获取电铲铲斗的三维点云,利用机器学习方法从原始点云中分割出装载铲斗装载物表面点云,并761和预先构建的铲斗模型进行差分计算装载量。摄影测量方法也是一种比较常见的体积计算测量方法,文献8使用搭载数码相机的无人机,从多个视角拍摄矿卡,采用数字摄影测量技术重建矿卡装载物的表面三维模型,通过体积积分计算矿卡装载量。上述文献中提到的方法,三维激光扫描设备昂贵,前期点云图像的拼接处理繁琐9,摄影测量方法则后续处理工作量很大10。目前市面上推出了基于飞行时间测量技术的新型相机TOF 相机,使用该相机可直接获取对象的深度图、灰度图和点云数据,可用于三维建模与体积计算。文献11使用 TOF 相机,以每秒 15 帧以上的速度获取患者胸部和腹部的点云模型,对胸部和腹部进行三维建模,计算出胸部和腹部等不同区域的呼吸信号。TOF 相机模组具有体积小、方便灵活、获取数据简便、实时性强等优点,作为一种新兴技术在自动驾驶、动作识别跟踪、虚拟现实、医学、机器人自主导航、工业自动化装配等众多领域都有巨大的应用潜力12。在国内露天矿应用尚属空白,因此本研究提出基于 TOF 相机扫描的矿卡装载体积计算方法,并在实验室环境下进行了试验,取得了较为满意的效果。1 TOF 相机原理TOF 技术,即飞行时间技术,相机发射光脉冲信号,脉冲信号遇到障碍物(被测物体)之后返回到相机,此时测得发射光脉冲信号和反射光脉冲信号的相位差或者时间差,即可计算出被测物体与测量设备的距离13,测量的具体原理如图 1 所示。图 1 TOF 相机测量原理Fig.1 Measurement principle diagram of TOF cameraTOF 测量距离计算:D=12 C 2f,(1)式中,D 为相机与被测物体的距离;C 为光速常量;f 为信号的调制频率;为发射光脉冲信号和接收信号之间的相位差。由式(1)可知,在调制频率不变的条件下,测量距离的远近由相位差的大小决定。基于 TOF 技术的相机称为 TOF 相机,它由调制光发射器和 CMOS 图像传感器组成。和 3D 激光扫描传感器技术原理相似,不同点在于 3D 激光扫描技术以点进行扫描,TOF 相机是以面的形式遍历整个图像的像素点来形成深度图像信息14。TOF 相机并不需要扫描,就可以对整个场景完成深度测量,同时还能从取得的相位信息中获得强度信息15。2 实验材料与实验方案2.1 实验材料实验材料主要包括相机、拍摄架、矿车模型、碎石、量杯,如图 2 所示。图 2 实验材料实物图Fig.2 Physical diagram of experimental materials861总第 560 期 金 属 矿 山 2023 年第 2 期 (1)相机。拍摄所用 TOF 相机型号为 SmartToF TC-E2 系列,该型号相机的相关参数见表 1。可通过Micro USB 2.0 接口以 30 FPS 的速度输出 QVGA(320240)尺寸的深度图、灰度图及点云图。产品采用 850 nm LED 光源。测距范围可达 6 m,精度可达mm 级。配套的软件支持 Windows/Linux/ROS/An-droid 等多个平台,同时支持 C/C+/Python/Matlab/Java/C#等开发语言。运行环境为处理器 Intel Core i5-7200U 2.7 GHz 和 8 GB RAM 的笔记本电脑。表 1 SmartToF TC-E2 系列参数Table 1 SmartToF TC-E2 series parameters指标名称数值分辨率320240测量距离/m0.16测量精度/%0.52(重复精度)帧率 FPS130镜头 FOVH:92.5,V:67,D:122 (2)拍摄架。由于 TOF 相机拍摄近景敏感度较强,为了保证拍摄高度精确以及防止相机抖动造成的相位角度偏移,实验室使用拍摄架固定相机。(3)矿车模型。尺寸为 270 mm150 mm150 mm,装载容积为 850 ml。(4)碎石。若干,模拟装载物。(5)量杯。量取 200 ml 碎石,装载矿车模型,用于实验体积精度对比。2.2 实验方案基于 TOF 相机的矿车装载体积计算实验方案主要包括 3 部分:数据采集准备、点云数据处理准备、装载体积计算。(1)数据采集准备。根据矿车模型容量与量杯大小,计划采集 5 种卡车装载模式,拍摄方式为俯视,经过实验室多次测试,拍摄高度在 3060 cm 左右时(摄像头到车斗的距离),取得的点云图效果最好,没有成片的黑斑。拍摄高度取 30、45、60 cm 3 种。普通相机拍摄的 5 种装载模式如图 3 所示。图 3 相机模式下 5 种装载类别示意Fig.3 Schematic diagram of five loading categories in camera mode (2)点云处理准备。TOF 相机采集的数据模式包括灰度图、深度图、点云图 3 种类型,要进行体积计算,首先需要对点云处理。点云处理软件目前市面上有很多种,例如 Realworks、Cyclone、TerraSolid、cloud-compare 等等。Cloudcompare 是一款三维点云处理软件,它设计之初就是用来做点云比较。在进行点云对比这类任务时具有出色的性能。此外它具有体积小、运行速度快、开源、可进行批处理等优点。考虑到本研究中体积计算和点云处理多需要进行点云的比较和配准工作,cloudcompare 是最适合的选择。(3)体积计算。体积计算分 2 种方法,一种是将装载后的点云与空车点云进行配准,配准之后两者之间形成的多余部分即为装载矿石的体积,称为累计体积。另一种是对相邻装车点云进行配准,计算多余部分的体积,计算结果为单次装载体积。3 数据采集在 windows 系统下,SmartToF TC-E2 自带的SDK 配套 SmartToFViewer 可以直观显示测量效果