基于激光与视觉融合的煤量检测技术研究_彭丽.pdf

第42卷第03期2023年03月煤炭技术Coal TechnologyVol.42 No.03Mar.2023doi:10.13301/ki.ct.2023.03.0530引言随着智能矿山的发展建设，基于视觉图像的人工智能技术诸如智能视频监控、目标识别与检测等对图像识别的要求越来越高。目前煤矿井下输送带煤量的检测技术主要有电子皮带秤和基于单激光、单视觉的测距技术，在实际应用中，皮带秤经常会出现跑偏、跳动等现象，很难达到自身准确度的要求。而单激光、单视觉的测距技术对检测环境的要求较高，对移动目标检测的准确性较差。针对这些煤量检测方法所存在的问题，提出一种基于双目视觉和激光雷达融合的检测技术，研制一款矿用激光与视觉融合煤量检测装置，可以实现对煤堆表面点快速而准确的测量；提高煤量体积测量的准确度。1激光与双目视觉融合技术1.1融合架构激光测距原理基本可以归结为测量光往返目标基于激光与视觉融合的煤量检测技术研究*彭丽1，陈重2，郝博南1（1.煤炭科学技术研究院有限公司，北京100013；2.中国矿业大学，徐州221116）摘要：随着煤矿智能化的发展，矿井的精确检测和分析逐渐成为衡量煤矿高效安全生产的重要手段。在煤矿井下粉尘、水雾等不利环境因素影响下，常规煤量检测设备例如电子皮带秤、单激光单视觉测距仪器在检测过程中存在着识别精度不高、抗干扰能力差等问题。针对这些问题，提出了一种激光与双目视觉融合技术，研制了一款适用于煤矿井下的基于激光与视觉融合技术的输送带煤量检测装置，通过对摄像机和激光雷达同步检测的图像进行融合，利用PSMNet网络的多尺度融合特征并基于结构进行预测，获得更准确、更密集的深度信息，经现场实验验证该方法对井下煤量体积检测的准确率可以达到90%以上。该技术可以实现煤堆表面点的快速、准确测量并有效提升煤量测量的准确度。关键词：激光与视觉融合；PSMNet；图像识别；本安设计；煤流量中图分类号：TD63文献标志码：A文章编号：1008 8725（2023）03 259 05Research on Coal Quantity Detection Technology Based on Laser andVision FusionPENG Li1，CHEN Zhong2，HAO Bonan1(1.China Coal Research Institute，Beijing 100013,China；2.China University of Mining and Technology,Xuzhou221116,China)Abstract:With the development of intelligent coal mine,the accurate collection and analysis of coalmine has gradually become an important means to measure the efficient and safe production of coalmine.Under the influence of unfavorable environmental factors such as dust and water mist in the coalmine，conventional coal quantity detection devices,such as electronic belt scale and single laser singlevision distance measuring instrument,have problems such as low identification accuracy and poor anti-interference ability in the monitoring process.In view of these problems,proposes a fusion technologyof laser and binocular vision,and develops a belt coal quantity detection device based on the fusiontechnology of laser and vision,which is suitable for coal mines.By fusing the images synchronouslydetected by the camera and the lidar,using the multi-scale fusion feature of the PSMNet and predictingbased on the structure,more accurate and dense depth information can be obtained.The fieldexperiment proves that the accuracy rate of the device can reach more than 90%.This technology canrealize the rapid and accurate measurement of the surface points of coal piles and effectively improvethe accuracy of coal quantity measurement.Key words:laser and vision fusion technology；PSMNet；image recognition；intrinsically safe design；coal flow*煤炭科学技术研究院科技发展基金项目（2022CX-I-06）；天地科技股份有限公司科技创新创业资金专项（2022-2-TD-ZD001；2022-TD-ZD001）259第42卷第03期基于激光与视觉融合的煤量检测技术研究彭丽，等Vol.42 No.03所需要时间，然后通过光速和大气折射系数计算出距离，由于直接测量时间比较困难，通常是测定连续波的相位。双目视觉测量原理则完全基于图像处理技术，目标点在左右2幅视图中成像的横坐标之间存在的差异，通过寻找2个图像中的相同特征点得到匹配点，从而得到深度值。本文提出了融合激光雷达数据和双目视觉数据，并利用图形的互补特性来获取差分视觉的三维环境信息。激光与视觉融合检测技术利用激光雷达和点云获取图像的三维环境信息，并根据激光测量原理获取点云，包括三维坐标、激光反射强度和颜色信息.在图像融合方面，提取激光雷达和摄像机的图像，通过卷积网络融合双目视差图和激光雷达视差图。架构示意图如图1所示。图1视觉与激光融合架构示意图1.2融合算法该融合算法采用端到端的立体匹配网络：PSMNet对双目视差图和激光雷达视差图进行融合，该网络可以自动匹配特征点并将所有像素的视差输出，能够满足输送带煤量检测快速、准确的需求。本文提出了一个不需要任何后处理的端到端学习的神经网络框架，并且引入金字塔池模块SPP，将信息纳入图像特征图像融合整体架构，同时设计了一个basic堆叠的沙漏3D CNN以自顶向下/自底向上的方式重复处理成本量，进一步完善信息的利用率，该模型如图2所示。图2CNN模型示意图该模型包含1个空间金字塔池化模块用于全局特征的提取以及1个堆叠的沙漏结构用于匹配代价的融合。PSMNet通过空间金字塔池化结构结合上下文信息对输入的图像进行特征提取，利用空间金字塔池和空洞卷积放大感受野。在特征提取模块里为SPP设计了4个固定大小的平均池化块：6464、3232、1616、88，如图3所示。SPP通过在每个视差级别上将左特征图与其对应的右特征图进行连接以形成一个成本量，最终可得到4D成本量（高度宽度视差特征尺寸）。为了沿着视差维度和空间维度聚合特征信息，在融合模块中增加basic和堆叠的沙漏3D CNN架构，以规范成本量，其结构如图4所示。图3SPP特征提取模型图4融合模块其中，basic是简单地用残差块构成（含卷积层），然后通过双线性插值将成本量向上采样回HWD。最后，应用视差回归来计算大小为HW的视差图。为了了解更多上下文信息，本文使用了堆叠沙漏(编码器-解码器)体系结构，由重复的自顶向下/自底向上处理以及中间监督组成，在3D CNN中进行成本量正则化和视差回归。每个沙漏网络都会生成视差图。预测的视差值d=Dd=0d（-Cd）（1）式中d真实视差值；D最大视差距离；Cd视差d的预测成本；（-Cd）视差d的概率。每个视差d的概率是通过softmax运算从预测代价计算得出的。预测视差是由每个视差d的概率加权得到的。上述视差回归方法比基于分类的立体匹配方法具有更强的鲁棒性。消融研究中，basic用于评估SPP模块的性能，因为basic不会像中那样通过编码/解码过程来学习额外的上下文信息。而PSMNet的损失函数为L（d，d）=1NNn=1smoothL1（dn-dn）（2）其中，损失函数：smoothL1（x）=0.5x2if|x|1|x|-0.5，otherwise激光雷达成像图摄像机成像图融合模块融合图像特征提取模块激光雷达成像图摄像机成像图卷积神经网络权值共享卷积神经网络SPP模型卷积卷积预测上采样3D卷积神经网络匹配代价SPP模型权值共享权值共享回归64643232161688convUpsamplingconvconvconvConcatBasic堆叠沙漏3D卷积上采样回归3D卷积3D去卷积双线性回归双线性回归双线性回归步幅2260式中N标记的像素点的总数；d真实视差值；dn第n个像素点的真实视差值；dn第n个像素点预测的视差值。1.3煤量体积计算方法及软件流程图不规则形状煤堆的体积V=（h0-Dcos）ds（3）式中D检测装置到煤炭表面的距离；h0检测装置到水平面的垂直的距离；检测装置获取的角度信号；ds水平面网格划分的微面积单元。对体积的理想处理方法是把输送带面煤量分割成mn（其中m+，n+）个小的煤堆再求它们体积的和V=mk=1ni=1Vik=mk=1ni=1ziksik（4）式中Vik第k个扫描截面上的第i个小的截面体积；zik输送带长度方向的分割步长；sik第k个扫描截面上的第i个小的截面面积。计算软件采用C#汇编语言编写，CPU检测在同 步 脉 冲 上 升 沿 来 到 延 时500 s后 同 步 启 动14XSZ-A/D转换器，连续完成5次数据采集，将计算出的值转换成相应的14位数字量，然后由CPU读取锁存。汇编程序流程图如图5所示。图5汇编程序流程图2输送带煤量检测装置设计2.1硬件结构基于激光与视觉融合技术的输送带煤量检测装置（以下简称检测装置）按照矿用产品隔爆兼本质安全型标准进行设计，内置图像采集模块、相机、激光雷达、数据传输、电源转换等模块，检测装置的硬件结构如图6所示。图6检测装置的硬件结构示意图左、右目镜头采集到的图像通过双目图像采集模块，采用一种基于特征点检测的相机自动曝光算法，形成高质量的摄像机成像图，然后在CPU端与激光雷达（采用450 nm（蓝光）波长激光器）同步采集的图像和激光点云数据进行融合，融合结果通过网络传输模块输出立体点云数据、煤量体积数据。2.2隔爆兼本安保护电路的设计由于煤矿井下存在瓦斯、粉尘等爆炸性混合气体，对井下设备的安全性能有着较高的要求，井下设备根据煤矿标准主要分为本质安全型和隔爆型两种设备，为了将检测装置设计成隔爆兼本安型设备，需针对检测装置供电部分的电路板进行过流保护设计，装置的硬件原理图如图7所示。图7检测装置原理图根据井下设备的本安参数中的要求，通过电源转换模块，实现井下常用电源电压127 V转换为检测装置的工作电压12 V，同时工作电流1 A，能够达到煤矿本安设计的要求。装置模块通过2级隔离电容实现本安化，电容值选用2 200 F/25 V，该选用值为安全系数的1.5倍。隔离电容符合GB