基于3D视觉的煤矿支护机器人钻孔定位技术_宋国栋.pdf

Journal of Intelligent Mine2023 年第 1 期632023 1杂志官网：Journal of Intelligent Mine2023 年第 1 期煤矿井下掘进巷道的支护大多是在掘进机截割一个断面后，再由工人打钻进行“锚、网、喷”作业，工人劳动强度大，且支护过程中存在顶板岩石冒落、砸伤等危险，以及粉尘、噪声、潮湿等环境带来的职业病危害。虽然掘锚一体机已在煤矿中应用，但现有锚杆机均为两轴作业，存在适应性较差、不灵活、不能自动寻孔、自动送装锚固剂、锚杆、锚盘，不能自动紧固螺帽等问题，在实际巷道掘进支护过程中，无法完全摆脱人员的参与和实现无人化作业。因此，以智能掘进机机器人为基础，开发自动支护机器人，自动完成挂网、自主寻孔钻进顶锚帮锚、彻底解放工人在掘进工作面的工作是掘进支护未来发展方向和迫切需求。巷道掘进和支护期间，存在粉尘浓度大、光照不足等不利因素，给钻机寻孔定位带来了诸多不便。笔者提出基于3D视觉的支护机器人钻机定位技术，通过计算机视觉、深度学习、迁移学习和路径规划等核心技术，通过3D智能相机能够快速构建立体视觉，利用双目立体匹配计算，可实时得到目标钻孔深度信息和三维模型。钻机定位对象及需求锚网支护是常见的支护方式，具有作业速度快、工艺繁琐等特点，施工过程中要求各个工序的作业精准、配合流畅，否则会影响整个支护的质量和效率，支护作业流程如图1所示。支护作业过程中，待完成钢带作业接顶后，钻机钻头需要穿过钢带孔进行钻孔作业，因此需要对钢带孔进行精准定位；但井下粉尘、油雾、污基于3D视觉的煤矿支护机器人钻孔定位技术 宋国栋 寇哲源 王刚 徐志明水、昏暗等恶劣作业环境对定位系统有严峻的考验，给准确定位增加了困难。常见的支护材料如图2所示。钢带常见孔径尺寸为40 m m60 m m/30 mm70 mm，视觉系统应能够适应井下粉尘、油雾、污水、昏暗等恶劣作业环境，需要在复杂背景、复杂光线、镜头污染、抖动、不同角度情况下识别精度达到1 mm内。由于钢带和锚网所处环境背景复杂、光线不足，对定位识别技术提出了更高的要求，而3D视觉技术是解决定位识别技术对煤矿环境及材料的适应性、可靠性的有效手段，能够实现对钢带孔的实时精准定位并配合支护机器人控制系统协调作业。图1 支护作业流程64Intelligent Demonstration Mines智能示范矿井专题报道：永磁及机器人产业创新孵化实践与煤矿机器人应用Special Report支护机器人整体构成将现有工业机器人技术引入煤矿井下，可加装在各种型号的掘进机上，在临时支护将锚网、钢带托举顶板到位后，利用掘进机悬臂两侧的机械臂自主寻找钢带预留的锚杆孔进行钻孔作业。同时安装在转台上的机器人完成取放钎子、送药卷、锚杆、锚盘、预紧锚杆螺母至初拉力等工作。支护机器人整体构成及3D视觉系统位置如图3所示，3D视觉相机安装架如图4所示。将掘进机和液压钻车相结合，在掘进机两侧各安装2条机械臂，双臂配合模拟人工支护动作。其中3D视觉系统位于掘锚一体机顶部的锚钻平台部分。此处视野范围较大，用于寻找W钢带的孔，获取工作环境的图像信息，以及完成装卸钎子、钻孔、装入锚固剂等支护作业；位于两侧的小臂机器人为六轴式工业机械臂，能够自由伸缩，自工具仓抓取锚杆、锚固剂等物料，递送至锚钻平台，配合锚钻平台完成支护工作。3D 视觉技术应用3D视觉技术是通过3D摄像头采集视野内空间每个点位的三维坐标信息，再通过算法复原，智能获取三维立体成像。3D视觉技术更接近人的感知模式，不会轻易受到外界环境、复杂光线的影响，技术更加稳定，能够获取环境中的深层信息，解决二维体验和安全性较差的问题。在3D视觉相机的选择上，目前市面上主要以TOF相机、3D结构光相机和双目3D相机为主。TOF相机利用红外发射器和接收器来收发光脉冲信号，并根据信号往返于红外发射器与目标表面的时间来计算目标与TOF相机之间的距离，可以用来测量较远距离的目标，范围可达到100 m，精度可达厘米级别；3D结构光相机则是将散斑、条纹、编码结构光等投射到目标表面，再由红外摄像头对其进行扫描，接收采集目标表面反射的结构光信息，并进行计算和分析，进一步转化为位置信息、深度信息等，相比于TOF相机，3D结构光相机测量距图3 支护机器人整体构成及3D视觉系统位置图4 3D视觉相机安装架图2 支护材料Journal of Intelligent Mine2023 年第 1 期652023 1杂志官网：Journal of Intelligent Mine2023 年第 1 期离较近，但测量精度和图像的分辨率更高，识别精度可达0.011.00 mm；双目3D相机利用三角视差法与视差理论工作，与前2种视觉相机相比，在低功耗的同时测量精度相对较高。双目3D相机虽然计算复杂，也会被光照变化所限制，但不会受到目标表面反光的影响，并且在室内、室外均可使用。支护机器人控制系统涉及到多个执行机构的协同作业，实现自动化操作的关键之一是“操作精度”的保障和实现。该系统涉及3个基本坐标系，即“大地坐标系”“小臂机器人基坐标系”“相机（锚杆钻机）坐标系”。视觉系统通过计算和处理相机拍摄的图像给出空间坐标系，然后根据底座与末端执行器之间的位置关系转换为锚杆钻机底座的基坐标系，最后再转换到小臂末端手爪工具坐标系，从而控制小臂完成相应的操作。2次坐标系精度的转换将直接影响最终的操作精度。控制系统坐标关系如图5所示。为提高支护机器人控制系统的定位精度，支护机器人液压系统采用比例阀、伺服阀组合控制。钻臂、小臂的位置精度将影响三大坐标系的综合精度，因此钻臂部分采用伺服阀与传感器形成的闭环控制，以满足高精度需求。钻机、平台、顶支撑部分等相对精度要求不高，采用比例阀控制，这样可以实现全过程的无级调速，同时增加启动平稳性；比例阀与传感器、编码器配合组成闭环控制，可以实现相对准确的位置控制，满足设计需要。3D 视觉试验及分析由于支护巷道粉尘浓度大、光照不足，3D视觉系统工作距离近、精度要求高，且钢带自身反光较强，因此设计采用双目3D相机作为检测单元。双目3D相机一般由左目和右目2个水平放置的相机组成，考虑一个空间点P，在左目和右目各成一像，记作 PL、PR。由于相机基线的存在，左右两目存在视差，因此成像位置不同，再根据三角形P-PL-PR和三角形P-OL-OR的相似关系，可以计算出像素点和双目相机之间的距离，获取目标点的位置数据。通过在山东翟镇煤矿井下工业现场试验，双目3D视觉系统试验效果如图6、图7所示。通过多次试验，分别对不同背景、光照度、相机污染、相机抖动和不同目标进行目标物识别，识别结果见表1表5。图5 控制系统坐标关系图6 钢带、锚网3D视觉点阵图7 钢带、锚网3D视觉点阵66Intelligent Demonstration Mines智能示范矿井专题报道：永磁及机器人产业创新孵化实践与煤矿机器人应用Special Report表1复杂背景下的目标物识别效果试验条件识别效果及精度目标物黑色背景黑色背景对物体识别未造成干扰；黑色背景下寻孔精度为2 mm目标物沾煤渣目标物沾煤渣对物体识别未造成干扰；目标物沾煤渣，寻孔精度为2 mm；孔位置边缘，沾渣大于1 cm可能会影响识别精度目标物有煤尘目标物有煤尘对物体识别未造成干扰;目标物有煤尘的情况下寻孔精度为2 mm目标物有水雾目标物有水雾对物体识别未造成干扰;目标物有水雾的情况下寻孔精度为2 mm目标物有水滴目标物有水滴对物体识别未造成干扰;目标物有水滴的情况下寻孔精度为2 mm目标物有油污目标物有油污对物体识别未造成干扰;目标物有油污的情况下寻孔精度为2 mm作者简介：第一作者：宋国栋，研究员，硕士，主要从事煤矿机器人及重大设备智能化研发工作。E-mail： 作者单位：应急管理部信息研究院结 语将双目3D视觉相机置于锚钻平台，利用双目分别成像进而获取钢带孔和锚网孔位置信息，定位精度可达到1 mm；对不同背景、光照度、相机污染、相机抖动和目标进行目标物识别，基于形状的模型结果能够满足支护机器人对钻机钻孔需要。识别过程操作简单、定位精度高，能够通过坐标变换与控制系统数据互通，进而指导锚钻平台和小臂机器人表2复杂光线下的目标物识别效果试验条件识别效果及精度黑色背景不均匀暗弱灯光黑色背景下，场景光线对识别未造成干扰;寻孔精度为2 mm黑色背景探照灯光黑色背景下，探照灯光对识别未造成干扰;寻孔精度为2 mm表3镜头污染下的目标物识别效果试验条件识别效果及精度相机镜头有煤尘识别精度及准确率降低，12次识别出错相机镜头有水雾识别精度及准确率降低，3次识别出错相机镜头有油污识别精度及准确率降低，10次识别出错表4抖动条件下的目标物识别效果试验条件识别效果及精度相机持续轻微抖动识别精度略有影响；最终寻孔精度为5 mm目标物持续轻微抖动目标物持续轻微抖动，识别精度基本不受影响目标物持续大幅抖动识别容易出现错误表5不同状态下的目标物识别效果试验条件识别效果及精度目标物与相机中视角90识别效果良好；识别精度为2 mm目标物与相机中视角80识别效果良好；识别精度为2 mm目标物与相机中视角70识别效果良好；识别精度为2 mm目标物与相机中视角60识别效果良好；识别精度为2 mm目标物与相机中视角50识别效果略受影响；识别精度降为5 mm目标物与相机中视角40识别效果受较大影响；识别容易出现误判（无法计算孔位置）目标物与相机中视角30识别效果受较大影响；识别容易出现误判（无法计算孔位置）目标物与相机中视角20识别效果受较大影响；识别容易出现误判（无法计算孔位置）目标物与相机距离最大距离1 200 mm；此距离下，识别精度为6 mm目标物与相机距离最小距离70 mm；此距离下，识别精度为2 mm目标物与相机距离中间距离90 mm；此距离下，识别精度为3 mm的支护作业，为支护机器人全自动自主作业提供了可能，是提升支护作业装备智能化的重要手段。责任编辑：李艾稣