基于5G的AI工业智能巡检系统的研究_张男男.pdf

本栏目责任编辑：王力本期推荐Computer Knowledge and Technology电脑知识与技术第18卷第36期(2022年12月)第18卷第36期(2022年12月)基于5G的AI工业智能巡检系统的研究张男男，刘哲，霍鑫鹏，崔紫尧，王静（河北工业大学，天津 300401）摘要：近年来，随着科技的发展，5G基站、配电站等站点的需求快速增加，由于人工巡检存在效率低、时效性不足、工作压力大、存在施工安全风险等问题，智慧工业巡检技术快速发展。应智慧工业需求而生的是“5G+AI”驱动的智能巡检系统，实现计算机视觉和智能驾驶的友好结合，完善创新安全审核和自动巡检的技术方案，实现了施工前、施工中、施工后的工业场景智慧巡检。主要对智能巡检系统进行整体设计，涉及机器人硬件、计算机视觉软件，重点完成人像及安全帽的检测与识别，采用目标检测算法SSD进行模型训练，审核检测作业人员安全帽的佩戴情况，经大量的数据验证，目标检测模型准确率高达87%，效果良好。关键词：安全帽；SSD；人像；目标检测中图分类号：TP181文献标识码：A文章编号：1009-3044(2022)36-0018-05开放科学（资源服务）标识码（OSID）：近年来，人工智能在各行各业迎来爆发式快速发展。智能工业行业有必要建立基于AI技术的面向业务的IT系统，以机器视觉能力提升安全管理和设备检测能力，以获取更高的制造效率1-2。为了保证施工现场的施工安全，在5G加速发展的大背景下，有必要采取智能化的技术方式，降低一些未佩戴安全帽所造成的安全隐患的存在3。安全帽佩戴属于目标检测的问题，Marr第一次提出了计算机视觉理论4，进而各研究人员都对该问题展开了相关的研究。由于安全问题愈发重要，安全帽的安全规范也受到重视，安全帽检测研究的主要问题便是目标检测算法。刘晓慧、Park、贾峻苏、李美才、何慧敏等人都对安全帽进行了研究，推动了它的发展进程。本文设计一款智能工业巡检系统，重点解决大型电气企业配电站巡检的主要问题，打造“5G+AI”的工业智能巡检机器人系统，对配电站等电力系统的具体工业化场景进行智慧管理，可以安全审核，自动化巡检，远程点检，并完成安全帽的识别与检测。本文完成机器人硬件系统的方案设计，完成计算机视觉技术软件系统的方案设计，完成对人像以及安全帽检测模块的具体实现，并对其进行具体的案例实现，应用到具体工程中。1 智能巡检系统整体方案设计1.1 整体方案设计5G的快速发展对智能巡检的需求快速增加，包括检测分割、视觉感知、图像处理、视觉应用的计算机技术快速发展,该课题要构建“5G+AI”的安全巡检系统架构。以5G技术为桥梁，融合AI的智慧驾驶和计算机领域等两大应用领域，按照创新与管理体系的成果目标，建立了“5G+AI”的工程智能巡检机器人体系，在大规模电气设备、机械设备、基站等具体的工业生产现场中，进行工程安全审核、自动巡查以及远程点检。图1 巡检系统整体原理框图本项目主要完成对配电站施工人员的安全审核，确保施工人员的安全问题。施工前通过采集图像，截取头部图片，通过深度学习SSD算法进行安全帽的特征提取，完成目标检测，会有无人像、人像未佩戴安全帽、人像佩戴安全帽等三种情况，并可以显示准确率。1.2巡检系统机器人硬件方案设计巡检机器人具有智能化功能，它可以利用自身的收稿日期：2022-09-30作者简介：张男男（1988），男，河北吴桥人，硕士，助理研究员，计算机图像处理、图像识别等；刘哲（1984），男，通信作者，河北安新人，硕士，讲师，计算机技术等；霍鑫鹏（1998），男，河北邯郸人，硕士在读，动力工程级工程热物理；崔紫尧（1996），女，河北唐山人，硕士，研究实习员，机器人、机器视觉等；王静（1998），女，河北邢台人，硕士在读，信息检测、图像处理。E-mail：http：/Tel：+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology电脑知识与技术Vol.18,No.36,December202218DOI:10.14004/ki.ckt.2022.2251本期推荐本栏目责任编辑：王力Computer Knowledge and Technology电脑知识与技术第18卷第36期(2022年12月)第18卷第36期(2022年12月)性能感知外界系统并且获取信息，环境感知系统传感器包括：机器人设备检测传感器、机器人定位导航传感器，为了提升机器人性能，目前也在研究双目景深摄像头、测温摄像头的应用，增强视觉SLAM和温度精准探测性能。巡检机器人平台一般由周围环境观察部门、信息处理和监控部门、通信部门等构成，具体如下：（1）热成像传感器、可见光图像传感器、激光雷达、姿态传感器、脉冲编码器等组成了环境感知系统，能够实现智能巡检和导航的功能。（2）运算单元和控制单元两部分组成了数据处理与控制部分，包括充电房通信模块、嵌入式数据处理板等重要器件。（3）巡检机器人的处理核心是一个运行ROS系统的工控主机。1.3 智能巡检系统软件方案设计嵌入式数据处理板应用软件、监控后台应用软件、巡查机器人安装的工控机应用软件，构成了巡查系统的主要应用软件。(1)嵌入式处理板应用软件可以获得感应器的信息,通过数据处理后通过技术发送至工控机或者将工控机的命令通过解析发送至底层控制板；(2)监控后台应用软件为操作者完成人机交互,对巡查机器人安装下发命令并获得信息；(3)巡检工业机器人软件系统用来完成智能化机器人的环境建模、定向、引导，或者最优路线规划等的核心算法,并智能巡检。本项目中计算机视觉检测技术主要体现在机器人巡检和施工人员安全审核上。安全审核，根据人脸识别技术判定作业人员是否身份合规，首先根据预先输入库中的施工人员图片进行身份鉴权判断是否允许施工，其次对施工人员安全帽和安全带的佩戴情况进行审核，对不满足要求的行为进行警示，同时对违规行为进行记录存档。图2 全域智能视觉检测总体架构图2 智能巡检系统人像及安全帽的目标识别与检测2.1 传统方法与深度学习的比较计算机视觉的传统方法利用特征提取，对图像进行处理来进行识别和检测，而深度学习（DL）需要进行模型训练，利用大量数据集训练好的模型去预测，从而达到识别的目的，具有更高的精确度，在图像颜色、分类分割等方面的效果都有了一定的提高。目标检测的传统方法：（1）获取目标候选区；（2）提取候选区特征；（3）对目标进行分类判别。对于一些比较简单的问题，传统方法便更具有优势，它能够以一个更少更简单的代码便可以解决问题。在视频稳像等简单问题的领域，传统方法有助于该方面问题的解决。但是面对一些变化的场景容易产生识别准确率不高，适应性差的问题。深度学习是端对端的学习，对大量的符合具体工业场景的数据进行标注，后定义框架数学模型，模型要满足目标识别的要求，例如安全帽、安全带，最后进行测试分析，因此训练过程中，可以轻而易举地确定使用哪一类特征来对物体进行分类和识别，具有通用性、遍历性、准确性和灵活性。本项目采用深度学习SSD算法利用级联神经网络来进行安全审核和设备运行情况的小物体检测。它克服了物体小、定位模糊、环境干扰等问题，取得不错的检测效果。在SSD算法中，小物体用尺寸大的特征图检测5，大物体相反，分工明确，充分利用各类特征图；先验框大小长宽比不同，每个框中的不同类别都会以百分数的形式存在，通过调整预测框，选择不同的尺寸结合分辨率等多种参数，进行预测，精度、灵活性、统一性方面效果良好6。2.2 深度学习SSD算法介绍SSD算法的网络流程图：训练阶段：图3 训练阶段SSD网络预测阶段：图4 预测阶段SSD网络图5 SSD模型19本栏目责任编辑：王力本期推荐Computer Knowledge and Technology电脑知识与技术第18卷第36期(2022年12月)第18卷第36期(2022年12月)SSD的全称是单镜头多盒检测器，是应用广泛的检测算法之一，如图3图5所示，卷积模块Conv9_2、Conv10_2 和 Conv11_2 分别表示为 Conv9、Conv10、Conv117。(1)采用多尺度特征图进行检测；（2）SSD检测特征为金字塔结构；(3)前一个框设置每个单元的先验框，每个先验框独立输出类别置信度和边界位置。在SSD算法中,CNN输出的最后一层就是SSD算法的默认框架的feature map,优点就是它能够得到多尺寸的默认框架,小的得到更高层卷积的特征消失,更适合于小数据,同时SSD生成的多尺寸默认框架中得到类似Ground Truth的候选框的可能性也比较大，它的稳定性也更高，但由于训练时有8732个候选框，速度慢、效果好。（2）算法流程图6 算法流程框图（3）具体细节a)default box默认框生成：图7框架原理如图7所示,(b)和(c)中间的虚线框,就是最后生成的default box,依次是38384、19196、10106、556、334、114,再经过运算得出了 5773、2166、600、150、36、4,共8732个box,然后进行检验,最后再把这些 box 输入 NMS 系统中,就能够得到最后的检验结果。b)default的生成规则：因为各个层次的感受也不一样,所以各个层次生成的default box大小也有所不同,但比例相同。由以上运算过程可得出,在feature map上各个点形成一组同心的default,box通过m个不同大小的feature map来作预测13,从而使得中心位置映射回原位置,最底层的feature map的scale值是Smin=0.2,第一等级的Smax=0.9,其他层使用下面的公式运算结果得到8：sk=smin+smax-sminm-1(k-1)（1）有6层，故m=6。采用几个ratio值，1,2,3,1/2,1/3，代入数学表达式中得到default box的宽度w和高度h：wak=skar（2）hak=skar（3）而对于ratio=1的情况，指定的scale如下所示，即总共有6种不同的default box：sk=sksk+1（4）default box计算：图8 default box的计算default box 的中心点坐标为：(i+0.5)|fk,(j+0.5)|fk|（5）fk为第k层的feature map 的大小。c)Loss 函数：SSD算法损失函数要计算default box与目标类别的confidence loss以及相应的位置回归9。L(x,c,l,g)=1N()Lconf(x,c)+Lloc(x,l,g)（6）N是match到Ground Truth的default box数量；alpha参数用于调整confidence loss和location loss之间的比例，默认1。位置回归则是采用 Smooth L1 loss，目标函数为10Lloc()x,l,g=i PosNm cx,cy,w,h xkijsmoothL1()lmi-g?mj（7）g?cxj=()gcxj-dcxi/dwig?cyj=()gcyj-dcyi/dhi（8）g?wj=log()gwjdwi（9）g?hj=log()ghjdhi（10）典型的softmax loss计算公式11-13：Lconf()x,c=-i PosN xPijlog()J?pi-i Neglog()c?0iwherec?pi=exp()cpipexp()cDi（11）20本期推荐本栏目责任编辑：王力Computer Knowledge and Technology电脑知识与技术第18卷第36期(2022年12月)第18卷第36期(2022年12月)图9 SSDLoss函数原理图L()x,c,l,g=1N()Lconf()x,c+Lloc()x,l,g（12）上式中，c表示置信度、l表示预测框、g表示真框，Lconf表示置信度损失，Lloc表示定位损失。d）训练样本比例：由于default box种类较多，达八千多个，为防