基于全局视觉的车间AGV手势调度系统设计_李晓帆.pdf

第 卷 第期青 岛 大 学 学 报（工 程 技 术 版）年 月 （）文章编号：（）；：基于全局视觉的车间 手势调度系统设计李晓帆，刘泽平，陈世海，麻方达，姚明杰，符朝兴（青岛大学机电工程学院，山东 青岛 ；青岛宝佳智能装备股份有限公司，山东 青岛 ）摘要：针对传统的自动导引运输车（，）调度方式在半自动生产车间不能满足当前实际生产需求等问题，本文以 为目标检测算法，基于全局视觉构建环境电子地图与路径规划，建立一种基于全局视觉的实时 手势调度系统。该系统在全局视觉下通过实时检测工作人员的手势，将手势信息传达给系统信息处理模块，经过解释器处理后，根据不同的手势向 发送相应的命令。同时，为验证目标检测的准确率，在全局视觉环境下，基于 算法和 ，建立深度学习框架训练目标检测模型，并进行实验验证。实验结果表明，的识别准确率为 ，手势的识别准确率为 ，且二者检测的置信度均处于 之间，说明模型的检测速度符合实际要求。该系统节省了人力，提高了调度效率，功能和实时性均满足车间实际生产需求，具备良好的稳定性。该研究实现了车间 的智能化手势调度，具有一定的实际应用价值。关键词：调度；人体手势；目标检测；全局视觉；实时；路径规划中图分类号：文献标识码：收稿日期：；修回日期：作者简介：李晓帆（），男，硕士研究生，主要研究方向为人工智能。通信作者：符朝兴（），男，博士，副教授，主要研究方向为人工智能和机械运动。：随着我国智能工厂和数字化车间的建设与推进，多种多样定制化订单的需求不断增加，加大了车间物流任务，因此提高物流运输效率，降低非加工时间，可以大幅缩短产品的生产周期。是集成多种技术无人操纵的运输设备，它具有很高的自动化水平和运行效率，能很好的满足车间物流运输需求。近年来，随着中国劳动力成本的逐渐增加，越来越多的制造业将 作为车间主要搬运设备，的应用使车间的运营成本缩减，提高了运输效率，且能够在调度系统的指挥下，按照规定的行驶路径运输货物。与一些其他的非自动化搬运设备相比，的优点在于自动化程度高，场景适应性强，能连续安全的工作，对车间智能化物流搬运系统的建立起着关键作用。目前，在半自动化车间中，员工调度 的方式大多是基于传统的鼠标和键盘等计算机外设，而在实际场景中，员工则需要置身车间，因此传统的调度方式已不能满足实际需求。由于通过声音发出指令易受到车间噪音影响，而使用手势实现人机交互越来越受到人们的青睐。采用 捕捉包含颜色和深度的数据 ，通过这些数据导出工作人员的骨架模型，将 的驱动程序和应用程序接口（，）库相结合，延迟明显。将 相机铺设于车间，会使系统成本更高，而基于运动的检测实时性比较差，使用特定的手套等可能会影响操作 。因此，本文基于全局视觉的大场景大视角特点，设计了以员工做出特定手势，实现调度的智能化调度系统。通过建立车间电子地图，实现 的路径规划，设计 手势调度实验，并对调度过程中出现的问题设计实验进行解决。手势调度最大限度的提高了用户的沉浸感，不需要佩戴任何设备，操作简单，价格比数据手套等硬件更低，并且保证了准确率和实时性。该研究满足当前实际生产需求，具有一定的创新性。第期李晓帆，等：基于全局视觉的车间 手势调度系统设计 研究方法目标检测 每秒处理的帧数以及在 数据集上的检测精度优势明显，且在对目标小物体检测中表现良好。考虑目标检测的实际需求，本文选择 种网络结构中 为目标检测算法。算法网络结构如图所示。图中，分为输入端、基准网络 、网络与 输出端个模块 。输入端对输入的图片进行大小调整、拼接缩放等处理；基准网络 的 通过对图片进行降采样，减小高度和宽度，增加通道数，提高运行速度，减少特征损失；网络提升了特征融合能力；结构完成了目标最终检测及结果输出。图 算法网络结构图栅格地图电子地图建立与路径规划基于全局视觉构建环境电子地图，摄像机接收到的数据为一帧帧由像素构成的图像，可以近似的将像素认为成一个个栅格，或者多个像 素认 为成 一 个栅格，表达形 象，易 于 理解，且当栅格大小设置合理时，构图和路径规划的效率满足要求，故本 文 运 行 环 境 电 子 地 图 构 建 方 法 选 取 栅 格法。将运行环境视为一个二维平面，并将其均分成若干个矩形栅格，栅格地图如图所示。每个栅格有种状态，一种是自由状态，图中用白色表示，代表 可以自由通行；另一种是受限状态，图中用黑色表示，代表此处有障碍物，无法通行。栅格法对地图描述的准确度由栅格大小决定，栅格越小，准确度越高，但会导致后续路径规划速度变慢；栅格越大，准确度越低，但有利于路径规划。栅格法地图的构建不受障碍物形状约束，可以清楚的表达出环境信息，易于构建和维护。本文在全局视觉下为 规划路径，已知环境信息，且车间 运行环境一般保持不变，因此本文研究内容属于已知环境下静态路径规划。基于全局视觉下的栅格地图为 静态规划路径，要求具有完青 岛 大 学 学 报（工 程 技 术 版）第 卷备性和最优性。目前，算法广泛应用于室内机器人路径搜索等领域，它是对 算法的改进，包含一个启发函数，使算法在节点搜索时减少搜索数量，不必对全部节点进行搜索，因此 算法在搜索效率方面具有较大提升。本文选择 算法为 规划路径 。算法流程图如图所示。图算法流程图图中采用个状态表 和 ，表示待考察节点，经过评价条件，筛选出有可能进入 的节点，而 里的节点有可能是最终路径上的节点。（）（）是节点进入 的评价条件，（）是电子地图中从起点到状态（待考察节点）的实际代价，（）是从状态到终点最佳路径的估计代价。基于算法进行路径规划，在每个栅格节点有个方向的路径可以选择移动，初始路径规划结果如图所示。图中黄色栅格为起点，绿色栅格为终点，红色栅格为规划路径。考虑 的宽度可能与右侧障碍物发生碰撞，算法改为上下左右邻域搜索，改进后的路径规划结果如图所示。第期李晓帆，等：基于全局视觉的车间 手势调度系统设计图初始路径规划结果图改进后的路径规划结果 手势调度系统的建立手势调度系统结构本文采用静态手势识别每帧所表达的内容，所选手势应便于工作人员设计，且易于识别。本文设计了“”，“”，“”共种手势，保持握拳状态伸出食指是“”手势，伸出食指和中指是“”手势，伸出拇指和小拇指是“”手势。在解释器中，手势“”代表 呼叫命令，即员工位置需要用车，手势“”代表停车命令，手势“”代表使用完毕，需要在停放处停车。本文设计的调度系统分为个线程，线程一的功能为循环读取视频，并逐帧进行目标检测，当视频中出现“”，“”，“”任意一种手势时，将目标检测得到的与手势的定位与识别信息发送给线程二；线程二负责接收线程一的消息，针对不同手势为 规划路径，并将指令发送给。手势调度系统流程图如图所示。在初始状态下，在预先划定的停车位置，当员工位置需要用运输货物时，员工可对着摄像机做出手势，调度系统执行功能后发送指令给，接受到信号执行运输任务。图 手势调度系统流程图关键问题解决员工位置误差校正目标定位与误差校正如图所示。经目标检测后，系统定位出 和员工的手部位置，并以矩形框的形式标出目标位置。为了更精确的定位目标，将矩形框对角线的交点和作为 和手部的准确测量位置。另外，定义员工脚部位置中心点为本文需要的员工实际位置，在 手势调度过程中，需要到达的目标点即为员工实际位置。由图可以看出，受摄像机安装位置和投影关系的影响，系统实际输出的员工手部位置点与实际需求的员工实际位置点存在较大误差，需要对此误差进行校正。本文选取员工（身高为省内男子平均身高 ）青 岛 大 学 学 报（工 程 技 术 版）第 卷在同一直线上，测量像素坐标从（，）到（，）的个位置，同一直线选取坐标如图所示。图目标定位与误差校正图同一直线选取坐标对实际像素坐标与测量像素坐标的误差进行统计，测量坐标与实际坐标误差统计结果如表所示。由表可以看出，轴方向的误差变化很小，平均误差为 像素。表测量坐标与实际坐标误差统计结果序号测量像素坐标实际像素坐标轴方向误差轴方向误差序号测量像素坐标实际像素坐标轴方向误差轴方向误差（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）图轴方向误差拟合结果轴方向的测量结果为横坐标，将横坐标与轴方向的误差进行拟合，轴方向误差拟合结果如图所示。轴方向的误差为 （）从而可得员工实际像素坐标为 （）式中，（，）为员工实际像素坐标；（，）为测量像素坐标。手势误识别与重识别）手势误识别。对 进行调度时会发生手势误识别的情况，手势误识别如图 所示。右手做出手势调度，左手随意放置，但随意放置的左手会被误识别成手势“”，或者员工在车间走动正常摆动手臂时，也会导致误识别，因此会影响目标定位，扰乱调度系统的正常调度。本文基于 算法对置信度阈值进行处理，解决上述问题。在 目标检测算法中，对目标检测出标记框的同时，会给出一个置信度，即有多大概率认为当前对目标的识别是准确的。本文对 张实验人员左手插兜，右手做出手势的图像进行目标检测，并对手势识别的置信度所处范围进行统计分析，得到饼状图，手势检测置信度统计图如图 所示。第期李晓帆，等：基于全局视觉的车间 手势调度系统设计图 手势误识别图 手势检测置信度统计图由图 可以看出，大多数手势检测的置信度范围在 内，而处于 内的置信度则较少，只有。表手势误识别的置信度统计序号置信度序号置信度 另外，本文对 张员工在车间内随意走动的图像进行目 标 检 测，只 有 张 图 像 识 别 出 手 势，误 识 别 率 为 ，手势误识别的置信度统计如表所示。由表可以看出，次手势误识别的置信度的最大值为 ，平均值为 。综上所述，为降低手势误识别对调度的影响，设置置信度阈值为 ，即只有当置信度大于 时，手势调度系统才认为此目标为目标手势，并进行调度操作。）手势重识别。在员工做出“”，“”，“”中某种手势时，一般会保持几秒钟，而调度系统是在不断循环读取视频，因此导致员工只做次手势，却被识别到多次的结果，从而给发送多次相同的指令，增加系统负担，造成手势重识别。基于以上问题，本文对每一帧的目标检测完成后，保存该帧的手势名称和此手势的目标检测框信息，第一帧的目标检测信息正常发送到，此后每一帧的信息在发送前与上一帧的信息比较，如果此帧的手势名称和上一帧的手势名称相同，并且此次手势的目标检测框与上次手势目标检测框的交并比大于，则此帧信息不发送到，否则将信息发送到。实验结果与分析实验环境搭建本文基于全局视觉环境下进行系统设计，经摄像机拍摄并进行视频拼接后，得到车间环境图像，图像像素为 ，车间环境图像如图 所示。而在图像上的像素为 ，当设置栅格大小为 时，可保证 自由运行，运行环境电子地图如图 所示。图中，黑色区域代表此处是障碍物，无法通行，白色区域代表无障碍，可以通行。图 车间环境图像图 运行环境电子地图青 岛 大 学 学 报（工 程 技 术 版）第 卷基于本文系统处理速度，在不同的硬件和软件环境下，效果有所不同，本文仿真所用系统为 ，图形处理器（，）为 ，随机存取存储器（，）为 ，运行程序的环境为 。目标检测准确率和速度测试本实验拍摄 张各种手势调度的 图像，经过数据增强，扩充到 张图像。将制作好的数据集分为训练集和验证集，测试基于 算法和 深度学习框架训练目标检测模型，其中训练集的比例占，验证集占。为检测目标的准确率，从模拟车间场景全景视频中分次分别随机截取 张图像，对模型检测准确率做组测试，对和手势进行识别定位。经过组测试，的准确率均在 以上，手势识别的准确率在 以上，组测试目标检测准确率结果如表所示。表组目标检测准确率测试结果检测目标组正确帧错误帧准确率组正确帧错误帧准确率组正确帧错误帧准确率 手势 选取时长 ，共计 帧的视频进行模型速度测试，测得模型检测速度为 帧。对组测试准确率取平均值，得的识别准确率为 ，手势识别准确率为 ，且二者检测的置信度均处于 之间，速度为 帧，对于车间帧率为 的相机，模型的检测速度符合实际要求。调度系统可行性验证对上述手势调度流程进行实验验证，初始时员工与状态如图 所示，员工做出手势“”时，表示此处需用，位机捕捉到员工手势“”，并定位员工位置和位置。由于员工定位存