户外智能随从机器人系统设计_邓开连.pdf

ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023DOI:10 19927/j cnki syyt 2023 02 021户外智能随从机器人系统设计邓开连，朱华章，燕帅(东华大学 信息科学与技术学院，上海 201620)摘要:设计了一款基于计算机视觉的随从机器人。与常规智能小车相比，该智能机器人实现了多个神经网络协同工作，能够跟随主人在户外移动，并且按照主人做出的指令执行相应的动作，具备人脸识别、基于行为识别的摔倒检测等功能。该智能机器人使用 FaceNet 进行面部特征提取;采用 YOLOV4+DeepSort 组合实现用户跟踪;基于 BlazePose 设计了手势命令;设计并训练了基于 LSTM 的行为识别网络。实验结果表明，在对人体行走、坐下、摔倒 3 类动作分类的准确率分别达到了93.6%、96.7%和 97.8%，能够有效地检测摔倒姿势。系统在达到预测的准确性同时占用更少的运算资源，将模型部署在搭载了拥有 512 个 CUDA 核心的 VoltaTMGPU 的 JetsonNX 上，运行帧率达到了 15 帧/s 以上，具有良好的实时性。关键词:户外跟随;智能机器人;系统设计中图分类号:TP 391文献标志码:A文章编号:1006 7167(2023)02 0098 05Design of Intelligent Follower obot Used OutdoorDENG Kailian，ZHU Huazhang，YAN Shuai(College of Information Science and Technology，Donghua University，Shanghai 201620，China)Abstract:This paper designs a follower robot based on computer vision Compared with the conventional intelligent car，this intelligent robot realizes the cooperative work of multiple neural networks It can follow the owner to move outdoorand perform corresponding actions according to the instructions delivered by the owner It is equipped with the functionsof face recognition，falling detection based on behavior recognition，etc FaceNet is used for facial feature extraction;YOLOV4+DeepSort combination is used to achieve user tracking Gesture commands are designed based on BlazePose;and a LSTM-based behavior recognition networkis designed and trained The experimental results show that in theclassification of human walking，sitting and falling，the accuracy rates reached 93.6%，96.7%and 97.8%，respectively It can effectively detect falling postures The system can achieve a high accuracy of prediction whileoccupying less computing resources，the frame rate of running on JetsonNX with VoltaTMGPU which has 512 CUDA coreinside reaches more than 15 frames per second，which has good real-time performanceKey words:outdoor follow;intelligent robot;system design收稿日期:2022-07-11基金项目:2021 年 度 国 家 级 大 学 生 创 新 创 业 训 练 计 划 项 目(G180910418);2021 年中国纺织工业联合会高等教育教学改革研究项目(2021BKJGLX140);上海市高等教育学会 2021 年度规划研究项目(Z2-10)作者简介:邓开连(1984 )，男，安徽六安人，高级实验师，主要从事嵌入式系统设计与应用、人工智能、实验教学研究与管理等。Tel:13818519931;E-mail:dengkailian dhu edu cn通信作者:燕帅(1988 )，男，安徽阜阳人，实验师，主要从事现代电子技术与系统、电路与电子技术类实验、实验教学管理与创新等研究实践。Tel:13671618266;E-mail:Sammyan dhu edu cn0引言随从机器人控制系统，适合在各个服务于人的环境中工作。根据机器人工作的空间，可以分为固定机器人和移动机器人。固定机器人如生产车间流水线上生产零部件的自动化生产机械臂;移动机器人如苏黎世联邦理工学院研发的四足机器人 ANYmal 可以穿越复杂的山林环境1。文献 2 中的 OS 系统为各个模块提供了通信框架，便利了机器人开发。刘小军等3 第 2 期邓开连，等:户外智能随从机器人系统设计设计了基于 OS 开发平台实现人体骨架和物体的识别、同步定位与地图构建等功能的家庭服务机器人。陈智拓等4 设计了以 NI myIO 为核心处理器以LabVIEW 图形化系统，用于陪伴空巢老人，实现跟随、日常生活提醒、语音交互、音频播放、异常情况通信报警等基本的陪伴功能。唐文宇5 在路径规划中选取了全路径覆盖算法，配合激光雷达运用片分割策略动态分割区域，能够支持户外工作的机器人，路径规划十个重要的课题;李晶6 在四轮驱动四轮独立机器人转向 AGV 的研究上，采用分布式计算，模块化设计和代码可重复的 OS 操作系统开发了自动导航 AGV 的应用。在机器人的设计上，Kalburgi 等7 仿照蝗虫运动的生理特征设计了基于 OS 的四足行走机器人。在机器人的追踪功能上，Panda 等8 将通用目标跟踪器和对象检测模块与目标重新识别模块融合在一起，有效地解决了目标由于长时间的遮挡或目标的运动模糊而丢失;Xue 等9 提出了一种基于密集连接和注意力的 YOLO(DCA-YOLO)的第一人称视角下的多人跟踪算法。本文提出了一款多神经网络协调工作的机器人，用户能够通过视觉感知向机器人发送运动的控制命令，该机器人能够准确识别、追踪用户，可通过视觉实现跟随用户移动，时刻监视用户的运动状态，检测用户是否摔倒或遇到其他危险。1系统设计1.1随从机器人硬件结构图 1 所示为随从机器人系统框图，其主要有图像传感模块、Jetson Nx 神经网络计算模块、Arduino 运算控制模块、电动机及电动机驱动模块等组成。随从机器人的工作过程为 Web 摄像头收集到图像信息后通过 USB 接口传输到 Jetson Nx 用以进行图像处理，计算出用户位置后通过 USB 串口传输到下位机 Arduino，Arduino 控制舵机及轮毂电动机使得机器人和 Web 摄像头始终跟随和朝向用户。机器人的实物模型如图 2所示。图 1随从机器人系统整体框图Jetson Nx 为边缘计算设计的一款嵌入式开发板，具有优秀的计算能力和充足的内存，为搭载多个神经网络以及支持其相互间协调工作提供了保障，能够满足户外跟随的实时性要求。图 2随从机器人实物模型图 3 所示为 Arduino UNO 核心板实物图，其处理器核心是 MEGA328，存储器为 W25Q64，同时具有 14路数字输入/输出口(其中 6 路可作为 PWM 输出)，6路模拟输入，1 个 16 MHz 晶体振荡器，1 个 USB 口，1个电源插座，1 个 ICSP header 和 1 个复位按钮。为配合 Aruino 对电动机进行控制，采用了开拓者电动机控制板驱动板，其实物如图4 所示。提供6 路 PWM 控制输出用以控制伺服电动机，6 路传感器结构和 6 路总线接口，7 V 电源输入接口。图 3Arduino 最小系统实物图图 4开拓者电动机驱动板实物1.2Jetson Nx 算法流程设计Jetson Nx 工作流程如图5 所示，激活程序，摄像头接受图像信息。其将 Facenet 识别到的人脸特征与数据库中的人脸信息进行对比，找出相近的数据及其所属的姓名。得出姓名与程序中预设的人脸对比，直到识别的人脸特征与数据库中主人的人脸信息相近。当身份识别成功后，程序跳出人脸识别循环并进入预选模式，通过手势的命令来选取 3 种工作模式。工作模式 1手势控制机器人运动，不同的手势代表 不 同 的 命 令，摄 像 头 传 来 图 像 信 息，使 用BlazePose 处理获得关节节点，不同关节节点之间的位置关系表示不同手势。上位机识别到命令后将命令信息通过 USB 串口传输到下位机当中，下位机控制电动机控制直流电动机转动轮子达成相应命令。工作模式2自动跟随模式，通过跟踪器 DeepSort与检测器 YOLO V4 识别主人位置，通过超声波测距模块获得距离主人距离来判断当前机器人应停止还是前进。在距离主人近距离内不做位置移动，但保持控制舵机使摄像头对准主人;若主人远离，则驱动直流电动机进行跟踪。在此期间，持续调用融合 BlazePose-99第 42 卷LSTM 网络识别主人行为，在主人摔倒时发出警报。工作模式 3取消机器人自动能力，采用手柄操作机器人位移。每个模式在完成工作后，都要进行一次退出模式命令的判断。当前模式工作结束将会回到模式选择的大循环当中。此外，在工作模式选择的时候，可以选择让机器人睡眠待机。在主人尝试唤醒机器人后，机器人会重新回到任务起始点，并捕捉主人脸部信息进行验证解锁。图 5Jetson Nx 算法工作流程2神经网络模型原理2.1人脸解锁Kazemi 等10 提出了使用多个回归器级联成的级联分类结构，通过该级联分类器可以获得人脸的图像区域，将图像区域截取并输入 FaceNet 网络。面部编码采用了 Schroff 等11 设计的卷积神经网络的结构 FaceNet，每张含有人脸信息的图片经过编码输出 128 个向量，对比请求解锁人的面部特征向量和数据库中用户的特征向量，计算出两向量间的距离，其距离小于一定阈值的时候将其判定为用户本人，允许解锁。2.2用户追踪目标追踪算法中不仅要实现目标的检测，还要实现对目标的持续追踪。本文目标追踪算法是目标检测模型和目标追踪模型的结合，采用 YOLO V4 实现目标检测12，采 用 DeepSort 算 法 实 现 目 标 追 踪13。DeepSort 使用卡尔曼滤波算法和匈牙利算法实现多目标追踪，并加入了 eID 特征网络提取外观信息，使得目标在遮挡或者离开视野后再次出现能够被追踪。2.3姿态识别BlazePose 为嵌入式移动终端设计的轻量级神经网络架构14，使用了热图、回归共同预测关键点。BlazePose 的输出数据有 33 个关节点的空间坐标和置信度，在此基础上，通过对比相关的关节点的不同空间坐标位置关系可以判断当前用户下达的手势命令，进而执行相关的动作。选取 BlazePose 预测出的其中 1 个关节点坐标作为机器人跟踪坐标，并将其通过 US