ISSN1006－7167CN31－1707/TＲESEAＲCHANDEXPLOＲATIONINLABOＲATOＲY第42卷第2期Vol．42No．22023年2月Feb．2023DOI:10．19927/j．cnki．syyt．2023．02．021户外智能随从机器人系统设计邓开连，朱华章，燕帅(东华大学信息科学与技术学院，上海201620)摘要:设计了一款基于计算机视觉的随从机器人。与常规智能小车相比，该智能机器人实现了多个神经网络协同工作，能够跟随主人在户外移动，并且按照主人做出的指令执行相应的动作，具备人脸识别、基于行为识别的摔倒检测等功能。该智能机器人使用FaceNet进行面部特征提取;采用YOLOV4+DeepSort组合实现用户跟踪;基于BlazePose设计了手势命令;设计并训练了基于LSTM的行为识别网络。实验结果表明，在对人体行走、坐下、摔倒3类动作分类的准确率分别达到了93.6%、96.7%和97.8%，能够有效地检测摔倒姿势。系统在达到预测的准确性同时占用更少的运算资源，将模型部署在搭载了拥有512个CUDA核心的VoltaTMGPU的JetsonNX上，运行帧率达到了15帧/s以上，具有良好的实时性。关键词:户外跟随;智能机器人;系统设计中图分类号:TP391文献标志码:A文章编号:1006－7167(2023)02－0098－05DesignofIntelligentFollowerＲobotUsedOutdoorDENGKailian，ZHUHuazhang，YANShuai(CollegeofInformationScienceandTechnology，DonghuaUniversity，Shanghai201620，China)Abstract:Thispaperdesignsafollowerrobotbasedoncomputervision．Comparedwiththeconventionalintelligentcar，thisintelligentrobotrealizesthecooperativeworkofmultipleneuralnetworks．Itcanfollowtheownertomoveoutdoorandperformcorrespondingactionsaccordingtotheinstructionsdeliveredbytheowner．Itisequippedwiththefunctionsoffacerecognition，fallingdetectionbasedonbehaviorrecognition，etc．FaceNetisusedforfacialfeatureextraction;YOLOV4+DeepSortcombinationisusedtoachieveusertracking．GesturecommandsaredesignedbasedonBlazePose;andaLSTM-basedbehaviorrecognitionnetworkisdesignedandtrained．Theexperimentalresultsshowthatintheclassificationofhumanwalking，sittingandfalling，theaccuracyratesreached93.6%，96.7%and97.8%，respectively．Itcaneffectivelydetectfallingpostures．Thesystemcanachieveahighaccuracyofpredictionwhileoccupyinglesscomputingresources，theframerateofrunningonJetsonNXwithVoltaTMG...
