一种多功能控制的仿生机械手_甘国霖.pdf

电力与电子技术Power&Electronical Technology电子技术与软件工程Electronic Technology&Software Engineering103如今，各种各样的智能化设备都已经进入千家万户，人机交互成为当今的热门领域，人机交互即机器设备可以协同用户进行互动。仿生机械手是近些年迅速崛起的一个方向，仿生机械手完全模仿人手，拥有关节灵活度和活动的各种小关节。由于仿生机械手完全模拟人手制作，所以仿生机械手也可以代替人手去完成一定的任务，有些环境的应用是传统码垛机械臂无法代替的。目前市面上的仿生机械手仅仅支持单一控制的功能，例如：图像识别、物联网控制等等单一的功能，控制方法单一又容易受限。所以，本文提出了一款基于多种功能控制的仿生机械手，可以采用多种方法控制的仿生机械手。1 总体设计本文介绍了一个由体感手套、K210 图像识别、TGAM 脑电检测、Blinker 物联网构成的仿生机械手。体感手套用于采集用户手部的手势信号，利用手套上的光敏电阻来判断手指的闭合情况。K210 通过摄像头捕捉手部动作，利用预先训练好的手势模型来识别手势，并通过串口将识别到的数据发送到开发板。TGAM 脑电检测则提取用户的注意力数值，用于控制仿生机械手。Blinker 物联网采用身份码绑定用户的手机 APP，用户可以通过在 APP 上设置控制按键来远程控制仿生机械手。这些组件的整合使仿生机械手能够模仿人类手部动作并响应用户指令，探讨一款功能较多的仿生机械手。2 功能设计2.1 体感手套简介本文介绍了一种使用光敏传感器制作体感手套的方法，该手套可以通过采集手部弯曲张开动作来控制机械手。光敏传感器具有遇见光后电阻慢慢变小、变暗后电阻值慢慢增大的特点。当手掌合上时，会产生一定的黑暗空间，电阻值会通过手掌的慢慢闭合张开产生电阻值的跳变。主控板通过数字信号采集端口采集光敏电阻的数字信号，并将其转化成舵机角度值输出到仿生机械手。相比于使用弯曲传感器制作体感手套的方法，该方法成本更低。2.2 图像识别简介随着科技的发展，人机交互越来越重要，手势识别在智能设备中应用越来越广泛。手势识别可以分为计算机视觉、超声波识别和电磁信号识别三类。计算机视觉主要依赖摄像头捕捉用户的手部动作并生成图像，然后计算机将手势从图像中分割，通过识别分割的手势图像对各个手势行为定义分类。超声波手势识别利用超声波的多普勒效应和飞行时间可以表征手部运动情况从而实现手势识别。电磁信号手势识别技术利用原始射频信号与接收反射信号之间时间间隔、相位、频率差异及能量衰减等信息，推测目标物体的距离、速度、大小、形状信息。2.3 物联网简介一种多功能控制的仿生机械手甘国霖卢丽金*张德鑫卢乃钰陈展鹏（广西民族师范学院数理与电子信息工程学院 广西壮族自治区崇左市 532100）摘要：本文通过对仿生机械手进行了进一步的探讨，同时也设计一款基于图像识别、手势控制、脑电控制和远程APP操控于一身仿生机械手。仿生机械手是一种基于人类活动的仿生机器人技术，它借鉴人体手部运动方式，实现对物体的抓取。它的出现给人类生产和生活带来便利和效率提升，同时也帮助人类的科技发展跨入新的纪元。关键词：体感手套；TGAM；图像识别；IOT 物联网 2022 年广西大学生国家级大学生创新创业训练计划项目ESP32 仿生机械手臂（项目编号：202210604048）。项目名称：ESP32 仿生机械手臂。电力与电子技术Power&Electronical Technology电子技术与软件工程Electronic Technology&Software Engineering104物联网是一种通过网络接入传感器和各类设备，实现设备之间的互联和数据共享的技术。通过物联网接入，传统设备可以转变为智能设备，将数据上传到云平台进行展示、推演和计算。生产商可以通过解析数据制定更多方案，适配更多用户，使产品更智能、更贴合用户。物联网设备对人们的生活产生了广泛的影响。目前，阿里云、百度云、腾讯 IOT、OneNET、亚马逊 IOT 和谷歌 IOT 等主流物联网平台正在逐渐兴起。2.4 脑电采集简介脑电波是由神经元细胞之间产生的生物电信号，其采集方法可分为侵入式和非侵入式两种。侵入式采集方法需要进行颅内手术将电极植入大脑，而非侵入式采集方法则可使用干电极和湿电极。传统湿电极采集方法需要涂抹导电膏，但其稳定性和信噪比较高，逐渐成为临床和科研的首选。为了解决电极安装的麻烦，电极帽应运而生，但电极帽仍然需要涂抹导电膏，采集时间长，清洗麻烦，电极过多会导致安装不到位等问题，会影响信号精准度。为了提高电极帽的采集效果，需要摩擦头皮并破坏角质层，降低电极和皮肤的阻抗。干电极解决了涂抹导电膏的繁琐问题，使用舒适、便于携带，适合采集额前叶大脑区域的信号。电极的选择取决于时间长短、信号质量、用户群体、脑电采集系统和便携度等因素，但是干电极的采集信号精确度不如湿电极和电极帽。传统电极适合医疗，湿电极适合科研和实验分析，干电极适合脑机系统和意念控制。这些采集方法的发展，为脑电波信号采集带来了新的突破和机遇。2.5 通信模块简介NRF24L01 是一款成本低、功耗低、性能较强的2.4GHz 无线通信模块，易于集成设计，具有强的防干扰能力，最大支持 2M 的数据传输速率，支持双向收发和一对多点传输，全双工和半双工，16种不同信道传输，多节点网络连接和在线升级。同时支持安全协议，支持身份验证，可以实现设备之间的安全通信。3 功能设计思路3.1 体感手套设计思路如图 1 所示，本文的手套由 5 个光敏电阻组成，每个光敏电阻负责一个手指，实现手势的判断。在用户使用时开发板会对光敏电阻产生的电阻值变化进行监测，获取用户手势动作后产生的电阻值变化，并将这些变化的电阻值转化成一个数组存入开发板中。同时，开发板启动无线模块的发送端发送数据。接收端开发板收到发送端的通信请求后开始进行数据传输，数据从发送端送至接收端后，接收端开发板将接收到的数据进行解析得到发送端的数组，接收端开发板通过对数组取值并赋值给对应的机械手指。3.2 K210图像识别设计思路本文主要包括采集手部图片、分类、标注数据和训练文件分类。为了训练出精准的模型，需要大量的数据集和特征提取。通过分割、运算和归一化等操作，得到目标模型并进行验证和测试，最终根据识别率和精确度进行修改和调试。该系统旨在实时识别和处理手势，识别出手势后进行数据标注，并通过串口和开发板进行数据传输，开发板接收数据后进行数据处理，开发板收到数据处理后仿生机械手会做出相应的手势。训练模型分三个阶段：第一阶段采集网络上手势的图片并进行标注和分类。分类完成后将数据集分成两个部分，80%会作为数据集进行训练剩下的20%进行验证，验证训练后的模型损失度、精确度。第二阶段是训练完成后提高模型的识别的精确图 1：单个手指控制程序流程图电力与电子技术Power&Electronical Technology电子技术与软件工程Electronic Technology&Software Engineering105度和减少损失度。第三阶段根据不同场景进行识别，查看识别率并进行模型迭代和修正。如图 2 所示。3.3 物联网功能设计思路物联网功能是通过 ESP32 上的板载 Wi-Fi 接入Blinker 物联网平台，Blinker 支持多种设备和智能家居接入，Blinker 服务器可以在多种主流平台上运行。通过在手机上的 Blinker APP 进行组件创建及部署，在部署使用 Blinker 的 MQTT 服务器需要利用 Blinker APP中设备的指定的 URL 密钥请求获取到绑定指定的用户名和密码。在设备端中，需要将程序中的用户名和密码替换成与之前设置的用户名密码一致，然后将程序烧写入设备端中就可以使用手机上 Blinker APP 控制，实现普通仿生机械手的物联网功能。在手机端中，通过在APP 中进行组件的创立和组件名称修改，将组件上的名称与程序中组件名称绑定，通过程序烧写入到设备中，Blinker APP 就可以任意修改和使用创建的组件控制设备。如图 3 所示。3.4 TGAM脑电信号控制设计思路TGAM 是神念科技的一款脑电信号采集模块，TGAM 采用干电极方案进行采集信号，节省用户进行涂抹导电胶的麻烦降低用户的使用门槛。TGAM 是一个单通道的 EEG 脑电采集，它拥有 3 个触点：脑电采集点、参考点和地线点，TGAM 的采样率是 512Hz，频率范围在 3Hz-100Hz。可以输出原始脑电信号，处理和输出阿尔法波、贝塔波段信号、Sense 专注度和眨眼检测。TGAM 主要是依靠 ThinkGrear 技术实现脑电信号采集和分类，在 ThinkGrear 数据值中主要包含 Poor Signal Quality、Esense、Attention Esense、Meditation Esense、8Bit_Raw Wave Value、Raw Wave Value、EEG_Power 等 7 个重要数据。Poor Signal Quality（PSQ）是一个无符号的单字节整数，其取值范围为 0-200，用于反馈信号的强度。当PSQ 非零时，表示信号源存在噪声污染，且其数值越高代表噪声越大。此时，Attention Esense 值将被置零，直至PSQ数值为零时，Attention Esense才会重新获得数值。Esense 是计算不同类型脑电信号的仪表值，该值在1-100 之间，40-60 为中等水平，60-80 为略高水平，80-100 为较高水平，20-40 为降低，1-20 可能表现异常脑电活动。Esense 算法采用动态学习和慢适应算法，适应不同用户产生的不同脑电信号，并补偿平方差影响。Attention Esense 是一种无符号的单字节数值，用于衡量个体的注意力和专注水平。其取值范围为 0 至100，数值越高则代表个体的注意力水平越高，反之则代表其注意力水平较低。注意力涣散、分心、走神以及焦虑等因素可能导致 Attention Esense 值的降低。Meditation Esense 可以看成是一个冥想仪，冥想与大脑的活动程度和心理活动程度有关，冥想值衡量用户的心理水平，当用户分心、焦虑、刺激和各种感官活动图 2：K210 和开发板串口通信程序流程图图 3：Blinker 控制程序流程图电力与电子技术Power&Electronical Technology电子技术与软件工程Electronic Technology&Software Engineering106时会降低冥想仪的水平。默认情况下该值每秒都会进行输出。8Bit_Raw Wave Value 是一个输出 8 位的无符号RAW 波值，适用于一些需要在 9600 波特率下输出原始波形的串口设备。它的精度足够，并且适配各种波特率较低的设备。如果需要更高的精度，可以使用有符号的16 位 RAW 波输出。Raw Wave Value 是一个两字节有符号 16 位整数，范围在-32768 到 32767 之间，代表采集的单个原始波信号。构造完整的原始波信号时，需要将第一个值左移8 位，然后将第一个值和第二个值按位与。在 57600 波特率及以上的速率中，只需要输出 16 位 RAW 波值即可保证数据准确性。EEG_Power 是一个由 8 个四字节浮点数组成，这个数值代表了以下几种不同的种脑电频率（如表 1 所示）。如图 4 所示，在使用 TGAM 接收脑电信号时，需要对原始数据信息进行拆包解析。首先，需要读取TGAM 数据包的包头，该包头由两个 0 xAA 组成，这是TGAM 的同步字节，连续两个以防误读。然后需要读取有效负载字节长度。如果长度在 0 到 169 之间，则表示为大包数据，需要读取负载字节中的所有数据。如果长度大于 170，则直接丢弃数据。每读取 32 个字节后，需要进行校验字节的校验。有效负载校验分为三个步骤：首先，对所有有效负载字节求和；其次，对数