基于惯性传感器的轻量化卷积神经网络跌倒检测算法_刘鹏达.pdf

第 36 卷 第 2 期2023 年 2 月传 感 技 术 学 报CHINESE JOUNAL OF SENSOS AND ACTUATOSVol.36No.2Feb 2023项目来源:浙江省基础公益研究计划项目(LGF21F020017)收稿日期:20220412修改日期:20220514A Lightweight Convolutional Neural Network Fall DetectionAlgorithm Using Inertial Sensors*LIU Pengda1，PAN Julong1*，ZUO Zhengwei2，ZHU Hailiang1，LI Yanli1(1College of Information Engineering，China Jiliang University，Hangzhou Zhejiang 310018，China;2Modern Education Technology Center，China Jiliang University，Hangzhou Zhejiang 310018，China)Abstract:Deploying a tiny machine learning(TinyML)model in a wearable fall detection terminal has problems such as weak computingpower，limited memory，and incomplete manual feature selection through traditional machine learning algorithms A lightweight convolu-tional neural network fall detection algorithm using inertial sensers is proposed，and a high-precision wearable fall detection system isdesigned and implemented The algorithm automatically extracts more complete data features from the fall data and uses the depthwiseseparable convolution to decompose the standard convolution into depthwise convolution and pointwise convolution With only 02%ofthe fall detection accuracy lost，the amount of layer parameters is reduced by 7532%，making it more suitable for being deployed in re-source-constrained embedded terminals The experimental results show that the algorithm achieves the average accuracy，sensitivity andspecificity of 9929%，9800%and 10000%，respectively，in the actual fall test environment Compared with other algorithms，this algo-rithm not only reduces the model size and calculation amount，but also ensures the detection accuracy of fall detection The successfuldevelopment of this system provides a new way for the fall detection and alarm of the elderlyKey words:fall detection;convolutional neural network;TinyML;inertial sensors;deep learningEEACC:7230doi:103969/jissn10041699202302013基于惯性传感器的轻量化卷积神经网络跌倒检测算法*刘鹏达1，潘巨龙1*，左正魏2，朱海亮1，李艳丽1(1中国计量大学信息工程学院，浙江 杭州 310018;2中国计量大学现代教育技术中心，浙江 杭州 310018)摘要:在可穿戴式跌倒检测终端中部署微型机器学习模型，存在计算力弱、内存受限和传统机器学习算法手动选取特征不完善等问题，提出一种基于惯性传感器的轻量化卷积神经网络跌倒检测算法，设计并实现了高精度可穿戴式跌倒检测系统。该算法自动从跌倒数据中提取更完善的数据特征和采用深度方向可分离卷积，将标准卷积分解成深度方向卷积和点方向卷积，在只失去 02%跌倒检测精度下，卷积层参数量减少 7532%，使之更适于资源受限的嵌入式终端中部署。实验结果表明该算法在实际跌倒测试环境中，平均准确率、敏感度和特异性分别达到了 9929%、9800%和 10000%。该算法相比其他算法既减少了模型大小和计算量，又保证了跌倒检测精度，该系统的成功研发为老年人跌倒检测与报警提供了新的途径。关键词:跌倒检测;卷积神经网络;微型机器学习;惯性传感器;深度学习中图分类号:TP181文献标识码:A文章编号:10041699(2023)02025908随着世界人口老龄化的问题日趋严重，国际社会对人口老龄化问题愈加关注。跌倒对于老年人而言是非常危险的，由此产生的并发症不仅会造成家庭经济损失也会影响老年人寿命。为了使老年人发生跌倒时能得到及时救助，对于跌倒检测的研究迫在眉睫。跌倒检测研究中有三种常见方法，分别为视频分析法、环境感知法和可穿戴式检测法。视频分析法是在室内安装摄像头将信息实时上传至服务器，通过模式识别技术来判断跌倒情况。该方法虽然准确率高，但是存在侵犯隐私和部署范围受限等问题。Zerrouki 等1 使用摄像头和模式识别技术对跌倒进传感技术学报chinatransducersseueducn第 36 卷行检测，达到了 9702%的整体准确率。环境感知法是利用压力传感器、红外传感器等部署在周边的传感器采集数据，通过算法判断跌倒状况，但是该方法部署范围有限制，很难做到在室外大规模部署。可穿戴式检测法是利用惯性传感器收集的数据通过算法检测，该方法具有保护隐私、检测范围不限于室内等优点，因此在跌倒检测领域应用更加广 泛。Nweke 等2 提到区分相似活动需要融合惯性传感器以提高识别疑似跌倒动作的精度以及减少误报率。随着微电子技术的发展，加速度计、陀螺仪和磁力计等惯性传感器具有成本低廉和个体小巧等优点，因而广泛应用于可穿戴跌倒检测设备中。在可穿戴跌倒检测法中，算法一般分成三大类:阈值法3、机器学习法4 和深度学习法5。阈值法通常是部署在资源和功率受限的终端中，通过阈值计算来判断跌倒是否发生。该跌倒检测方法准确率低，受个体影响大，泛化性差。机器学习法和深度学习法是将惯性传感器的数据通过 WiFi、ZigBee、蓝牙等技术上传至上位机或服务器，在服务器中运行算法并判断结果。Saleh 等6 提出一种高精度的机器学习算法，使用滑动时间窗口提取特征，然后通过支持向量机算法在上位机中对特征进行分类。这种上传传感器数据的方式中存在网络延迟和隐私泄露等问题7。但是随着 TinyML8(Tiny Machine Learning，微型机器学习)的出现，为深度学习这类高精度算法部署在终端提供了可能。TinyML 指的是在 mW 功率范围以下的终端设备上实现机器学习的方法、工具与技术。本文主要运用 TinyML 技术，针对嵌入式终端设备内存受限、计算力有限，以及人工提取特征可能忽略跌倒数据内在的重要特征等问题，提出一种基于惯性传感器的轻量化卷积神经网络算法，最终部署在嵌入式跌倒检测终端中。本文的跌倒检测算法可分为两步:第一步为疑似跌倒检测，将加速度传感器的数据运用阈值法，过滤一部分重复性非跌倒动作。第二步将疑似跌倒的数据通过轻量化卷积模型进一步确认跌倒。经过实验证明，这种轻量化卷积模型能够很好地降低模型参数量，并且在内存受限的嵌入式终端中依旧满足跌倒检测的准确性、误报率和实时性要求。1跌倒检测系统硬件设计跌倒检测系统中的开发板 Arduino Nano 33 BLE包含处理器 nF52840、1MB 的 Flash 缓存空间和LSM9DS1 惯性传感器模块。跌倒检测系统中还包括电源模块、报警模块和 NB-IoT 模块移远 BC20(内含 GPS)，跌倒检测终端硬件示意图如图 1 所示。图 1跌倒检测终端硬件示意图LSM9DS1 惯性传感器模块包含加速度计、磁力计和陀螺仪，具有先进先出(FIFO)缓冲器。凭借FIFO 缓冲器，LSM9DS1 传感器模块能够在不涉及微控制器的情况下收集和存储数据样本，同时捕捉一系列跌倒的关键数据。本文选择使用加速度计和陀螺仪，加速度计量程选择16 gn，陀螺仪量程选择2 000/s。上述的量程选择能确保将所有的日常生活动作(Activities of Daily Living，ADLs)9 和跌倒事件都能准确记录下来。此外人类活动频率通常在20 Hz 左右，但是高采样频率可以采集到更多的运动信息10。所以本文跌倒检测终端以 200 Hz 频率采集加速度计和陀螺仪的数据，以确保跌倒检测数据的完整性。本文跌倒检测终端佩戴在试验者的腰部，研究表明腰部位置是穿戴式跌倒检测中的最佳位置4。因为腰部与身体的运行是一致的，所以由跌倒检测终端采集的加速度计和陀螺仪的数据能准确描述日常生活活动(ADLs)和跌倒事件的运动学的特征。本文中自主研发的跌倒检测终端尺寸为 50 mm75 mm26 mm，锂电池容量为大小为 1 000 mA，图2中展示了跌倒检测终端内部硬件图，包括微控制器、NB-IoT 模块、喇叭和天线等。图 2跌倒检测终端内部硬件图2跌倒检测算法本文结合阈值法与轻量化卷积神经网络(light-062第 2 期刘鹏达，潘巨龙等:基于惯性传感器的轻量化卷积神经网络跌倒检测算法weight Convolution Neural Network，lw-CNN)的优点，提出了一种融合上述二种方法的新跌倒检测算法11，首先采用阈值法避免因 lw-CNN 过多处理数据而降低模型实时性，其次在可运行深度学习模型实现智能推断的 Arduino Nano 33 BLE 中部署 lw-CNN，实现在自主研发的跌倒检测终端中完成全部的跌倒检测过程。图 3 是阈值法和 lw-CNN 融合的跌倒检测算法程序流程图。图 3一种新的跌倒检测算法程序流程图图 4后向跌倒和慢走的 SMV 数据21疑似跌倒检测阶段本文对 SisFall12 跌倒公开数据集中的数据进行统计和分析，结果表明所有跌倒事件的信号幅度向量(Signal Margin Vector，SMV，合加速度)峰值皆大于170 gn。因此阈值选择 168 gn作为疑似跌倒检测标准，并且实际测试结果表明该阈值选取也是合适的。假设 Ax、Ay和 Az分别表示加速度传感器在 x、y 和 z轴的值，则在任一时刻 SMV 式(1)表示为:SMV=A2x+A2y+A2z(1)图4 中展示了后向跌倒动作和日常活动中慢走动作合加速 SMV 对比。其中图 4 左上角 Fall 对应的点线是跌倒动作曲线，ADL 对应的实线是日常活动动作曲线，纵轴表示 SMV 值，其中 gn为 98 m/s2，横轴表示时间，采样频率为200 Hz，共600 的采样点，时间尺度为3 s，由图4 可知跌倒动作中有突变的 SMV 值。22轻量化卷积模型跌倒