基于双摄像头的心率测量系统的设计与改进_徐杰.pdf

收稿日期:2 0 2 2-0 8-1 2.*通信作者:胡丹峰E-m a i l:h d f 7 8 s u d a.e d u.c n光电技术及应用D O I:1 0.1 6 8 1 8/j.i s s n 1 0 0 1-5 8 6 8.2 0 2 2 0 8 1 2 0 1基于双摄像头的心率测量系统的设计与改进徐 杰,胡丹峰*,张 林,王加俊(苏州大学 电子信息学院,江苏 苏州2 1 5 0 0 6)摘 要:针 对 在 外 部 干 扰 或 昏 暗 环 境 下 利 用 图 像 光 电 容 积 描 记(i m a g eP h o t o p l e t h y s m o g r a p h y,i P P G)技术进行心率测量时准确度较差,提出了一种自适应心率提取算法,并在嵌入式硬件平台上进行了验证。算法根据图像中人脸与背景区域的色度关系来识别不同的场景并启动合适的摄像头进行图像采集及自适应映射,接着对提取出的信号进行滤波,在信号质量评估后输出结果。上述方法在Z y n q平台上进行了验证,使用双摄像头实现实时心率测量,并对结果进行可视化输出。实验结果表明:优化后的算法在光照及运动的双重干扰下的测量误差从3.3 6B PM降至2.7 8B PM,准确率提升了1 7.3%。另外,所设计的系统能够实现在极端黑暗条件下的心率采集,平均误差约为2.3 9B PM。关键词:图像光电容积描记法;心率测量;Z y n q;抗干扰;信号处理中图分类号:T P 3 9 1.4 1 文章编号:1 0 0 1-5 8 6 8(2 0 2 3)0 1-0 1 1 5-0 7D e s i g na n dI m p r o v e m e n t o fH e a r tR a t eM e a s u r i n gS y s t e mB a s e do nD u a lC a m e r aXUJ i e,HUD a n f e n g,Z HANGL i n,WANGJ i a j u n(S c h o o l o fE l e c t r o n i ca n dI n f o r m a t i o nE n g i n e e r i n g,S o o c h o wU n i v e r s i t y,S u z h o u2 1 5 0 0 6,C H N)A b s t r a c t:I no r d e r t os o l v e t h ep r o b l e mt h a t t h e a c c u r a c yo f h e a r t r a t em e a s u r e m e n t i sp o o ru n d e re x t e r n a li n t e r f e r e n c eo rd i m e n v i r o n m e n tb yi m a g eP h o t o p l e t h y s m o g r a p h y(i P P G),a na d a p t i v eh e a r t r a t e e x t r a c t i o na l g o r i t h mw a sp r e s e n t e da n dw a sv e r i f i e do na ne m b e d d e dh a r d w a r ep l a t f o r m.D i f f e r e n ts c e n e sc o u l db ei d e n t i f i e db yt h i sa l g o r i t h m a c c o r d i n gt ot h ec h r o m a t i c i t yr e l a t i o n s h i pb e t w e e nf a c e sa n dt h eb a c k g r o u n da r e a s i nt h e i m a g e.S u b s e q u e n t l y,t h ea p p r o p r i a t ec a m e r aw a sl a u n c h e df o ri m a g ea c q u i s i t i o na n da d a p t i v em a p p i n g.F i n a l l y,t h ee x t r a c t e ds i g n a lw a s f i l t e r e da n dt h er e s u l tw a so u t p u ta f t e rt h es i g n a lq u a l i t ye v a l u a t i o n.T h ea l g o r i t h m w a si m p l e m e n t e d o n t h e e m b e d d e d Z y n q s y s t e m w i t h d u a l c a m e r a s f o r r e a l-t i m e h e a t r a t em e a s u r e m e n t,a n dt h er e s u l t sw e r ev i s u a l i z e d.E x p e r i m e n t a l r e s u l t ss h o wt h a t t h em e a s u r e m e n te r r o rd e c r e a s e s f r o m3.3 6B PMt o2.7 8B PMu n d e r t h e i n t e r f e r e n c eo f l i g h ta n dm o t i o n,a n dt h ea c c u r a c y i si m p r o v e db y1 7.3%.I na d d i t i o n,t h ed e s i g n e ds y s t e mc a na l s oa c h i e v eh e a r tr a t ea c q u i s i t i o nu n d e re x t r e m ed a r kc o n d i t i o n s,w i t ha na v e r a g ee r r o ro f a b o u t 2.3 9B PM.K e yw o r d s:i m a g eP h o t o p l e t h y s m o g r a p h y(i P P G);h e a r tr a t em e a s u r e m e n t;Z y n q;a n t i-i n t e r f e r e n c e;s i g n a l p r o c e s s i n g0 引言心率是衡量健康状况的一个重要指标,它的变化与心肺功能及心脏疾病密切相关1。传统的测量方法如心电图等通常都需要进行皮肤接触,在长期测量下,这些方法会使受试者感到不适,而且受试者的无意识运动可能对心率的测量结果有明显的影响。基于 面 部 视 频 的 图 像 光 电 容 积 描 记(i m a g eP h o t o p l e t h y s m o g r a p h y,i P P G)技术可以在没有任511 半导体光电2 0 2 3年2月第4 4卷第1期徐 杰 等:基于双摄像头的心率测量系统的设计与改进 何接触的情况下测量心率,提供了一种更舒适便捷的心率测量方法2-3。i P P G心率提取技术源于面部变化的微弱信号,在心跳时心脏会向全身进行泵血,此时面部血容量的变化会导致皮肤颜色的周期性变化。通过摄像头记录面部区域的视频,就可以获取包含潜在生命体征的i P P G信号。但是,采集到的i P P G信号易受外部光照及运动干扰且在被干扰时会降低其信噪比,难以从中提取出准确的心率信号4-5。传统的方法是利用颜色空间投影或信号分解来提取心率信号。文献6 将色度信号线性组合,对图像进行白平衡来抑制干扰;文献7 对非平稳信号采用子带法进行小波滤波等。这些方法可以消除不必要的分量,增强脉搏波信号,然而,他们都是基于某些皮肤反射模型的假设,在光线昏暗或不均匀的情况下可能表现不佳8。除了传统的信号处理方法外,一些方法采用了深度神经网 络强大的 建模能 力 来 估 计 生 理 信号9,这些方法在一定程度上可以有效地抑制干扰,但是这类算法需要大量的图片数据集,算法复杂,对硬件需求较高,且也会受限于外部环境的变化。针对现有方法中存在的问题,本文提出了一种自适应心率提取算法,包含针对图像的自适应映射算法以及针对心率提取的信号质量评估算法。该算法在心率提取准确度上高于现有算法,且复杂性远低于深度学习算法,适合在算力有限的嵌入式系统中实现。算法中首先对图像进行人脸及背景的分割并分别计算平均光强,根据光强间的关系将人脸感兴趣区域的图像映射到稳定的光强区间,保证提取出的信号在光线扰动下不会出现太大的波动。如果在黑夜环境下,普通摄像头采集到的光强过弱,系统就会调用红外摄像头进行图像的采集。随后对映射后的多帧图像进行i P P G信号的提取,经过小波变换(C o n t i n u o u s W a v e l e tT r a n s f o r m,CWT)后截取子段进行信号质量估计,通过信号频谱中峰值的关系进行信号子段的可靠性分析,最后输出估计的心率值。在硬件方面,选择了Z y n q平台进行算法验证,依靠平台驱动双摄像头进行交替工作,移植并优化算法流程,在满足系统实时性的同时完成了心率结果的可视化输出。1 心率提取算法的优化1.1 算法原理当一束光照射到含有流动血液的人体皮肤组织时,相机采集到的信息包括光源在皮肤中的镜面反射信号和漫反射信号。因此,可以将采集到的图像序列中皮肤像素的变化信号定义为一个时变函数Ck(t):Ck(t)=I(t)ucc0+uss(t)+upp(t)()(1)其中,ucc0表示光源镜面反射信号中的稳定分量,摄像头采集到的光照强度大多来自于此;uss(t)表示因干扰而出现的不稳定的变化信号,包含光源镜面反射和漫反射中的不稳定成分;p(t)则为本文需要提取的生理信号波形。i P P G心率提取技术就是通过视频图像来提取由心脏跳动导致的面部微小的心率变化信号。1.2 心率提取算法整体流程如图1所示,算法的整体实现流程主要包括四个阶段:(1)人脸检测;(2)判断是否开启红外摄像头;(3)对感兴趣区域使用自适应映射算法;(4)滤波及心率估计。图1 心率提取算法实现流程在第一阶段,算法使用S e e t a F a c e人脸检测器来检测人脸位置,并分割人脸与背景的图像;在第二阶段,计算人脸及背景的亮度均值并提取人脸感兴趣区域的数据,根据亮度判断是否使用红外摄像头进行数据采集;在第三阶段,使用自适应映射算法,根据面部和背景的平均亮度关系得到映射区间S,再将感兴趣区域图像的像素映射到S区间中。经过多帧图像的映射处理并提取出相应的数据后,就可以得到预处理后的i P P G信号;第四阶段,先对得611S EM I C O N D U C T O RO P T O E L E C T R O N I C S V o l.4 4N o.1F e b.2 0 2 3 到的信号使用CWT得到脉搏波,之后对整体信号截取子段进行信号质量评估,在对比中输出最终的心率结果。1.3 人脸检测区域及算法介绍测试者不经意的移动会导致相应区域的颜色变化。因此,为了减少运动伪影对心率测量的影响,就需要准确的人脸检测以及合理的人脸感兴趣区域。一般情况下,面部上暴露的前额区域皮肤较薄,脉搏波信息较多,因此本文选择了前额区域作为面部感兴趣的区域。在人脸检测上,本文选择了由中科院计算所研发的人脸识别引擎S e e t a F a c e,代码基于C+实现,不依赖第三方库,使用轻量化