无人机晃动下基于相位的视觉振动检测_周勇.pdf

第 卷 第期 年月合 肥 工 业 大 学 学 报（自 然 科 学 版）（）收稿日期：；修回日期：基金项目：安徽省科技重大专项资助项目（）；安徽高校协同创新资助项目（）作者简介：周勇（），男，贵州遵义人，合肥工业大学硕士生；杨学志（），男，安徽合肥人，博士，合肥工业大学教授，博士生导师，通信作者，：无人机晃动下基于相位的视觉振动检测周勇，杨学志，臧宗迪，王金诚，吴克伟，（合肥工业大学 计算机与信息学院，安徽 合肥 ；工业安全与应急技术安徽省重点实验室，安徽 合肥 ；合肥工业大学 软件学院，安徽 合肥 ）摘要：针对无人机平台视觉振动检测不准确的问题，文章提出一种抗无人机晃动的视觉振动检测算法，用于实现无人机拍摄镜头不稳定情况下的振动检测。该算法利用目标振动的局部性和无人机晃动的全局性，从源视频的混合信号中提取出目标振动。首先根据像素点亮度变化的剧烈程度实现目标振动区域与背景区域的分离；其次对图像的背景区域进行特征点提取，并求解背景区域的运动矩阵；然后对目标区域进行运动矫正，去除其包含的背景信号分量，即晃动信号分量；最后提取目标振动区域的局部相位序列，构建振动信号，并检测其振动频率。为了验证该算法的准确性，使用无人机在不同晃动幅度下拍摄多组视频并检测其振动频率。实验结果表明，该算法具有较高的准确性与鲁棒性，能够有效去除无人机晃动干扰，准确提取出视频中的目标振动信号。关键词：视觉测量；振动检测；无人机；可控金字塔中图分类号：文献标志码：文章编号：（），（，；，；，）：（），：；（）；引言物体的振动特征能够反映该物体的某些本质属性。比如，桥梁等大型建筑的振动特征反映其结构健康状况，螺栓等连接件的振动参数反映出工厂设备的运行状态，人体呼吸的振动特征反映了人类的情绪和健康状况。基于视觉的振动检测方法具有便捷与低成本的优势，且能够避免接触式传感器对目标振动产生的干扰，受到国内外学者的广泛关注。视觉振动检测系统利用相机捕捉目标振动视频，将三维图像信号转换为振动信号，进而获取振动频率等参数。固定相机能够完成小范围、地面位置的目标振动测量，然而对于桥梁等大型基础设施的振动检测，固定位置的视觉测量系统则难以实现。这种情况下，通常需要使用多个相机布置测点，相机的部署位置、测量视角等都需要精确计算；此 外，实 际 环 境 中 某 些 位 置 并 不 适 合 架设相机。无人机技术的发展为这一问题提供了可能的解决方案，通过无人机搭载相机进行拍摄，能够克服相机部署位置的局限性。然而，无人机在飞行过程中受到气流的影响会产生随机晃动，造成所拍画面不稳定，无人机平台的视觉振动检测系统需要克服这一问题。对于结构的振动变化，近年来有研究将欧拉视角下的相位分析法应用于振动检测。文献 将基于相位的运动分析法与欧拉视角相结合，实现了全场运动估计。图像的相位信息相对于亮度信息，对环境光照变化和图像噪声表现出更高的鲁棒性。文献 使用基于相位的振动提取方法，通过高速摄像机测量悬臂梁、金属杆以及民用基础设施的微小振动，并开展大量的实验验证了该方法的可行性；文献 采用基于相位的振动信号提取算法测量了金属杆等材料的模态频率；文献 使用基于相位的运动估计和放大方法测量了风力机叶片的谐振频率；文献 在基于相位的运动处理框架上实现目标的振动模态分解，并在实验室搭建的小型建筑结构上进行了验证；文献 对原有的相位振动检测方法进行了改进，简化了振动波形的提取过程。然而，上述研究所提出的算法只适用于稳定的相机，当应用于无人机平台时，会因气流所引发的相机晃动而失效。对于无人机平台的振动检测，有学者使用特征点追踪的方式实现。文献 利用无人机搭载相机拍摄实验室桥梁模型，检测图像特征点并求解运动矩阵，进而测量目标的振动时程、频率等参数。这两项研究均假设图像背景区域的运动信号反映无人机晃动，并通过手动选取背景特征点提取干扰信号，完成运动校正，从而准确测量目标振动。但是，特征点追踪的运动分析方法本质上基于亮度信号，对光照变化和图像噪声较为敏感；并且这两项研究中，背景特征点依赖于手工选取，引入了很大的工作量。文献 使用无人机捕捉地面人体的呼吸振动信号，首先对无人机所拍摄的视频进行稳像处理后，然后通过基于相位的运动信号提取方式完成呼吸振动检测。然而，稳像算法可能会抑制目标振动信号本身，从而影响检测结果的准确性。本文提出一种抗无人机晃动的视觉振动检测算法。该算法基于局部相位的信号提取方式，利用晃动信号的全局性和目标振动信号的局部性对信号进行分离。首先根据像素点亮度变化剧烈程度实现目标振动区域与背景区域的分离；其次对图像的背景区域进行特征点提取，并求解背景区域的运动矩阵；然后对目标区域进行运动矫正，去除其包含的背景信号分量，即晃动信号分量；然后提取目标振动区域的局部相位序列，构建振动信号，并检测其振动频率。实验结果表明，该算法能够有效去除无人机晃动干扰，实现无人机在晃动情况下的振动检测。本文算法本文提出的无人机晃动下的视觉振动检测算法以局部相位提取振动信号为基础，以相位的运动信号提取方式处理振动信号，根据振动区域亮度变化更为剧烈这一特征，定位出振动区域；然后对图像背景区域进行特征点提取，得出背景点的运动矩阵，即无人机在气流等影响下产生的晃动信号的运动矩阵，通过这个运动矩阵对目标区域进行矫正，消除无人机晃动的影响；最后提取目标区域的局部相位序列，构建振动信号并检测目标区域的振动频率。本文所提算法的流程框图如图所示，包括个主要步骤：（）振动目标定位与分离；（）无人机晃动信号矫正；（）基于相位的振动信号提取。第期周勇，等：无人机晃动下基于相位的视觉振动检测图本文算法流程振动目标定位与分离分离目标区域与背景区域，一方面是为了增强所提取振动信号的纯净度，另一方面是为了利用背景特征点对无人机晃动信号建模。像素点的位置变化可以与其亮度变化相对应，即图像的运动信息可以由其亮度信息来表示，因此本文根据像素点亮度变化特征识别目标点与背景点。目标像素点的运动由目标自身振动引起，而背景像素点的运动则对应无人机的晃动。本文做以下个假设：无人机自身的晃动信号，相比较于振动信号，在时间域上是线性的；振动信号包含高阶运动分量，不具备线性变化特征。二阶差分滤波使用二阶差分滤波的方式可实现振动点与背景点的分离。表示视频的第帧图像；（，）为图像任意一点坐标；（，）为视频第帧图像（，）点所对应的亮度信号，为视频总帧数，则滤波后信号（，）可表示为：（，）（，）（，）（，）（）目标点的亮度时间序列通过该滤波器后，仍有较大的能量剩余；背景点的亮度时间序列经过二阶差分滤波后则大幅衰减。实验时选取的不同位置如图所示，图中：点代表振动区域的点；、点代表非振动区域的点。、点 的 亮 度 序 列（，）及其滤波后信号的亮度序列（）如图所示。由图、图 可知，点在滤波前由振动信号与无人机晃动信号的叠加，在亮度上变化比较明显，亮度时间序列变化比较剧烈，在经过二阶差分滤波后还存在大量的能量残余。由图、图 可知，点只有无人机晃动信号，因此点属于平坦区域，点的亮度时间序列趋于一个常量，并且变化并不明显，经过二阶差分滤波之后可以看出几乎没有能量残余。由图、图 可知，点处于导线边缘，在只有无人机晃动的信号下才会有亮度变化的较大波动。图振动区域与非振动区域合肥工业大学学报（自然科学版）第 卷图点滤波前后亮度序列从图、图 还可以看出，通过二阶差分滤波器的亮度序列趋于，由此可知，二阶差分滤波对于滤除线性运动，找寻有振动的区域是有效的。基于能量的目标分离在对图像进行二阶差分滤波后，用（，）表示某一位置（，）处滤波后亮度信号的能量大小，则有：（，）（，）（）根据整幅图像滤波之后的能量大小，构造振动能量矩阵：（，）（，）（，）（，）（，）（，）（，）（，）（，）（）矩阵表示图像中每个位置所含振动信号的强弱，然后以为阈值实现（，）的二值化：（，）（，），（，）；，（，）（）通过（）式实现矩阵的二值化（）。的选取依赖于经验，一般取 .（，）。完成以上操作后，二值图像中可能包含振动信号的点会被置，背景点则会被置。采用图像形态学操作，去除中面积过小的连通区域，得到修饰后的振动能量矩阵。一方面由于在视频画面存在晃动时，振动目标通常会扫过一块较大的 面 积，另 一 方 面 为 了 便 于 后 续 处 理，将的非零区域扩展为小矩形块，从而得到表征振动目标的模板矩阵。将模板矩阵与视频的每帧图像相乘即可分离出目标振动区域与背景区域。具体如图所示。图振动目标定位目标区域晃动信号校正无人机晃动引发图像背景产生整体运动。对图像背景区域进行运动特征的分析则能够实现对无人机晃动信号的估计，处理过程使用角点检测算 法（，）与 特 征 点 提 取 算 法（，）算法实现背景区域特征点的检 测 和 匹 配，通 过 采 样 一 致 估 计（，）剔除误匹配点。完成全局运动模型的建立并构建得到仿射变换矩阵，然后对目标区域进行矫正。具体实现方法如下。特征点提取根据目标点与周围点的灰度差来确定特征点，算法步骤如下：从图片中选取一个目标像素点，设其像素值为；设定一个合适的阈值；选取 个以目标像素点为中心，半径为的像素点，像素值分别记为，；满足判决函数有连续的个像素点的那个像素点即为角点。判决函数为：（）特征描述与匹配 算法 的采样结构为、，其中代表每层中有个采样点并且这个采样点在一个同心圆上，一共有个同心圆，第期周勇，等：无人机晃动下基于相位的视觉振动检测最后的表示特征点。采用二进制编码描述特征点，用为编码特征；为采样点对；为期望的二进制编码长度，（）表示采样点对中前一个采样点的像素值，（）表示后一个采样点的像素值，则：（）；（）（），（）（）；，其他（）在特征描述中，得到了 的二进制描述符，该描述符的列是方差由高到低的排列，高方差表征模糊信息，低方差表征细节信息。因此，选取前 （即 字节）进行匹配，若个待匹配的特征点前 字节距离小于设定的阈值，则再用剩余的比特位进行匹配。最终得到视频任意两帧图像之间的匹配点集。矫正目标区域完成背景区域的特征点检测和匹配后，使用 算 法 完 成 全 局 运 动 模 型 的 建 立。可以自动判断出正确的匹配点对（内点），剔除误匹配（外点），并且计算出第幅图像的所有特征点映射到第幅图像的运动模型。该模型由如下一个的矩阵描述，即（）其中：（，）为平移量；（，）为控制图像的旋转和缩放。为了简化计算，使用以下只有个参数的变换矩阵来代替仿射变换矩阵：（）对求逆，可以消除两帧图像之间背景区域的整体运动。用表示第帧图像背景区域和第帧图像背景区域之间的映射关系，则可以由上述帧与帧之间的变换矩阵累积表示如下：（）所求描述了背景区域的运动，即实现了无人机晃动信号的估计。可用来对目标振动区域进行校正，去除其包含的无人机晃动分量，保留振动分量。设表示第帧目标振动区域，（，）为其任意一点，（，），表示校正变换，则有：（）其中，（，）为校正后的点坐标。将目标区域的所有点完成校正，得到（）。基于相位的振动信号提取完成对目标区域晃动信号矫正后，需要提取振动信号，提取流程如图所示。首先在空间上，使用复数可控滤波器组对视频的每一帧进行不同尺度、不同方向的子带分解，获取到相位变化序列；然后在时域上滤除相位序列的直流分量，滤波后的相位序列即为目标振动信号；对振动信号进行傅里叶变换，检测其幅频响应函数峰值，即可得到振动频率，算法原理如下。傅里叶变换获取到的空间全局相位与图像的整体运动相关，与之类似，空间局部相位可以用来计 算 局 部 运 动。复 可 控 金 字 塔（，）可以实现空间局部相位的提取。本文以一维全局傅里叶基为例说明振动与相位之间的关系，用（）表示位置处的图像亮度，进行傅里叶级数展开，表示每个子带的空间频率，则有：（）（）用（）表示振动引发的位置变化，则有：（）（）（）其中每个子带可以表示为：（，）（）（）由于每个子带都是复指数函数，相位（）含有运动信息。滤除其直流分量，得到相位变化信号（，）（），（，）为位置处的振动信号。复可控金字塔可以将视频的每一帧亮度信号分解为不同尺度、不同方向的局部相位，这些处理后的局部相位信号可提取出视频中