基于嵌入式平台的多路摄像头视频拼接系统_陈宇翾.pdf

工业控制计算机2023年第36卷第1期基于嵌入式平台的多路摄像头视频拼接系统Multi-Camera Stitching System Based on Embedded Platform陈宇翾（东南大学软件学院，江苏 苏州215123）金立左（东南大学自动化学院，江苏 南京210096）摘要：针对大视场经典图像拼接算法流程速度慢，且嵌入式平台算力较低的限制，采用了离线参数计算的实时图像拼接方法。在实际应用场景中，由于多台摄像头的位置是固定的，因此离线计算出的矩阵参数，在实时拼接中可以直接加载进行后续计算，且可重复使用，从而省去了大量的特征提取和配准的时间，在低算力的条件下，在保证对图像拼接质量影响不大的情况下实现了摄像头画面的实时拼接效果。关键词：图像拼接；嵌入式平台；特征提取Abstract:Aiming at the limitation of the slow process speed of the classical image stitching algorithm with large field ofview and the low computing power of the embedded platform,the real-time image stitching method of offline parameter cal-culation is adopted.In practical application scenarios,since the positions of multiple cameras are fixed,the matrix parameterscalculated offline can be directly loaded for subsequent calculation in real-time stitching,and can be reused.In this case,alot of feature extraction and configuration time can be saved.Under the condition of low computing power,the real-timestitching of the cameras is achieved while ensuring that the quality of the image stitching is not obviously affected.Keywords:image stitching,embedded,feature extraction近年来，图像拼接技术越来越趋于成熟，应用的场景也越来越丰富。在军事、医学、遥感、交通等领域1-4都发挥着越来越重要的作用。当今社会随着公众安全意识的不断提高，监控系统已成为公共生活场景中非常重要的组成部分，关系着我们每一个人的人身安全、财产安全等。而众多的摄像头，由于成像视野窄，覆盖某一区域需要大量的摄像头，从而导致监控画面被分割得过于零散。一般对于大视场范围的图像采集或者监控有两种解决方案：一种是采用超广角镜头，但是往往会受到相机自身功能和价格的限制；另一种则是通过对多个摄像头画面进行拼接，不但可以增加监控视角，更重要的是可以提高图像分辨率以及清晰度。图像拼接是将在同一时间和地点拍摄的几张具有一定重合区域的照片拼接成一张全景图像的技术，是计算机视觉和图形学领域的研究课题之一。经典的图像拼接流程，包括预处理、图像配准和融合这几个步骤。对此，本文基于国产嵌入式硬件平台，设计开发了一套多摄像头视频画面拼接系统，将多个摄像头的画面融合到一起，生成一幅宽视角的全景图像，且着重优化了处理速度，达到接近实时性视频画面拼接编码输出。1系统总体架构1.1软件架构本文设计的多路摄像头拼接系统为C/S架构，即经典的客户端-服务端架构，两者通过以太网通信。服务端负责从摄像头采集画面处理，然后编码传输给客户端；客户端则从服务端接收服务端拼接融合后的画面并显示/存储。其中，服务端的图像处理主要包括4个阶段：离线标定阶段：主要是通过相机标定，计算出各个摄像头的内参矩阵和畸变参数矩阵。同时通过特征提取和匹配，计算出摄像头之间的重叠区域，生成透视变换矩阵供后续步骤使用。画面畸变矫正阶段：通过预先标定得到的畸变矫正矩阵，对摄像头画面进行畸变矫正。图像拼接：通过离线标定阶段计算出的矩阵对图像进行透视变换，然后拼接成全景图。拼缝区域融合：对直接拼接后的拼缝处进行加权过渡处理，使图像整体过渡更加平滑。1.2硬件平台本系统基于瑞芯微搭载RK3588芯片的开发板进行开发，其中装载了Debian操作系统；嵌入式平台相较于一般的PC计算机而言，CPU、GPU算力均较弱，但优势是低功耗、小体积、低成本以及便于在各种环境条件下进行部署。摄像头采用大华DH-IPC-HDBW4443R-S网络相机，通过RTSP协议传输视频。输出编码方式为H.264，输出分辨率为1920*1080，帧率为30。2图像拼接系统服务端的图像拼接系统是基于OpenCV开发，并且设计为可拓展的接口，通过修改配置文件支持最多4路摄像头画面进行拼接。其中每2个摄像头作为一组进行拼接合成全景画面；若存在多组合成画面，则只简单上下拼合成一幅图像，并不做额外处理。拼接整体流程如图1所示：图1图像拼接整体流程由于在实际的应用场景中，摄像头的位置是固定的，故其中119基于嵌入式平台的多路摄像头视频拼接系统预处理阶段是离线计算的，以最大化节约计算资源。2.1相机标定相机标定主要包括相机内参矩阵和畸变矩阵的计算。相机标定是图像处理中重要的一环，将拍摄图像中二维坐标转换到三维坐标系下进行处理和重建，相机标定就是为了获取相机的内参矩阵。同时相机拍摄的图片可能存在一定的畸变，畸变包括桶形畸变和枕形畸变。相机标定的另一个目的就是获得相机的畸变参数，进而对拍摄的图片进行去畸变处理。这里我们采用了张正友的经典标定方法5，通过OpenCV中的calibrateCamera()函数，输入相机镜头拍摄的多个角度棋盘格图片，自动计算出相机内参矩阵和畸变矫正参数。在后续的步骤中，只需要将第一次计算得到的两个矩阵参数和原图像输入给undistort()函数，便可得到畸变矫正后的图像。2.2特征提取和匹配传统的图像拼接方法是对每一帧图像进行特征提取和匹配的拼接方法，计算量较大，且多帧连续画面可能会出现跳变和鬼影的现象。由于本文设计的拼接系统的使用场景是固定摄像头，故可采用离线标定的方式进行优化。不但可以解决每一帧重复计算的资源浪费，而且有效地减少了画面跳变、拼缝处闪烁、鬼影的现象。常用的特征提取算法中，基于尺度不变的有SIFT、SURF、ORB等算法6-8，这些算法各有优缺点。由于在实际应用中使用离线标定方法，所以无需关注在离线标定阶段中特征提取和全局配准所消耗的时间，因此选用效果最好的SIFT算法9。一幅图的左、右两部分提取出的特征点如图2和图3所示：图2左图提取的特征点图3右图提取的特征点传统的SIFT算法虽然能够提取出大量的特征点，但存在错误匹配的情况，由于这种错误的存在，会造成拼接后的图像无法达到理想的效果，因此我们需要进一步筛选出优秀的匹配点，来优化最终的匹配结果。这里我们采用了Lowes算法来进一步获取优秀匹配点10。作者提出了一种通过比较最近邻距离与次近邻距离的匹配方式来优化传统的SIFT匹配方法：取一幅提取过特征点的图像中的一个SIFT关键点，同时找出其与另一幅将与其进行拼接的图像中欧式距离最小的前两个关键点。在这两个关键点中，设最近的距离为l1，次近的距离为l2，设定某一阈值为，若l1/l2，则认为这一对特征点是良好匹配的。因为对于错误匹配，相似的距离可能会存在大量的其他错误匹配，从而l1/l2的值会比较大。通过控制阈值的大小，筛选后的SIFT匹配点是数目会增加或者减少。一般较小的阈值会得到更精确的匹配点对，但是有些场景中本身提取出的特征点对就比较少，经过过滤可能会导致无法进行透视变换矩阵计算的情况，故阈值需要设立在一个合适的范围内，并不是越小越好。经过实际场景的匹配测试，结果表明阈值取值在0.40.7之间最佳，小于0.4的匹配点对会急剧减少，大于0.7的则依然会存在较多的错误匹配点。本文采用了0.5的，筛选后的优秀匹配点对连线如图4所示：图4筛选后的匹配点对经过上一步的匹配和过滤操作，我们便可以得到两个图像之间的特征匹配点集，接下来便要计算出透视变换矩阵进行图像的配准，即将两张图像转换为同一坐标下。这里我们使用了OpenCV的findHomography()函数，输入上一步得到的匹配点对数组，便可求得透视变换矩阵。这样，离线处理的所有相关参数计算均已完成。2.3图像拼接与融合在完成离线的参数标定之后，便进入到循环读取和处理摄像头画面进而生成拼接图片的环节。采用多线程技术，并行处理多个摄像头采集的画面（以最多四路摄像头为例），如图5所示：图5图像拼接详细流程设计畸变矫正阶段，使用OpenCV的undistort()函数，输入离线标定阶段计算的畸变参数和相机内参，便可自动完成画面矫正。图像配准阶段，若为拼接左侧图像，则配准步骤不进行额外操作，右侧图像则应用特征匹配阶段生成的透视变换矩阵，变换后的右侧图像如图6所示。这样左右两侧图像便处于同一坐标系下，图像配准便完成。拼缝融合阶段，采用了加权平均融合方式，这种方法计算量极小且对于固定视角的摄像头画面效果也较好，非常适用于算力不高且对于拼接质量没有特别精细要求的场景使用。融合方法描述如下：设两幅图像的重叠区域宽度为W，起始横坐标为x0，结束横坐标为x1，对于重叠区域的任意一点A（x，y），左侧图像对应的（下转第145页）120工业控制计算机2023年第36卷第1期（上接第120页）点像素值为1，右侧图像对应点像素值值为2（以三通道RGB图像其中一通道为例，三个通道的值计算方式相同）。则该点的某一通道的像素值可以表示为：=1（-0）W+2（1-）W计算完重叠区域所有像素的三通道像素值后融合处理即完成，这样便快速地实现了拼缝处的平滑过渡处理。3图像拼接效果将图像按照上述方法依次拼接融合后，便得到了全景画面。图7为最终拼接图像效果：图7拼接融合后的效果图4结束语本文在经典全景图像拼接流程的基础上，采用了先离线计算参数，后实时拼接的方法。由于相机的位置固定，因此标定过程只需要初始化时计算一次，实时图像拼接时只需要进行图像矫正、图像对齐和融合的操作即可，节省了大量的时间。在特征提取时采用Lowes算法对传统SIFT特征匹配结果进行筛选，提高了匹配精度。采用加权平均融合算法来实现多个摄像头图像的快速拼接融合。参考文献1李宝华，周焰，张朝伟图像拼接技术在军事监控系统中的应用J微计算机信息，2008，24（27）：310-3122MAINTZ J B A,VIERGEVER M AA survey of medical imageregistrationJMedical Image Analysis,1998,2(1):1-363CHENG Y,ZHOU Y,LIN H T,et al Automatic registrationand mosaic of remote sensed imagery based on SIFT fea-tureJRemote Sensing Technology&Application,2008,23(6):721-7284XU Y OU J,HU H,et al Mosaicking of unmanned aerial vehi-cle imageryintheabsenceofcameraposes JRemoteSensing,2016,8(3)：2045Z Zhang.A flexible new technique for camera calibrationJ.IEEE Transactions on Pattern Analysis