基于多核异构的异源图像融合抗晕光系统设计_郭全民.pdf

第 44 卷第 3 期2023 年 3 月激光杂志LASE JOUNALVol.44，No.3March，2023http /www laserjournal cn收稿日期:20221113基金项目:陕西省重点研发计划项目(No 2019GY094)作者简介:郭全民(1974)，博士，教授，主要从事智能感知与信息融合、图像处理及计算机视觉方面的研究。Email:guoqm 163 com基于多核异构的异源图像融合抗晕光系统设计郭全民1，薛冲1，杜金灿2，李振华11西安工业大学电子信息工程学院，西安710021;2北京振兴计量测试研究所，北京100074摘要:针对异源图像融合抗晕光算法复杂，应用于视频实时处理困难，设计了基于嵌入式多核异构架构的异源图像融合抗晕光系统。将系统控制和图像融合抗晕光算法分别在 AM 和 FPGA 中实现，解决了数据串行和任务顺序执行导致的系统实时性问题，消除了融合图像中的晕光痕迹。经实验验证，多核异构的抗晕光系统晕光消除度和系统实时性均满足系统需求。关键词:抗晕光系统;异源图像融合;多核异构;嵌入式中图分类号:TN274文献标识码:Adoi:10.14016/j cnki jgzz.2023.03.137Design of heterogeneous image fusion antihalo system based onmulticore heterogeneityGUO Quanmin1，XUE Chong1，DU Jincan2，LI Zhenhua11School of Electronic Information Engineering，Xi an Technological University，Xi an 710021，China;2Beijing Zhenxing Metrology and Testing Institute，Beijing 100074，ChinaAbstract:Aiming at the complex antihalo algorithm of heterologous image fusion and the difficulty of realtimevideo processing，a heterogeneous image fusion antihalo system based on embedded multicore heterogeneous archi-tecture is designed The system control and image fusion antihalo algorithm were implemented in AM and FPGA re-spectively，which solved the realtime problem caused by data serial and task sequence execution，and eliminated thehalo trace in the fusion image The experimental results show that the halo elimination and realtime performance ofthe antihalo system can meet the requirements of the systemKey words:antihalo system;heterologous image fusion;multicore heterogeneity;embedded1引言我国每年夜晚发生的交通事故数量占总交通事故的一半，其中除了疲劳、酒后驾驶等原因导致的事故1，夜间行车滥用远光灯也是交通事故的主要诱因之一2。采用修建绿化隔离带或设置遮光板等物理格挡法分离相向车道，从根本上避免了因远光灯使用不当引发的交通安全问题，但在市区非主干道、郊区以及国道等道路并不具备建设条件;在机动车前挡风玻璃处张贴偏振膜3，能够去除晕光，但会降低入眼的光线强度，在可见度低、光线弱的夜晚环境下，暗处的行人、景物等重要细节信息观察困难，增加事故发生的概率;通过安装红外夜视设备辅助驾驶员观察行车路况4，采集的图像不受晕光影响，但是红外图像色彩单一、细节信息保留不全，不利于人眼观察。利用异源图像融合技术将红外图像和可见光图像融合，所得融合图像兼具红外图像无晕光和可见光图像色彩丰富的特点，更符合人眼观察习惯，为解决夜间行车的晕光问题提供了新方向5，如图 1 所示。然而异源图像融合算法结构复杂，数据计算量大，图像处理步骤多且串行执行，导致在实际视频图像处理时，输出的消晕光视频图像存在卡顿现象。而基于多核异构架构的图像处理平台，由具有不同指令http /www laserjournal cn集的多个不同构造的处理器内核67 组成多处理器架构，可并行实现图像处理算法，提高系统的数据处理能力。因此，根据抗晕光系统功能特性差异，让系统不同的处理器分别执行、处理其所擅长的功能模块，提高系统的执行效率和处理速度。图 1原始图像及融合后图像为解决目前异源图像融合抗晕光算法的实时性问题，结合算法特点，设计了基于嵌入式多核异构架构的异源图像融合抗晕光系统，将系统控制和抗晕光算法分别由不同处理器实现，降低了单帧图像处理的时长，满足实时输出无晕光融合图像的要求。2系统工作原理嵌入式抗晕光硬件系统由图像采集设备、图像处理平台和显示模块三个部分构成，如图 2 所示。图 2嵌入式抗晕光系统的总体架构图像采集设备为红外和可见光相机，用于拍取晕光场景中的图像信息;高性能图像处理平台对拍取到的两路图像数据进行图像融合抗晕光处理;车载 HUD(Head Up Display)显示设备为驾驶员提供处理后的无晕光实时图像，达到辅助驾驶的目的。为便于图像处理，将红外相机和可见光相机紧邻放置且光轴等高平行，确保采集的图像基本在相同平面内;采集命令由图像处理平台输出，通过同一控制信号控制双相机的启停，确保两路视频图像的同步采集。在进行图像处理时，只需通过简单的几何操作，便能消除异源图像在时空位置上的差异。嵌入式高性能图像处理平台采用多核异构架构进行设计，采用任务调度能力强的处理器 A 完成系统控制功能;采用数据处理效率高，能够并行运行的处理器 B 实现抗晕光算法和图像输出功能，结合不同处理器各自优势，克服单一处理器存在的局限性，解决因数据串行计算，算法顺序执行，单帧图像处理慢引起的消晕光视频图像输出卡顿的问题。3统图像处理平台硬件设计抗晕光图像处理硬件平台，对主芯片的工作性能、处理效率有着很高要求，对图像采集和存储设备亦然。处理过程中图像数据缓存在同步动态随机存储设备中，处理器间数据的实时交互，通过多核异构芯片内核间的数据高速传输通道 AXI(Advanced eX-tensible Interface)完成。图 3 为系统硬件框图，由多核异构处理器、USB3.0 接口、DD3 存储模块、HDMI 接口、时钟电路和系统电源等相关硬件电路模块组成。处理器采用Xilinx 的 ZYNQ 系列芯片，由 AM+FPGA 处理器组成，在进行算法提速时，充分发挥了两种处理器的优势。利用 AM 任务调度能力强的特点完成系统控制;利用 FPGA 并行运行的能力对抗晕光算法进行硬件加速设计。图 3图像处理平台硬件框图系统功能实现流程如下:图像数据经过 USB3.0接口接收、缓存于 PS(Programmable System)端挂载的DD3 存储模块;PL(Programable Logic)端经过 AXI高速接口获取 PS 端 DD3 的数据，进行数据的并行计算，采用 HDMI 端口传出顺畅、视觉效果良好的抗晕光视频图像。3.1图像采集电路图像采集模块的可见光相机选用 CMOS 相机，图像分辨率最高 2 4482 048，采集频率最高 75 fps;采用的被动式远红外相机，图像分辨率 640480，采集831郭全民，等:基于多核异构的异源图像融合抗晕光系统设计http /www laserjournal cn频率最高 60 fps。两种相机均可调节成像参数且支持外部触发。为保证输出的融合视频图像符合人眼对视频流畅度的要求，通过图像处理平台控制相机保持每秒 25 帧的图像采集速率。在图像处理平台 PS 端搭建 USB3.0 接口电路，作为图像数据输入接口，在 PIPE 口处使用一块 USBPHY 芯片实现数据的并行转串行，数据传输速度大大提升，最快传输速度为 5.0 Gb/s，保证满足每秒 25 帧的图像传输需求，采用 USB3.0 HUB 芯片实现相机的扩展连接，如图 4 所示。图 4图像采集接口3.2数据存储电路系统 PS 与 PL 之间数据存储电路的设计采用了DD3 MT41J128M8 芯片，该芯片运算频率高、数据存储量大且功耗低，符合系统要求。图像数据存储接口的示意图如图 5 所示，系统PS 端外挂 4 片 DD3，组合成 4 GB 的图像数据存储空间，数据总线位宽为 64 位;PL 端外挂 1 片，数据容量为 1 GB，数据总线位宽为 16 位。图 5图像数据存储接口3.3图像输出电路经过消晕光处理后的图像信号为数字信号，系统通过 TPD12S521 芯片驱动数据流出，HDMI 端口采用四组差分信号(D2、D1、D0及 CK)对图像数据进行输出，系统通过 IIC 端口和 HDMI 驱动芯片控制管脚连接，获得显示器分辨率、型号等信息。4抗晕光系统算法实现系统算法实现流程如图 6 所示，在通过图像融合去除晕光之前，必须对异源图像进行图像预处理工作。预处理操作可以很好地降低外界因素对系统抗晕光效果产生的干扰，如夜晚光线昏暗造成的可见光图像背景细节信息缺失，两路源图像来自不同图像传感器，时空上存在差异等问题;图像融合可以提炼出红外和可见光图像中的互补有用信息，并消除晕光信息，实现流程如图 6 所示。图 6抗晕光算法实现流程异源图像融合抗晕光算法通过 Xilinx Vivado HLS综合工具8，直接使用 C+进行 IP 创建与设计，并通过 HLS 将 OpenCV C+视频处理算法转换为 FPGA上的实时硬件视频处理单元。4.1抗晕光系统图像预处理算法系统采用 MS 增强算法，实现图像中颜色及对比度的增强，弥补因光照不均产生的图像信息缺失，突出可见光图像暗处的纹理细节信息9，有利于接下来的图像配准。MS 第 i 个颜色通道的输出可表示为Mix，y=Nn=1wn logLix，y log Gnx，y*Lix，y(1)式中Gn=nex2+y2c2n(2)其中，N 为尺度个数;wn为第 n 个尺度权值;Li为第 i个色彩空间的图像分布;Gn为权值的高斯卷积函数，cn为第 n 个尺度参数，n为归一化因子。对尺寸相同的图像进行配准，可将增强后的两路图像，经过时空位置几何变换，对应于基准图像的时空位置，其空间变换关系式为L2x，y=L1(fx，y)(3)931郭全民，等:基于多核异构的异源图像融合抗晕光系统设计http /www laserjournal cn式中，f 为变换函数，x，y 为空间中的坐标参数。本系统中红外与可见光相机紧邻放置，空间位置相对固定，即红外图像与可见光图像在空间中的变换参数不变，因此，选择了基于特征点的图像配准策略，对红外和可见光图像进行配准10，该方法准确率高、速度快，简化了配准流程，减少了算法计算量，能有效地提高处理效率11。仿射变化可表示为x*iy*i()=kcossinsincos()xiyi()+xy()(4)式中，点(xi，yi)(x*i，y*i)为空间变换前、后的特征点。k、cossinsincos()和xy()为缩放、旋转和平移变换系数。将仿射变换表示为x*iy*i1=a0a1a2b0b1b2001xiyi1(5)进而可得:AV=X*BV=Y*(6)式中，V=x0，x1，xny0，y1，yn1，1，1(7)其中，图像配准仿射变换参数;X*=(x*0，x*1，x