基于U-ResNet的机场视频图像能见度检测_王兴隆.pdf

基金项目:国家重点研发计划(2020YFB1600101);天津市教育委员会自然科学重点项目(2020ZD01)收稿日期:20210508修回日期:20210515第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02005205基于 UesNet 的机场视频图像能见度检测王兴隆，陈仔燕(中国民航大学空中交通管理学院，天津 300300)摘要:传统的机场能见度检测方法存在泛化性差和成本高等问题，提出 U 型残差网络(UesNet)能够有效地将能见度数值性回归估计、UNet 图像分割网络、esNet 图像特征提取网络和科施米德(Koschmieder)定律结合在一起。取帧后的机场视频图像利用 U 型网络提取和融合不同语义层的特征信息并输出带有能见度的特征图，利用全局平均池化得到衰减系数;算法中心的 esNet 模块对图像信息深层次挖掘和提取;衰减系数利用 Koschmieder 定律得到能见度气象光学视程。仿真数据选取某机场清晨 8 个小时视频数据，预测结果较为理想，决定系数 2达到 0.98，相对误差仅为 8%。关键词:能见度;科施米德定律;残差网络中图分类号:TP319.4文献标识码:BVisibility Detection of Airport Video Image Based on UesNetWANG Xinglong，CHEN Ziyan(College of Air Traffic Management，Civil Aviation University of China，Tianjin 300300，China)ABSTACT:Traditional airport visibility detection methods have the problems of poor generalization and high costUesNet can effectively combine the visibility numerical regression estimation，UNet image segmentation network，esNet image feature extraction network and Koschmieder law After taking the frame，the feature information of dif-ferent semantic layers was integrated and extracted by the airport video image using the Ushaped network，and final-ly，the feature map with visibility was output and the attenuation coefficient was obtained by global average poolingThe esNet module of the algorithm center was used to conduct deep mining and extraction on the image;the visibili-ty meteorological optical visual range was obtained through the attenuation coefficient using Koschmieder s law 8hours of video data in the early morning of an airport was selected as the simulation data，and the prediction resultswere ideal，with a coefficient of determination of 0.98 and a relative error of only 8%KEYWODS:Visibility;Koschmieder law;esNet1引言随着我国高速路网、航空领域的不断发展，国家对于保障人民正常出行、安全出行的需求日益激增，为了更好地保障人民的生命财产安全，保证人们的正常交通出行，对于能见度检测的研究成为了保证高速公路安全行车、航班正常起降不可或缺的一环。目前能见度检测的主要方法有传统检测方法、基于场景深度的方法和基于深度学习的方法，所采用的图像数据，主要来源于相机或视频获取到的图像。采用传统的图像处理或机器学习等方法进行能见度检测近年来有不少进展。例如，姚镇海等人1 将高速公路视频图像利用图像灰度值均方差与能见度观测值建立计算模型。孟颖等人2 将监控视频帧转为灰度图像并结合自适应导向滤波算法和四叉树图像分割算法，提取图像中的空气透射率及大气光值等特征参数，然后依据设备与物的实际距离等估测能见度。郜婧婧等人3 利用高速公路视频数据，采用霍夫变换提取道路兴趣域，根据亮度对比检测人眼可分辨最远像素点作为标点，最后基于暗原色先验原理求取目标点的透色率，以此得到能见度值。张琼雄等人4 先是利用 Canny 算子提取图像的边缘信息特征，然后利用基于边缘存量的神经网络进行能见度的检测，平均误差为 9.6%。虽然传统的图像处理和机器学习等方法，对于特定场景的能见度检测有一定的效果，但泛化性较差，不能满足实际应用需求。若已知拍摄相机或图像内物体位置等数据时，可用基于景深等方法对能见度进行检测。例如，周凯等人5 利用暗通25道估计大气透射率并计算景深信息，再结合最小图像熵计算得出能见度值。徐敏等人6 首先对图像进行特征提取、阈值分割和形态学处理，然后利用大气退化模型和暗通道原理估计透射率，再利用同一场景不同角度两幅图像的像素突变点和摄像机内部参数估计景深得到大气消光系数，以此估计图像的能见度。基于景深的方法与相机的位置或图像中物体的位置有着明确的依赖关系(依赖摄像机内部参数等)，计算起来也相当复杂，且不利于场景转换的能见度检测。而且大部分设备(例如激光能见度仪)存在检测能见度方面对团雾检测精度不高、检测范围小、覆盖成本高的问题。近年来，深度神经网络711 已经成功地应用于图像识别、目标检测、语音识别、机器翻译、自动汽车驾驶、目标追踪和生物信息学等多个领域12，越来越多的研究人员开始认识到深度学习的强大性能和优势。例如，厍向阳等人13 基于改进的残差网络(esidual Network，esNet)对小型车辆目标进行检测，并表现出了良好效果。但是，国内外学者较少地将深度学习应用于机场能见度检测。为了解决传统方法泛化性差、场景深度计算方法的设备费用高等问题，和利用深度神经网络的强大学习能力，本文基于气象光学视程提出了一种基于 U 型深度残差网络(UesNet)的机场能见度检测模型。U 型网络可以有效融合图像的不同尺度的特征信息图。esNet 不仅能够加速超深神经网络的训练，而且可以大幅提升深度网络的准确率12。本文利用 UesNet 得到带有能见度信息的特征图，再与 Ko-schmieder 定律相结合计算能见度值。这种方法能够将深度学习模型与理论定律方法有效地结合起来，提高能见度检测的准确率。利用机场视频图像数据多次迭代训练模型后得到一个良好的能见度检测模型。最后，将该模型用于自定义的视频图像上进行机场能见度的检测，取得了不错的效果。2相关理论与方法2.1能见度检测原理气象光学视程(Meteorological Optical ange，MO)是指色温为 2700K 的白炽灯发出的平行光束的光通量在大气中衰减降低到它起始值的 5%的距离14，并且 MO 可以根据Koschmieder 定律15 计算得到。Koschmieder 定律如下F=F0ez(1)式中，F 为背景于目标物体的相对亮度差，以此体现观测的光照强度。F0表示入射的光照强度，为常数。为衰减系数，与雾的厚度有关。越大，表示雾越浓。z 为观测员距离目标物的距离，可表示为 MO。则MO=log(F/F0)=log(0.05)(2)由此可见，MO 的估计关键在于求得衰减系数。2.2U 型网络U 型网络(U Network，UNet)16 是比较早使用全卷积网络进行语义分割的算法之一。U 取自于该模型包含压缩路径和扩展路径的对称 U 形结构，如图 1 所示。图 1U 型网络架构16 网络输入一张 572572 的图像，输出为 388388 的分割结果图。具体地，输入图像经过多层下采样卷积模块得到尺度为 2828 的特征图，然后由多层上采样反卷积模块恢复图像特征维度的同时提取特征信息。图中灰色箭头称为跳跃连接(Skip Connection)，每次下采样都会有一个跳跃连接与对应的上采样进行级联，这种不同尺度的特征融合对上采样恢复像素大有帮助。原因是高层(浅层)下采样倍数小，特征图具备更加细致的图特征，底层(深层)下采样倍数大，信息经过大量浓缩，空间损失大，但有助于目标区域判断，当高层与底层的特征进行融合时，感受野效果往往会非常好。因此，结合 UNet 网络结构优势，设计本文模型最后输出带有能见度信息的特征图。2.3残差网络残差网络(esNet)由何恺明等人11 在 2015 年提出，esNet 的基本组成部件为残差单元(esNet Unit)，解决了过拟合、梯度爆炸或消失等一系列深度学习重要问题，影响至今。如图 2 所示，esNet Unit 分为两类，但都由卷积(Convo-lution，Conv)核、批处理归一化(Batch Normalization，BN)和线性整流函数(ectified Linear Unit，eLU)堆叠而成。设第 n个 esNet Unit 的输入为 xn，则当前 esNet Unit 的输出 xn+1由式(3)计算得到:xn+1=f(F(xn，Wn)+xn)(3)其中，F(xn，Wn)为残差函数;Wn是 F(xn，Wn)对应的权值参数;f()是非线性激活函数 eLU。对于图像深层特征的提取与保留，esNet 有着非常好的效果。3UesNet3.1基本思想对于能见度检测问题，由于传统的图像处理和机器学习等方法的泛化性差，和场景深度计算方法的设备费用高等问题，本文提出了一种简单而有效的 U 型残差网络模型(U35图 2残差单元esNet)模型用于机场视频图像的能见度检测。如图 3 所示，UesNet 减少了原有 UNet 网络中过多的上、下采样，并在提取特征保持维度的部分采用 esNet 的残差模块，通过残差学习模块避免卷积神经网络过深而导致模型退化问题，从而寻求最优的深度卷积神经网络模型。UesNet 输出的是带有能见度信息的特征图，再与 Koschmieder 定律相结合即可计算得到 MO。图 3UesNet 网络结构3.2网络架构能见度检测属于回归性任务，而 UNet 主要用于图像分割，esNet 被用作目标分类、检测等任务图像特征提取的骨干网络，Koschmieder 定律是被大家认可的用于计算 MO 的理论方法，本文所提出的 UesNet 模型有效地将这 4 者融合到了一起。总的来说，本文以 UNet 为基础框架进行改进对机场视频图像进行下采样和上采样(逆卷积，TransposedConvolution，ConvT)提取图像特征和输出带有能见度信息的特征图;网络深层图像特征提取部分采用了 5 个 esNetUnit，用于深入挖掘图像中各种特征信息。esNet Unit 中以跳跃特征层的方式连接不同感受野的特征图，这样可以简化网络结构并更加均匀化，从几何角度理解就是设计了一个更为优化的平直的流行，使得网络收敛性更好，从而能够避免网络优化时发生退化和爆炸等问题;此外，5 个堆叠式的esNet Unit 设计，可以线性增强网络提取到的特征信息;UesNet 输出带有能见度信息的特征图，并采用平均池化(Av-erage Pooling)方法得到 为衰减系数，最后根据 Koschm