一种弱光照交通标志识别方法_张娜.pdf

第 46 卷 第 1 期2023 年 2 月电 子 器 件Chinese Journal of Electron DevicesVol.46No.1Feb 2023项目来源:国家科技部重点研发专项项目(2017YFE0135700);河北省工业智能感知重点实验室 唐山市科技计划项项目(19150230E)收稿日期:20211207修改日期:20220107Traffic Sign ecognition Algorithm Based on Weak Light*ZHANG Na，LI Zhigang*(College of Artificial Intelligence，North China University of Science and Technology，Tangshan Hebei 063210，China)Abstract:Aiming at the problem that traffic signs are difficult to be recognized due to the poor quality of images obtained by automaticdriving sensing equipment under weak light environment，a traffic sign recognition method under weak light is proposed An improvedegnet model is used to identify traffic sign images illumination-enhanced by etinexNet model Experimental results show that the pro-posed recognition method can reach 9967%of accuracy，100%of F1 value，100%of recall rate and 100%of precision on the data setof traffic signs under weak light Compared with the classical deep learning esnet101 model，the four evaluation indexes are improvedby 143%，191%，19%and 148%respectivelyKey words:traffic sign recognition;regnet;entinexNet;ACBlock;SEEEACC:6135doi:103969/jissn10059490202301018一种弱光照交通标志识别方法*张娜，李志刚*(华北理工大学人工智能学院，河北 唐山 063210)摘要:针对弱光照环境下自动驾驶感知设备获取的图像质量不佳，从而导致交通标志难以识别的问题，提出了一种针对弱光照的交通标志识别方法，即将弱光照交通标志图片经 etinexNet 模型进行光照增强后，采用改进 egnet 模型对光照增强的交通标志图片进行识别。实验结果表明，在弱光照交通标志数据集上，所提出的识别方法准确率可达 9967%，F1 值可达100%，召回率可达 100%，精确度可达 100%。与经典深度学习 esnet101 模型相比，四项评价指标分别提高了 143%，191%，19%和 148%。关键词:交通标志识别;egnet;entinexNet;ACBlock;SE中图分类号:U4636文献标识码:A文章编号:10059490(2023)01010306受自然天气的影响，难免会出现阴天雨雪或傍晚等光照较弱的情况，使得自动驾驶感知设备获取交通标志图像质量不佳，给交通标志识别带来困难。面对弱光照环境下交通标志识别困难的情况，进行增强光照任务，可以达到提高识别准确率的目的。近些年，许多研究人员致力于寻找弱光图像增强方案，Guo 等1 提出 LIME，仅利用结构先验估计光照，并使用反射作为最终增强的结果，验证了它在增强质量和效率方面优于最新技术。Li 等2 提出了基于 etinex 的联合微光增强和噪声去除方法，实验结果证明这两种方法在弱光图像增强方面的有效性。廖小兵3 提出一种光照不均下图像增强仿真，此方法提高了光照不均匀图像亮度。尽管上述方法均能增强图像光照，但依旧限制于模型照明能力与分解反射，很难找到一组适合各种场景的图像约束条件。而且，上述方法大多需要手动调整参数，费时费力。此外，弱光图像增强任务也开始采用卷积神经网络进行处理。典型应用有超分辨率4 和去除雨水5 等任务。Lore 等6 提出了一种堆叠稀疏去噪自编码器进行弱光增强降噪方案，但是，此方案缺少对弱光照图像本质的考虑。针对上述问题，为了减少参数的调整和更好地体现弱光图像的本质，本文采用 etinexNet7 模型对交通标志图片进行光照增强操作，该方法不仅在弱光增强中带来不错的视觉质量，而且为图像分解提供了良好的表征。对交通标志图片进行光照增强操作，有利于后续的识别操作。目前，用于弱光照环境下的交通标志识别相对较少。Khan 等8 提出了一种具有照明预处理能力的智能交通标志识别系统。在具有挑战性的韩电子器件第 46 卷国交通标志检测数据集上平均精度可达 9007%，在德国交通标志检测数据集上平均精度为 100%。屈志华等9 提出一种改进的基于图像关键点统计变换特征的 Adaboost 集成算法，实验结果显示，对于低光照环境下的交通标志图像，此算法的检测精确率为9496%，在复杂光照环境下具有良好的稳健性。Xu等10 提出了一种基于自适应颜色阈值分割和形状对称性假设检验的交通标志检测方法，结果表明在德国交通标志检测基准数据集上准确率超过 94%，证明该方法具有更高的检测精度和时间效率。任条娟等11 提出一种基于胶囊神经网络的交通标志识别算法。仿真结果表明，该方法在训练阶段具有较快的训练速度，在识别阶段可有效提高弱光照图片的查全率，提高交通标志的识别率。上述方法虽能解决各种复杂环境下交通标志识别与检测任务，但针对特定弱光照环境下交通标志过暗，识别困难的问题，相关研究相对较少，交通标志识别的准确率还有待提高。针对上述问题，提出一种弱光照交通标志识别方法，即先用 etinexNet 模型对交通标志图片进行光照增强任务，然后将光照增强的交通标志图片采用改进 egnet 模型进行识别。图 2etinexNet 增强交通标志光照流程图1弱光照环境下交通标志识别11弱光照交通标志识别模型针对弱光照环境下交通标志识别困难的情况，提出一种弱光照交通标志识别方法。图 1 给出了弱光照交通标志识别模型，此模型一共包含两大部分，第一部分采用 etinexNet 模型来增强交通标志光照，从而提高交通标志亮度，使得交通标志更容易被看见。第二部分是交通标志识别模型，采用改进egnet 模型来训练弱光照交通标志数据集，得到识别模型的 F1 值，召回率，精确度，准确率四项指标，用于评价所提出模型的性能。图 1弱光照交通标志识别模型111etinexNet 模型首先对弱光照交通标志图像进行 entinexNet增强光照实验。如公式(1)所示，etinex 原理是由反射分量 和光照分量 I 相乘得到图像 S:S=I(1)公式中反射分量 是图像本身，光照分量 I 是外界光照对图像的影响，一般通过校正光照分量 I或者去除光照影响，使图像增强。图 2 给出了 etinexNet 增强交通标志光照流程图，可以看出四张不同种类弱光照交通标志图片，经过 etinexNet 模型的分解模型、调整模型和重建三部分，最终得到其光照增强交通标志图片。下边分别详述 etinexNet 模型三大组成部分。第一部分是分解模型。分解光照分量 I 和反射分量，该模型得到低光照图像的光照分量 Ilow与反射分量 low，正常光照图像的光照分量 Inormal与反射分量 normal是通过共享参数和输入正常光照与低光照图像对来实现的。模型的优化通过 Ilow、low、Inormal、401第 1 期张娜，李志刚:一种弱光照交通标志识别方法normal分量之间约束关系来实现，目标函数是约束关系的关键。分解模型损失函数如式(2)所示:L=Lrecon+irLir+isLis(2)式中:Lrecon是重建损失，Lir是反射分量一致性损失，Lis是光照分量平滑损失。重建损失旨在使模型分解出来的反射分量 和光照分量 I 能够尽可能重建出对应的原图。重建损失如式(3)所示:Lrecon=i=low，normalj=low，normalij|iIjSj|1(3)反射分量一致性损失中，反射分量 与光照无关，因此成对的正常光照和低光照图像的反射分量 应一致。反射分量一致性损失如式(4)所示:Lir=lownormal1(4)光照分量平滑损失作用是反射分量 上平滑区域对应到光照分量 I 上也要平滑。光照分量平滑损失如式(5)所示:Lis=i=low，normalIiexp(gi)(5)第二部分是调整模型。调整模型主要是噪声进行抑制反射分量 和校正光照分量 I。对 Ilow调整:由于多尺度连接能够提高自适应调整能力，因此提出了多尺度 Enhance-Net 光照网络来调节。对 low调整:采用了 BM3D 算法对 low中被放大的噪声抑制并引入了光照策略。第三部分是重建。重建是用调整完的反射分量 和光照分量 I 恢复出正常光照图像。由调整后的low和 Ilow相乘得到正常光照图像。图 3改进 egnet 模型112改进 egnet 模型本文采用改进 egnet 模型对弱光照环境下的交通标志进行识别，为了更好地保证实时性且提高识别准确率，选择了简单而快速的空间设计网络egnet12。图 3 给出了改进 egnet 模型，可以看出egnet 模型由 Stem，Body，Head 三大部分组成，其中Stem 部分采用 Asymmetric Convolution Net(ACNet)13 中的 ACBlock 模块，Body 部分在组卷积层(GroupConv)后加入注意力机制14(SE)模块。本文通过采用 ACBlock 模块与加入 SE 模块来提高 egnet 模型的识别准确率，得到改进 egnet 模型。Stem 部分是用来提取交通标志图像特征的，为了提高交通标志图像特征的提取能力，Stem 部分采用 ACBlock 模块，图 4 给出了 ACBlock 模块结构图，可以看出 ACBlock 模块将原来的 3*3 卷积层替换成 3*1+3*3+1*3 卷积层，然后将 3 个卷积层的计算结果进行融合得到输出。其中，3*1 是竖形卷积核，提高交通标志图像的纵向特征;1*3 是横形卷积核，提高交通标志图像的横向特征;3*3 卷积核，用来提取交通标志图像的基础特征。图 4AC Block 模块图 3 中 Body 部分由 4 个 Stage 堆叠而成，每个Stage 由一系列 Block 堆叠而成，可以看出 Block 中的每个组卷积层(Group Conv)后都加入 SE 模块，实现从交通标志特征中选择出对图像识别更关键的特征，抑制其他无用特征的作用。图 5 给出了 SE 模块，可以看出 SE 模块由一个全局平均池化和两个全连接层组成。其中，全连接层 1(FC1)的激活函数是 eLU，全连接层 2(FC2)的激活函数是 Sigmoid。图 5注意力机制(Squeeze-and-Excitation，SE)模块2实验21实验数据实验数据来自中国交通标志检测数据集15(CSUST Chinese Traffic Sign Detection Benchmark，501电子器件第 46 卷CCTSDB)，数据集包括禁止标志、警告标志、指示标志三类。图 743 类交通标志关于弱光照数据集的收集过程进行如下说明，图 6 给出了全景截取交通标志，可以看出根据数据集中所给出的标注框，只