基于模拟多曝光融合的行人动作图像增强方法_徐沛.pdf

电 子 元 器 件 与 信 息 技 术|1科技前瞻基于模拟多曝光融合的行人动作图像增强方法徐沛，沙长涛（通信作者）中国电子技术标准化研究院，北京，100176摘要：传统图像增强方法缺少对于细节的描述，导致出现亮度失真现象，从而影响图像清晰度，基于此，研究基于模拟多曝光融合的行人动作图像增强方法十分必要。确定曝光图像并生成过度曝光图像与中度曝光图像，对图像的细节进行调整，并对其实行光照补偿后，基于模拟多曝光融合方法对行人动作图像进行增强。实验结果表明：采用分区模拟多曝光融合的方法对行人动作图像进行增强后，可以准确地观察出图像中行人的动作，并且图像的亮度失真值平均只有152.5cd/m2。由此可见，基于模拟多曝光融合的行人动作图像增强方法效果更好。关键词：模拟多曝光融合；行人动作；图像增强；亮度失真中图分类号:TP751文献标志码:ADOI:10.19772/ki.2096-4455.2023.1.001 0引言随着科技的不断进步，对影像的拍摄手段日益多元化，这也使得我们对影像的品质要求愈来愈高。但是，在对影像进行拍摄的过程中，会由于许多外在环境的干扰，尤其是特定的光线环境下，使得得到的影像曝光不均衡、细小画面出现不足，或者是不能看到影像里面的东西。这种现象的出现，有许多时候是摄影器材本身的动态轨迹影响的，发生这种现象时如果单纯地改变器材本身的曝光率，并不能真正地处理影像出现问题的地方，或者是产生异常拍摄的情况1。曝光的设置也能让以前不能正常显示的部分恢复，但也会使原本显示正常的区域逐渐地向过度曝光的方向发展，导致最终仍然无法正常地观察图像。针对这样的情况，国内外的很多学者进行了大量研究，当前所使用的方法主要就是通过直方图以及Retinex图像来进行增强。而我国当前最经常使用的图像增强方式就是利用直方图，这个方法因为操作过程相对简单在很多领域应用，但这个方法对噪声很敏感，在对图像进行增强的时候也会出现增强过度的现象。虽然重新调整后的图像增强效果相对较好一点，但图像本身的纹理还是会出现部分重要信息丢失的情况2。因此，研究基于模拟多曝光融合的行人动作图像增强方法十分必要。此次研究在大量先进图像增强技术以及方法的基础上，结合传统方法存在的问题引入模拟多曝光融合技术，对图像进行更进一步的优化与增强，从而能够达到理想的工作效果。1确定并生成曝光图像1.1过度曝光图像生成为了提高行人在进行运动时图像的可视化质量，解决图像自身亮度弱、对比度低以及细节的信息不够清晰等问题，就必须制作出各种曝光程度的虚拟图像绘画，并对图像做出相应的曝光效果处理。首先，我们把图像本身的质量当作评价图像内部最佳曝光率的标准，然后再通过调整图像中最大曝光率的比值，提高图像中曝光不足部位的图像清晰度，那么就可以利用式（1）进行图像过滤，从而得到曝光不足的图像中有关像素的灰度值集合。（1）作者简介：徐沛，男，河南郑州，本科，高级工程师，研究方向：电子信息、无线电计量。通信作者：沙长涛，男，内蒙古海拉尔，硕士，高级工程师，研究方向：电子信息、无线电计量。dianzi yuanqijian yu xinxijishu 电 子 元 器 件 与 信 息 技 术2|其中：代表行人动作图像 中亮度这一分量；代表图像中曝光不足区域像素灰度值的阈值范围，这里将取值为0.5。那么，图像中曝光不足区域，一定会存在相应的像素点，这些像素点所构成的信息熵如式（2）所示。（2）其中：代表W中每一个灰度的等级i可能出现的概率3。随后，可以利用图像中可能存在的信息熵以及信息熵最大化的原则，得到图像的最佳曝光率，具体关系如式（3）所示。（3）其中：代表最佳的曝光率；代表图像的曝光率；arg代表复数对角；而代表有关亮度映射的函数，具体表达方式如式（4）所示。（4）其中：a与b均代表常数，其中a为-0.3293，b为1.1528。于是，可以通过获取动作图片中最佳曝光率，并使用关于亮度映射的函数，对行人在动作图片R1中的亮度这一分量B，进行虚拟化的曝光处理，得到处理之后的分量如式（5）所示。（5）其中：代表图像中与曝光率相关的变化量，通常情况下，取值为1。最后，可以将处理之后的分量B与其他保持不变的分量进行重新组合，形成色调、饱和度以及明度相关颜色的图像模型，并将其相互转换的颜色空间作为过度曝光的图像R3。1.2中度曝光图像生成如果仅仅使用过度曝光作为行人动作图像的互补图像，将其用来进行图像融合的话，所能够提供的信息非常受限制，在图像增强的效果方面也难以达到最理想的状态4。比如说，在行人动作图像中比较明亮的区域跟过度曝光图像中阴影比较昏暗区域进行对比的时候，很难对图像中所有可能存在的像素点进行权重的重新定义后保持原本的亮度。所以就需要利用行人动作图像以及所生成的过度曝光的图像作为主要输入图像，生成中度曝光的图像后进行融合。假设，相同场景下的行人动作图像R1(q)和过度曝光的图像R3(q)的曝光时间分别为和，并且大于，那么中度曝光图像的曝光时间如式（6）所示。（6）随后，就需要了解中度曝光的图像与其他曝光不同图像之间的关系5。假设，代表过度曝光图像R3(q)与中度曝光图像R2(q)之间关于亮度的映射函数关系，则代表行人动作图像R1(q)与中度曝光图像R2(q)之间关于亮度的映射函数关系，那么和的表达公式如式（7）所示。（7）其中：代表相机响应的函数关系，x代表某一图像6。在明确了中度曝光的图像与其他不同曝光的图像之间存在一定关系后，就可以利用行人动作图像和过度曝光图像作为其输入的核心数据之一，利用公式（7）生成两个中间的虚拟图像，还需要保证这两个图像具有的曝光情况是一样的，具体如式（8）所示。（8）最后，就可以利用加权后的融合算法将生成的两个虚拟图像与中度曝光图像进行融合，具体关系如式（9）所示。（9）其中：和 代表权重的比例函数，具体关系如式（10）所示。（10）电 子 元 器 件 与 信 息 技 术|3科技前瞻其中：和的关系如式（11）所示。（11）其中：和分别代表常数。由此就可以生成中度曝光的图像7。2调整细节并进行光照补偿在对图像进行光照补偿的过程中，需要将变分的同态滤波进行增强之后所得到的V通道结果，作为以光照补偿为基础的输入图像。根据变分的同态滤波理论得到实际图像中有用的特征信息，对光照进行更进一步的调整。并且，在相关图像进行光照补偿的过程中，可以利用Sigmoid函数以及伽玛校正构建出关于光照补偿的统一化函数关系，具体如式（12）所示。（12）其中：U0代表转化之后V通道进行统一化的结果；U2代表进行光照补偿之后的结果；代表反正切运算；s代表拉伸因子，主要用来调整图像中亮度较低区域的拉伸程度8。而对于拥有不同亮度的图像，其相应的结果也会随着s的变化而发生变化，具体如式（13）所示。（13）其中：mean代表取得平均值。可以看出，行人动作图像的均值越低，其拉伸因子会相对较高，那么对于亮度较低区域的拉伸效果就会越高，从而得到的信息也会更多。在对图片进行细节调整的过程中，可以同样直接利用将经过变分的同态滤波片进行强化之后所获得的V通道结果进行更有效的细节调整，而想要突出经过强化之后图片细节的整体效果，就必须对原本图片中所隐含的细节加以发掘。使用反锐化掩膜的算法实现细节调整，并可以通过一般的mask获取新引入的噪声信号，以及所有可以利用在高斯引导下的滤波获取到掩膜的部分，具体过程如式（14）所示。（14）其中：m、n代表图像中像素的坐标位置；l代表图像中间的位置；代表图像的标准差值。对掩膜的部分使用均衡化的直方图获得图像加强之后的具体效果，并且将原本图像以及均衡化之后的图像进行统一，具体如式（15）所示。（15）其中：f是根据单位矩阵图像除去高斯滤波之后的图像，具体计算如式（16）所示。（16）其中：Pgama代表利用伽玛校正后得到的Sigmoid函数。最后，再根据两个统一化之后的图像，就可以得到进行细节调整之后的最终图像，具体如式（17）所示。（17）其中：O代表单位矩阵下的图像；I可以代表U2在经过对直方图的均衡性处理之后，再经过标准化处理之后，最终获得的结果9。而最后获得的V，就是经过增强后的图像。3基于模拟多曝光融合增强行人动作图像因为进行模拟多曝光的R1、R2、R3是来自同一个场景，目标内容的高度相一致，但是每一个所侧重的点是不同的。这样在设置权重的过程中，既可以有效地增强行人的画面中不能进行拍摄的地方，又可以合理地保护原本画面中曝光非常好的地方。这样就必须给曝光范围优质区域的像素分配比较大的权重值，给没有进行曝光区域调整的像素分配比较小的权重值。而根据这样的实际效果，就必须按照画面的亮度、曝光范围和颜色对比度这三个角度进行权重的重新设置。亮度的权重设计与目标场景的能见度存在一定关系，应该给曝光优质区域分配的权重比例较大一些，而其他区域分配的权重比例较小一dianzi yuanqijian yu xinxijishu 电 子 元 器 件 与 信 息 技 术4|些。权重的重新设计是基于红绿蓝三个颜色通道的信息，具体如式（18）所示。（18）其中：分别为图像Ri相互转换后的颜色空间中红色、绿色、蓝色的数值。曝光程度的权重利用像素的曝光程度来进行估算。通常情况下，增强的像素值需要维持在一个相对平衡的状态下，所以可以利用高斯距离的模型对曝光程度的权重进行重新设计，具体如式（19）所示。（19）因为希望增强之后的图像像素维持在一个中间的状态，所以Rimax的取值范围在0到1之间。假设Rimax设置为0.5，那么标准差 就可以设置为0.25。色调对比度的权重是高质量图像中一个非常重要的特征，主要设计的方式就是利用色调滤波，具体如式（20）所示。（20）其中：J和D代表输入图像在色调、饱和度以及明度相关颜色图像模型中的分量；用来保持颜色相互之间的对等；代表各个颜色之间存在偏移的角度；用来缓解颜色饱和程度的影响。为了让所得到的图像处于一致的状态，那么就需要对每一个曝光图像的权重进行统一化的处理，具体如式（21）所示。（21）最终得到的增强之后的图像，就是利用模拟多曝光融合处理之后得到的图像10。如果使用传统的融合方法，就会让最终得到的图像因为增强之后产生离散状态的光晕效果。因此，就需要使用模拟多曝光融合的方法，首先需要先使用拉普拉斯金字塔原理，对不同程度曝光图像按照不同的尺寸进行分解；而三种颜色的权重示意图则可以使用高斯金字塔原理，对不同程度曝光图像按照不同的尺寸进行分解。至此实现基于模拟多曝光融合的行人动作图像增强方法。4应用与分析4.1实验准备工作为了测试此次提出的行人动作图像增强方法的准确性以及实际使用过程中的效果，选择五个不同场景下的行人动作图像作为被检测的对象。总共采集到的数据为50组，其中可以准确观察出图像中行人动作的有38组，无法准确观察出图像中行人动作的有12组。为了验证本文方法的有效性，分别使用两种不同方法对无法观察出动作的图像进行增强，来验证不同方法的使用效果。4.2实验测试与数据分析根据场景不同随机选择一张图像分别使用两种不同的方法进行增强，具体对比图像如图1所示。图 1行人动作图像效果对比图由图1可以看出，原始图像中无法清晰地看出人物的细节以及相应的动作，所以就需要对图像进行增强。使用传统方法进行图像增强之后，虽然比原始图像的亮度更高，但有些部分出现过度曝光的现象，影响了图像整体的质感；而使用本文方法进行图像增强之后，可以清楚地观察出图像中人物的细节信息甚至行走的动作。明显可 电 子 元 器 件 与 信 息 技 术|5科技前瞻以看出，使用本文方法增强之后的图像比原始图像更加清晰，亮度也有所提升。为了验证上述结果的准确性，还需要进行对比实验，本次实验共进行5次，表1为不同行人动作图像增强方法具体测试结果。表 1不同行人动作图像增强效果结果（组）测试轮次传统方法本文方法1 512271136124511579平均611由表1可以看出，使用传统方法对行人动作图像进行增强时，可以观察出图像中行人的动作，平均只有6组；而使用了模拟多曝光融合的方法之后，可以准确地观察出图像中行人的