图像插值中反问题数值算法的应用_马世登.pdf

157计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering众所周知，随着计算机科学技术的发展尤其是随着智能手机类产品的广泛应用，人们已能随时随地生成或访问各种类型的图像。因此，图像处理技术中的实时性、速度和高分辨率对计算机视觉而言变得十分重要,尤其是人工智能技术的发展对各种图像数据集的处理和技术要求对图像插值的最优化算法提出了新的要求。而随着互联网和多媒体技术以及人工智能的高速发展，图像处理对消费性智能电子产品应用而言也变得非常重要。针对从各种多媒体设备（例如移动电话、数码相机和便携式计算机）上获得尺寸各异的图像，人们存在各种需求需要对图像进行各种处理。随着工业信息化的发展，机器视觉也需要各种高速实时的图像处理技术。空间技术及遥感技术的发展也产生大量的图像处理需求。各类图像处理中一个重要的图像插值领域就是如何把低分辨率图像生成高分辨图像。针对用户需要处理的原始图像分辨率不高，希望通过技术手段尤其是通过数学算法生成新的高分辨率的图像的情况，我们对图像插值技术领域进行了各类算法的比较研究，以期寻找到一种利用低分辨率图像获得高分辨率图像的最优化数值算法。将低分辨率图像生成高分辨率图像进行模糊图片的清晰化处理是图像插值作为图像处理中的重要应用技术之一，其重要的一个应用意义是在实现放大图像进行展示时呈现高分辨率图片，而在存储时可以使用低分辨率的图片储存格式。这样以来在图像压缩中获得更高的压缩比。另一个重要应用意义在于由于各种原因没法获得高分辨图片或完整的图片，可以使用图像插值增强图片的表现力或者进行图片修复。近年来，图像插值在许多领域得到了广泛应用，如空间卫星成像、医学成像、人物照片放大、视频处理、图片修复等。此外，图像插值的技术在图像处理技术领域一直处于关键位置发挥着重要的作用，并被广泛应用于各个领域。传统的图像插值算法是对原有图像的像素进行增加和重新分布，来改变像素数量的一种方法。在图像放大过程中，像素也相应地增加，增加的过程就是“插值”发生作用的过程，“插值”算法选择信息较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素，所以在放大图像时，图像看上去会比较平滑、干净。是插值并不能增加图像信息，尽管图像尺寸变大，但效果也相对要模糊些，传统的插值过程可以理解对原有像素的复制或调整，不能通过类似于预测的方式产生原有像素中不存在的像素。鉴于现有图像插值算法的性能不尽如人意，因此本文对一种新的基于反问题数值算法的图像插值算法进行了研究。其技术核心是能通过反问题的数学方法产生出原有像素分布着不存在的像素，从而在生成高分辨率图像时更清晰更逼真速度更快。反问题是相对于正问题，反问题系指科学和数学中一些最重要的数学问题。数学物理反问题是源于物理、生物、医学、地质等众多科学领域中的实际问题，经过数学建模而产生的一个新兴交叉学科领域。与正问题的研究历史相比，反问题的研究起步于近十几年，发展还远不成熟。从研究规律上来说，反问题的研究的难度一般比相应的正问题要大。因为反问题的求解往往不能借助于现有的已知的物理过程的自然顺序，从而使正问题中的许多适定性质不再满足。存在性、唯一性和稳定性，三者之一不满足就称为不适定性问题。特别，如果条件不满足，那么就称为阿达马意义下的不适定问题。一般地说不适定问题，常常是指阿达马意义下的不适定问题。在经典的问题又称为不适定问题。适定问题是指满足下列三个要求的问题：（1）解是存在的（存在性）；图像插值中反问题数值算法的应用马世登（广东东软学院 广东省佛山市 528225）摘要：本文主要探讨了图像插值算法中的反问题的数值算法，图像产值是一种图像处理方法,它可以为数码图像增加或减少象素的数目。图像插值算法较多，反问题的数值算法是一种较为有效的方法。本文研究反问题所需的基本数学工具，求解反问题的正则化方法，正则化参数的选取方法，探索反问题的算法在图像插值问题中的应用。尝试使用该算法与其他算法进行比较解决图像插值问题，典型的图像插值应用定义为以用输入的低分辨率图像生成高分辨率图像。为此，我们首先分别构造高分辨率图像、低分辨率图像和加性噪声的向量，用这些向量对图像插值问题进行了数字化描述。其次，针对图像插值问题，提出了反问题的逐次逼近法解决该图像插值问题的解决方法。经过多次迭代后，即可获得高质量的高分辨率图像。第三，使用已知从高分辨率图像生成的 12 幅低分辨率测试图像进行不同方法的性能评价后，实验结果表明，本文提出的反问题插值方法比传统方法具有更好的性能。关键词：数值算法：反问题：图像插值：高分辨率图像：低分辨率图像本文受以下项目资助：中国高校产学研创新基金项目：1、基于异构计算的工业机器人自主实时定位和运动环境构建（2020HYA06005）；2、激光 SLAM 构建地图上的视觉识别和运动控制实现（2021JQR010）；3、“边缘计算”模式下的智能体（机器人）协同运动控制（2021LDA02002）；广东省高校成果转化中心高校特色创新研究项目（2022DZXX02）“边缘计算”模式下的智能体（机器人）协同运动控制。158计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering（2）解是惟一的（唯一性）。数学物理中，人们只研究适定问题。由于这些问题的数据常常是通过测量给出的近似值，问题通常没有精确解。因此，人们就去寻找满足方程但只是近似地适合定解条件的所谓近似解，或近似地满足方程的近似解。当然，这些近似解一般是没有惟一性的，但是若对近似解所在的函数类加以适当的限制，例如紧性的限制，便可以保证近似解对数据的连续依赖性用传统研究者的眼光来看，这样的问题是不值得或没法进行研究的。反问题方法的主要解决思路是:利用对解和数据误差的先验估计可以将问题的求解限定在某个较小范围内，对问题的提法进行适当的改造后，原本不适定的问题就可以转化为适定的最优化问题求解，而且先验估计表明在一定精度下用正则化方法求得的解是合理的。这些反问题算法已成功应用于光学、雷达、声学、通信理论、信号处理、医学成像、计算机视觉、地球物理学、海洋学、天文学、遥感技术、自然语言处理、机器学习、无损检测等领域。图像处理经常被处理成反问题，什么是反问题处理图像，考虑正问题 f=Au+，是观测噪声，反问题就是在有了观测 f 的条件下怎么获得真实图片 u，如果 A 是一个恒同算子，反问题就是去燥。如果 A 是一个模糊，反问题就是去模糊。1 图像插值问题定义说明插值指的是利用已知数据去预测未知数据，图像插值则是给定一个像素点，根据它周围像素点的信息来对该像素点的值进行预测。当我们调整图片尺寸或者对图片变形的时候常会用到图片插值。常见的图像插值算法有：最近邻插值，双线性插值，双三次插值方法等等。其中最近邻插值方法（零阶插值）最简单，运算量最小，但是效果很差，块效应非常明显。双线性插值算法也是常用的一种图像插值方法，和最邻近插值算法类似，先获取原始图像的坐标，获取的坐标值是个小数，最近邻插值算法直接四舍五入，从而得到映射的灰度，但双线性插值不是直接四舍五入，它是根据该坐标点周边的四个点值依据各自的权重得出该点的灰度，计算公式如下：x0=x1/scale y0=y1/scale x=int(x0)y=int(y0)u=x0-x v=y0-yf(y1,x1)=(1-v)(1-u)f(y,x)+(1-v)uf(y,x+1)+v(1-u)f(y+1,x)+uvf(y+1,x+1)由于该灰度跟邻近四点有关，所以不会像最近邻插值一样出现锯齿状，可以更好的应用于图像插值。邻点间灰度值变化率的影响。三次插值运算可以得到更好的效果。双三次插值算法也称为立方卷积插值算法。三次卷积插值是一种计算复杂的插值方式。该算法利用待采样点周围 16 个点的灰度值作三次插值，像双线插值算法考虑 4 个直接相邻点的灰度影响，当然该方法导致了运算量的急剧增加。借鉴上述解决问题的思路，引入反问题进行插值处理。图像插值算法在分辨率提升方面的数学描述是指用输入的低分辨率图像（简称 LR）生成高分辨率图像（简称 HR）。我们假定原始 HR 图像的像素为，并且 LR 图像的像素为，其中 L 大于 1。则目标 LR 图像表述如下：y=Hf （1）其中，fN 和分别为高分辨率图像和低分辨率图像的列堆叠向量。表示二次采样矩阵。假设 HR 图像由维度 y=N1 组成，用 s 表示。则可通过求解以下优化问题计算 HR 信号 x。（2）其中，D(x)表示保真度项，该保真项能够补偿低分辨率信号 y 和估算的高分辨率信号 x 之间的差异，同时用 x，和 R(x)分别表示正则化参数和正则化项。根据上述分析及定义，可通过下述等式解决图像插值问题。y=Hx+v （3）其中，符号 x、y 和 v 分别为 NN 高分辨率图像、MM低分辨率图像和加性噪声值的有序向量。而且，向量 x，y和 v 的大小分别是 N21，M21 和 M21。图 1159计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering2 针对图像插值的反问题数值解法如维基百科所述，科学中的反问题是通过一组观测数据推导出产生该数据的原始因素的过程，如计算计算机断层摄影（核磁共振）中的图像，重建声学中的声源，或通过测量地球的重力场来计算地球的密度。反问题即指用结果数据算出原因因素。可通过求解下述代价函数解决上述等式（3）所示的优化问题。（4）其中，C 表示正则化算子，且 表示正则化参数。然后，可通过以下计算过程解决优化问题。（5）其中，x 可通过以下算法使代价值最小。（6）基于上述分析，使用反问题数值解法中的逐次逼近法解决图像插值问题，即如下所述。（7）其中，xi为在第 i 次迭代中获得的高分辨率图像，为收敛参数。经多次迭代后，即可获得高质量的高分辨率图像。3 对比实验验证在本节中，我们做了多次实验以测试不同类图像插值算法的性能。将我们的上述方法与其他数种图像插值法，如图 1 中的稀疏表达混合估计（SME）插值、使用非局部自回归建模（NARM）的基于稀疏表示的差值以及基于自适应非局部稀疏建模（ANSM）插值进行比较。重点记录了使用 12 种典型测试图像进行性能评价，即 1）plane、2）cameraman、3）flower、4）girl、5）peppers、6）leaves、7）boat、8）birds、9）hats、10）lena、11）motorbikes、12）butterfly。对 12 类型的的图片采用三种插值方法形成的峰值信噪比（PSNR）值进行对比。对不同图像插值法的峰值信噪比（PSNR）值进行了可视化表示。为了数据的一致性所有图像均为每像素点为 8 比特的灰度图像（为保证测试图像的可度量化、可验证和可比较性）。通过输入的从高分辨率图像所生成低分辨率图像用于验证，（分别使用稀疏表达混合估计（SME）插值、使用非局部自回归建模（NARM）的基于稀疏表示的差值以及基于自适应非局部稀疏建模（ANSM）插值的方法进行图像生成），随后用不同的图像插值算法还原回其原始状态，以此来比较不同算法的优劣。为确保试验有效，所有方法的实验条件设置均保持一致。本文使用的性能评价标准为峰值信噪比值（PSNR），其定义如下所述：（8）表 1：图像插值结果Image nameOriginalSMENARMANSMThe proposed methodPlaneBirdsPeppers160计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering其中，八位灰度图像的灰度值为 255。不同图像插值法的 PSNR