基于Retinex理论的彩色眼底图像增强方法研究计算机专业.docx

第二章 主要眼底图像增强方法 彩色眼底图像增强对医学诊断具有重要的作用，目前主要的彩色眼底图像增强方法有：直方图均衡化、对比度受限自适应直方图均衡化以及Hessian矩阵增强方法。 2.1 直方图均衡化方法 一般来说，图像对比度的可用较为常见的两种方法进行增强处理，分别为间接对比度增强方法是直方图拉伸方法和直方图均衡化(Histogram Equalization，简称HE)方法。对于直方图均衡化而言，图像灰度改变的是通过累积函数来实现的，以此达到增强对比度的效果。其基本的操作步骤的核心思路即，对原始图像的非均质化拉伸处理，使其像素值间距扩张，均匀化各灰度范围的像素量。 这种方法也存在一些缺点： (1) 增强后图像的灰度级会变少，部分细节会消失； (2) 当输入图像的直方图有非常密集的部分时，增强后的图像的对比度会增强过度。 通过直方图均衡化，图像的亮度可以更好地分布在直方图上，让图像更易于观察。用这种方法来增强图像局部的对比度就不会使图像整体的对比度产生影响，直方图均衡化通过有均衡亮度密集的区域来实现这种功能。 直方图均衡化对增强背景太亮或者前景太暗的图像有很好的效果，尤其是增强X光图像中清晰度较差的骨骼结构以及曝光过度和曝光不足的图像中的细节信息。这种方法具有一个特殊优势是它的直观性和可逆操作性，若均衡化的函数是已知的，则可以构造出初始的直方图。但该方法的缺点也很明显，即必须对所有的数据进行分析，这就可能会增加背景的对比度并且降低有用信息的对比度。 图像的直方图可以表现出图像像素值的分布规律。由于图像是由大量像素组建而成，因而可以将像素分布的直方图进行列表统计来对其特征进行分析研究。直方图对图像特征的提取和确定其相似度上都具有巨大的贡献，它能通过对不同区间的像素值分布特征进行整体上的调整，优化其灰度分度，进而达到增强图像的视觉感。 直方图与图像清晰度的有如下关系： (1) 亮度不足，即代表其在直方图中主要位于像素值较小区间； (2) 亮度高，即表示其在直方图中主要位于像素较大区间； (3) 灰度级随对比度的降低而降低，且中间水平的灰度级是主要信息的储存区； (4) 灰度级随对比度的升高而升高，且主要信息呈均匀化分布。 直方图均衡化的基本思想是使输入图像的直方图分布变的均匀，这样就会使图像的灰度级增加，从而可达到图像对比度整体增强的效果。假设未处理前的图像在二维坐标系当中，令其灰度值在(x,y)处为f，处理后其灰度值为g，则可认为当f转变为g时，就实现了对图像效果的增强。综上，可将其转换函数表示为：g=EQ(f)，这个映射函数EQ(f)必须满足两个条件(其中L为图像的灰度级数)： (1) 为使输入图像的灰度排列不被打乱，在区间0≤f≤L-1内，EQ(f)必为单调递增函数。 (2) 为使转换前后灰度不发生动态变化，当0≤f≤L-1时，必有0≤g≤L-1。 HE方法如下： (1) 设f、g分别为输入图像和增强处理后的图像。 HE方法第一步如图2-1所示。计算输入图像f的灰度直方图，设为h。h为一个256维的向量。 图2-1 HE方法第一步 (2) HE方法第二步如图2-2所示。求出输入图像f的像素总数： (2-1) 式(2-1)(m，n分别为图像的长和宽) 不同灰度级范围内的像素量占整个图像的比例可表示为： (2-2) 图2-2 HE方法第二步 (3) HE方法第三步如图2-3所示。计算图像的灰度级的累计分布hp： (2-3) 图2-3 HE方法第三步 (4) HE方法第四步如图2-4所示。求出增强图像g的灰度值： (2-4) 图2-4 HE方法第四步 图2-5展示了直方图均衡化的结果图，上述方法处理前后的直方图对比。从图中可以发现，前后的直方图有很大的变化，增强效果非常明显，清晰程度与对比度增强。 直方图均衡化方法是一种十分有效的增强方法，它对于景物中轮廓背景鲜明，即亮度或暗度明显的图像非常有效果。但是这种方法对所处理的图像的信息不做区分，这会导致增加复杂背景的信息，并且对需要增强的部分也有影响，会降低其对比度。将直方图均衡化方法应用于图像去雾问题，虽然可以取得一定的增强效果，但是去雾后的整体视觉效果并不算理想。 (a) (b) (c) (d) 图2-5 直方图均衡化前后及直方图 彩色眼底图像及其直方图均衡化处理结果示例如图2-6所示。 (a) (b) 图2-6 HE增强 (a)输入图像； (b)HE方法增强结果 2.2 对比度受限自适应直方图均衡化方法 图像增强技术可具体为时域和频域。时域增强往往被应用于提高图像的对比度且改进其灰度级，其原理是在灰度映射转化的基础上，对像素进行直接性地处理；频域增强的作用是以强化图像的低、高频来达到改善图像的平滑性和边缘为主，其原理是通过傅里叶转换的方式提升兴趣区的频率分量。 图像灰度分布不均的问题对于图像处理技术而言是一个影响较大的问题，为了能解决这个问题，基于时域增强理论，采用映射函数当中的非线性函数，通过转化后使其像素分布均匀。 直方图均衡化方法通过不同的灰度分布方案使转变为灰度值均匀化分布的图像，以眼底图为例，利用直方图提取灰度映射曲线，再对其进行转换，从而提升亮度。但该方法仍有瑕疵，即无法增强其对比度，且在此过程当中，一并将噪声信号也同时放大了。以AHE(Adaptive Histogtam Equalization)为例，该方法将图像利用网格线切割为数量众多的小格子区域，并对每一个格子进行均衡化处理。但该方法会导致图像失真，且其微噪也会因此而放大。因此，这里提出了对比度受限制自适应直方图(Contrast limited Adaptive Histogtam Equalization，CLAHE)，即对每一个划分单元进行对比度的限制处理，这也是该方法与传统的AHE的不同之处[22]。 CLAHE通过限制局部直方图的高度来限制噪声放大和局部对比度增强。该方法将图像划分为多个子区域；然后对每个子区域的直方图进行分类。再对每个子区域分别进行直方图均衡化，最后通过对每个像素进行插值运算来获得变换后的灰度值，以此实现对比度受限自适应直方图均衡化图像增强。 CLAHE方法原理： CLAHE与AHE不同的地方是增加对比度限幅，这就可以克服AHE的过度放大噪声的问题； (1) 设置M×M大小的正方形滑动窗口，局部映射函数可表示为： (2-5) (2) 滑动窗口局部直方图的累积分布函数(cumulative distribution function)： (2-6) 从上式可看出，控制器直方图高度，就能直接对映射函数的斜率进行限制，以此控制对比度强度； (3) 令限定的最大斜率为Smax，可得到直方图最大高度为： (2-7) (2-8) (4) 对高度大于Hmax的直方图应截去多余的部分： (2-9) 实际处理中，设定阈值T对直方图进行截断划分，该阈值不等于Hmax，将其截掉的部分在整体的灰阶范围内分布均匀，达到总面积不变的情况下提升高度。 (5) 最后改进的直方图为： (2-10) 综上所述，改变最大的映射函数斜率Smax及相应的最大直方图高度Hmax，可获得不同增强效果的图像。 CLAHE方法处理结果如图2-7所示。 (a) (b) 图2-7 CLAHE方法 (a)CLAHE处理前的直方图； (b)CLAHE处理后的直方图 如上所述的处理方法，据综合分析对比后，发现无论是否有无对比度的限制处理，都必须要对任一像素去进行计算其直方图和变换函数，这就导致该方法极其耗时。 而插值方法大大降低了上述方法的运算速度，并且增强的图像的质量并不会下降。插值方法如图2-8所示。首先，将图像均匀分成多分相同大小的矩形，如下图的右侧部分所示。然后计算一个矩形的直方图和对应的变换函数。对于其他像素而言，可通过其周围矩形中的变换函数进行插值处理得到。其中，采用双线性插值区域为蓝色矩形部分，采用线性插值区域为浅绿色矩形部分，而对于浅红色的矩形，可直接利用其变换函数。 图2-8 插值方法 按照这种过程就可以大大地降低变换函数所需的计算次数，这种方法只增加了部分双线性插值的计算。 采用CLAHE方法对彩色眼底图像进行增强，结果示例如图2-9所示，彩色眼底图像的饱和度更好，血管纹路更清晰。 (a) (b) 图2-9 CLAHE方法增强 (a)输入图像； (b)对比度受限制自适应直方图处理 2.3 Hessian矩阵增强方法 Hessian矩阵增强的核心是采用求解高阶微分的方式来对图像特征进行提取。它认为，最大模量的特征向量和图像特征在方向性上具有垂直关系。此外，它可由具有线正交的较大学对峙的二阶导和沿线的具有小绝对值的二阶导表示出由高斯函数构造的线性函数，这即是二维Hessian的几何意义。 Hessian矩阵已经被应用于多种检测和分析，并且还被用于分割和重建医学图像中的曲线结构。 关于判断图像中出现的点是否为角点，即像素密集程度激烈变化的点，可利用Hessian矩阵的特征值来进行判断。 Hessian矩阵可表示为： (2-11) X方向上的二阶偏微分： (2-12) Y方向上的二阶偏微分： (2-13) X，Y方向上的混合偏微分： (2-14) 对于一幅图像I而言，它只有x，y两个方向，所以其Hessian矩阵是一个二元矩阵，对应的有： (2-15) 分别对图像卷积运算，然后构成图像Hessian矩阵： (2-16) (2-17) 2.4 本章小结 为弥补直方图均衡化会使灰度级降低，丢失部分图像细节等缺陷，可利用CLAHE方法进行处理。该方法极大程度上提高了对比度，但仍然有着缺点，即同时放大了噪声，且无法精准识别病灶区域。 图像中亮、暗及其余细节部分的提取，可利用数学形态学滤波，但该方法处理对象仅为灰度图，对彩色眼底图像增强有限。然而，想要实现对视网膜图像的全方位增强，利用Hessian矩阵显示是不适用的。首先，传统的眼底图增强仅仅是对血管信息的强化，鲜有能够同时对诸如视觉神经、病灶等全方位的信息进行全面强化；此外，传统的增强方法绝大多数的增强原理是对彩色图像对灰度图的转化，极其难以使得处理后的图像在视觉上的保真性。因此，必须考虑多因素的影响条件，以达到突出图像细节的基础上，还能对其动态范围及相关色彩性质加以完善。 第三章 基于Retinex理论的方法 彩色眼底图像增强在医学领域具有重要的作用，研究发现可以采用基于Retinex理论的方法来对彩色眼底图像进行增