基于SIFT特征匹配的活性污泥显微图像拼接方法.pdf

第卷 第期沈 阳 化 工 大 学 学 报.收稿日期:基金项目:国家重点研发计划项目()年辽宁省高等学校创新人才支持计划 年度高等学校基本科研项目重点项目()作者简介:赵立杰()女(满族)辽宁兴城人教授博士主要从事智能信息处理等的研究.通信联系人:黄明忠()男湖北宜昌人副教授硕士主要从事过程控制与优化、智能信息处理等方面的研究.文章编号:()基于 特征匹配的活性污泥显微图像拼接方法赵立杰 吴志豪 黄明忠(沈阳化工大学 信息工程学院 辽宁 沈阳)摘 要:针对相差显微图像视野有限单张图像难以全面展示样品信息的问题提出一种基于 特征匹配的活性污泥图像自动拼接方法.该方法通过 特征提取算法提取污泥显微图像的特征运用最近邻算法进行匹配.使用投影变换模型进行空间几何变换将待拼接的活性污泥显微图像叠加在一起.采用渐入渐出融合算法对叠加后的图像进行融合解决图像拼接过程中拼接缝明显的问题.某污水处理厂活性污泥相差显微图像拼接实验结果表明该方法在拼接质量和信息完整性方面表现良好.关键词:活性污泥显微图像 特征匹配 渐入渐出融合 图像拼接:./.中图分类号:文献标识码:数字图像处理和分析技术是污泥性能监视和诊断的有效工具.相差显微镜能够在低倍镜下观察到丝状菌同时不需要特定制备样品因此广泛应用于活性污泥处理过程.然而由于部分丝状菌太长、絮体或者原后生动物太大样品信息无法在单张显微图像中完整显示因此需要多张显微图像进行拼接共同表征污泥样品特征.图像拼接是将多幅图像组合起来生成全景或更大图像的过程广泛应用于医学领域和能源领域.角点对图像尺度的变化敏感对于不同尺度的图像匹配 扩展和改进了这种局部特征方法来实现尺度不变性.杨前华等提出了基于尺度不变特征变换()特征的鱼眼图像拼接算法实现了对不同重叠区域和不同场景下鱼眼图像的拼接.卢鹏等通过扩大 算法中极值点的取值范围将改进的 算法与渐入渐出算法相结合实现了对时间序列图像的快速拼接处理.王艳等提出了一种结合几何代数改进的 桥梁裂缝图像的新型拼接算法实现了桥梁裂缝图像的高精度拼接.等用图像拼接软件 对有重叠区域的活性污泥显微图像进行拼接.针对一个样品需要多张显微图像共同表征的问题本文提出了基于 特征匹配的活性污泥图像自动拼接方法.采用 算法提取污泥显微图像的特征运用最近邻算法进行特征点匹配.两幅待拼接图像的特征点匹配以后需要建立图像变换关系投影变换可以实现图像投影使一张图像通过投影和另一张图像实现大面积的重合.本文运用投影变换模型将两幅待拼接的活性污泥显微图像叠加在一起.图像叠加之后由于两张图像亮度有差异往往会出现明显的拼接缝现象.为了消除拼接缝本文采用渐入渐出融合算法对图像融合提升图像质量.活性污泥显微图像拼接方法针对多张显微图像共同描述一个污泥样本信 第 期赵立杰等:基于 特征匹配的活性污泥显微图像拼接方法 息的问题提出了活性污泥显微图像拼接方法图像拼接流程如图 所示.该方法由 特征点提取、特征匹配、空间几何变换、图像融合组成.图 图像拼接整体流程.基于 的污泥图像特征提取采用 算法提取污泥显微流程如图 所示.图 特征点检测流程.尺度空间极值检测 算法采用尺度空间来估计图像的多尺度特征.尺度空间的提取需要使用高斯滤波尺度可变的高斯核定义为()().()其中:()表示高斯核的空间坐标 表示高斯核的尺度因子.尺度因子的大小表示图像被模糊的程度.高斯拉普拉斯算子()等价于先对高斯函数求二阶导数再对原图进行卷积可表示为 ()()().()尺度空间的构建需要利用高斯金字塔来实现.高斯金字塔是由 组()图像组成每组中包含经过不同尺度的高斯滤波后的图像.第一组第一层是原始图像第 组()是第 组()隔点下采样得到不同尺度的图像金字塔.高斯拉普拉斯算子是对图像进行求二阶导数运算计算量大图像获取效率低.为了在尺度空间中高效探测出稳定关键点使用高斯差分空间()近似代替高斯尺度空间.高斯差分空间的构建是通过对高斯尺度空间中相邻两层的图像进行不同尺度的高斯模糊后相减再在原始图像上进行卷积计算得到的.高斯差分算子()表示为相邻两层高斯金字塔的高斯函数之差.()()()()()().()在 算法中通过对不同尺度的高斯函数进行差分即可得到一组高斯差分函数用于检测图像中的极值点和提取图像特征.特征点由高斯差分空间中的局部极值点组成.在高斯差分金字塔的每一层上对每个像素点的 个相邻点(包括同一图层、上下两层共 个点)和 个相邻层(上下一共 个点)中比较像素值的大小找出最大或最小值作为极值点.在三维尺度空间()搜索每个点的 邻域若该点为局部极值点则保存为候选关键点.关键点精确定位假设在尺度空间上一个像素点()在尺度 下检测到的尺度空间极值点的响应值为().函数的响应值对图像中的噪声和边缘敏感因此图像中低对比度的特征点和边缘特征点需要删除.通过对尺度空间极值点进行精确定位可以得到关键点的位置和尺度并进一步排除低对比度和边缘响应等不稳定的关键点.对尺度空间 函数进行曲线拟合实现关键点的精确定位.令()()对响应()进行泰勒展开为().()再对式()进行求导令其值为零得到极值点和极值分别表示为()沈 阳 化 工 大 学 学 报 年().()在实际应用中一般会对极值点进行进一步的筛选即需要满足().以保证关键点的稳定性和可靠性.算子会产生较强的边缘响应需要剔除不稳定的边缘响应点.在水平梯度的方向上主曲率值比较大而沿垂直方向上主曲率值较小.候选特征点的 函数()的主曲率与 的 矩阵 的特征值成正比其中 .设 的最大特征值和最小特征值分别为 和 令 则有()()()().()其中:()是矩阵 的迹()为矩阵 行列式的值.若()()()()(其中)成立则剔除该特征点.关键点方向估计上一步是在不同尺度下获得的特征点为了保证算法的旋转不变性需要利用图像的局部特征为特征点一一分配主方向和辅方向.以特征点为中心计算以 为半径区域的梯度幅值()和梯度方向()之后采用直方图统计的方式统计特征点邻域内像素所对应的梯度方向和幅值.直方图的横轴是梯度方向的角度纵轴是梯度方向对应梯度幅值的累加直方图中最大的值为特征点的主方向大于最大值的方向为辅方向.梯度幅值()和梯度方向()表示为:()()()()()()()()()/()().()其中()表示图像在()处的灰度值.特征点描述子生成得到了每一个特征点具体的位置、尺寸和方向信息以后需要将每一个特征点描述下来.首先将特征点附近邻域内的图像旋转到主方向上然后以特征点为中心将特征点的邻域范围分成 的子区域每个子区域中包含一个种子点求取每个种子点的梯度幅值与梯度方向箭头方向代表该像素的梯度方向长度代表梯度幅值.将这些信息都保存下来最终可以得到 维 特征向量.特征点匹配两幅图像中特征点的匹配是通过计算两幅图像中的特征点描述子之间的相似度来实现的.通过 算法提取两幅活性污泥显微图像中的特征点并生成每个特征点的描述子.对于一幅图像中的每个特征点计算其与另一幅图像中所有特征点描述子的欧式距离.两个特征点描述子之间的距离越小则它们的相似度越高.对于每个特征点在所有候选特征点中选择与其距离最近的特征点作为其匹配点.由于特征点描述子之间存在相似度相等的情况因此需要设置一个阈值将距离大于该阈值的匹配点剔除.假设两张待匹配图像 和 提取到的特征点集合为 和 每个特征点 和 所对应的描述子是 维的特征向量 ()和().特征点之间欧氏距离为()().()空间几何变换采用投影变换作为两幅图像的空间几何变换模型.以图像 为模板将图像 变换到图像上.投影变换中的投影变换矩阵 是通过上一步匹配的特征点集 ()和 ()来计算的匹配点集与投影变换矩阵 的关系可表示为.()由于投影变换矩阵 中有 个待求变量()所以至少需要 对匹配点对.两幅图像中有 对匹配点被匹配其中 通过最小二乘法可以求出投影变换矩阵.在实际应用中可以使用 等方法对匹配点集进行筛选和优化从而得到更准确和稳定的投影变换矩阵.通过投影变换矩阵 确定两幅图像的 第 期赵立杰等:基于 特征匹配的活性污泥显微图像拼接方法 像素变换准则把图像 投影到图像 上将两幅待拼接图像直接叠加在一起.图像融合通过投影变换矩阵 对两幅图像进行了投影变换将两幅图像的重叠区域直接叠加在一起.由于两幅图像光照有差别直接叠加的效果往往会出现明显的拼接缝和鬼影影响图像的观感质量.为了有效消除两幅图像直接拼接产生的拼接缝采用渐入渐出融合算法对图像的重叠区域进行融合处理.渐入渐出融合算法的原理是把两幅图像重叠区域的像素点进行加权处理.重叠区域融合后的像素点()表示为()()().()其中:()()和 表示权重值.假设重叠区域中的某一像素点到两幅图像重叠区域的左边界距离为 右边界距离为 则权重 .实验结果与分析 实验数据活性污泥显微图像使用微生物图像采集系统来获取.微生物图像采集系统包括倒置光学显微镜()、嵌入 的工业数码相机和一套图像采集软件如图 所示.实验测试数据为三组图像大小为 像素图像格式为.三组测试数据背景颜色、复杂度各不相同.图 图像采集系统.实验结果以及拼接质量评价对活性污泥显微图像进行拼接研究采用 特征提取算法对三组数据进行特征提取采用最近邻算法对提取的特征点进行匹配.本实验预设的匹配特征点的欧氏距离阈值为 .待拼接图像 和 中提取的特征点个数以及两幅图像的匹配对数如表 所示.表 待拼接图像提取的特征点个数以及匹配对数 组别特征点个数图像 图像 匹配对数 采用主观评价标准评价图像拼接质量.主观评价标准是国际无线电咨询委员会制定的 评价标准如表 所示.三组数据图像特征匹配和拼接结果如图 图 所示其中图()和图()为待拼接的图像图()是 特征匹配效果图图()是图像叠加效果图图()是渐入渐出融合之后的效果图.根据评价准则通过主观判断污泥显微图像的拼接效果属于 主观评价标准中的等级(丝毫看不出污泥显微图像质量变坏).实验结果表明:本文算法可以得到能够表征丝状菌和絮体以及原后生动物的活性污泥显微图像可为监视和诊断污泥性能提供必要的技术支撑.表 主观评价标准 等级评价准则丝毫看不出图像质量变坏图像质量轻微变坏但不妨碍观看清楚看出图像质量变坏对观看稍有妨碍对观看有妨碍非常严重妨碍观看 沈 阳 化 工 大 学 学 报 年图 活性污泥显微图像拼接示例.图 活性污泥显微图像拼接示例.图 活性污泥显微图像拼接示例.第 期赵立杰等:基于 特征匹配的活性污泥显微图像拼接方法 结 论本文基于 特征匹配的图像拼接方法对污泥显微图像进行拼接和融合处理.实验结果表明此方法可以得到清晰完整无拼接缝隙的污泥显微图像图像中包含丰富的活性污泥微观信息.由于提取的图像特征点较多导致搜索特征点的次数较多比较耗时难于实时特征检测.下一步研究活性污泥显微图像特征点提取和匹配的快速性和稳定性提高匹配效率.参考文献:.:.:.:.():./.:.():.杨前华王改革赵力.基于 特征的鱼眼图像拼接算法.电子器件():.卢鹏卢奇邹国良等.基于改进 的时间序列图像拼接方法研究.计算机工程与应用():.王艳李宗学丁文胜等.结合几何代数改进的 桥梁裂缝图像拼接算法 .光学技术():.:.符秀辉周文俊赵茂鑫.基于改进 和 算法的室内环境图像匹配.沈阳化工大学学报():.曲天伟安波.二维投影变换模型的单应矩阵表示.信息技术():.杨晓黎琼炜殷春等.应用于压力容器红外无损检测的 图像拼接方法.电子测量与仪器学报():.():.袁杰.基于 的图像配准与拼接技术研究.南京:南京理工大学:.宁雪丽陈兆学.用于面诊的人脸全景图像拼接算法.中国医学物理学杂志():.董锦涛陈水忠徐恺等.基于 的图像匹配实时性改进.电光与控制():.许佳佳.结合 与 算子的图像快速配准算法.中国光学():.颜焕欢张培镇王伊侬等.肌骨超声图像特征检测及拼接.中国图象图形学报():.高晶.改进 算法的舰船图像拼接算法.舰船科学技术():.杨家俊丁祝顺陈昕.图像配准关键技术综述.导航与控制():.宋伟王永波张培佩.基于改进 特征的无人机影像拼接算法研究.计算机工程与科学():.万国挺王俊平李锦等.图像拼接质量评价方法.通信学报():.(下转第 页)沈 阳 化 工 大 学 学 报 年 ():.:(上接第 页)():.: