基于图优化算法的多视图拼接三维可视化技术研究_林晨.pdf

96第 17 卷 第 4 期2022 年 12 月贵阳学院学报（自然科学版）（季刊）JOURNAL OF GUIYANG UNIVERSITY Natural Sciences（Quarterly）Dec.2022Vol.17No.4摘 要：多视图拼接技术还存在着在大范围区域内连续拼接时误差累积较快、整体精度不足的缺陷，这一问题仅依靠特征点匹配算法难以解决，而 SLAM 中的图优化方法由于采用了全局优化的策略，具有误差累计增长缓慢的优势，因此可以将特征点提取及匹配算法与图优化方法结合，在时域上进行图像配准，并通过最小二乘法优化从而减少累积误差，提高总体精度。关键词：多视图拼接；特征点提取及匹配；图优化；最小二乘法优化中图分类号：TP391.41 文献标识：A 文章编号：1673-6125（2022）04-0096-04Multiview Point Registration in 3D Visualization Technology Based on Graph Optimization AlgorithmLIN Chen,LIN Xiao-bin（Physics and Electronic Information Engineering，Minjiang University，Fuzhou 350108，Fujian，China）Abstract:Registration of multiview point in large space often faces the challenge of rapid error accumulation and insufficient overall accuracy.It is usually difficult to solve this problem only with the help of feature point matching algorithms.The graph optimization method in SLAM has the advantage of slow error accumulation owing to its global optimization strategy.This research therefore combines the feature point extraction and matching algorithm with the graph optimization method to perform image registration in the time domain,and optimizes the results through the least square method to reduce the cumulative error and improves the overall accuracy.Key words:Multiview Registration;Feature Point Extraction and Matching;Graph Optimization;Least Square Optimization基于图优化算法的多视图拼接三维可视化技术研究林 晨，林晓斌（闽江学院 物理与电子信息工程学院，福建 福州 350108）收稿日期2022-08-20基金项目2020 年福建省中青年教师教育科研项目（科技类）“基于图优化算法的多视图拼接三维可视化关键技术研究”（项目编号：JAT200414）。作者简介林 晨，女，福建福州人，实验师、硕士。主要研究方向：智能信息处理。林晓斌，男，福建福州人，讲师、博士。主要研究方向：计算机科学、数字媒体和计算机视觉。随着计算机图形技术、高性能计算技术、计算机仿真技术和传感技术等技术的迅速发展，由计算机技术为核心产生的模拟系统应运而生，即虚拟现实1。虚拟现实技术（Virtual Reality，简称VR 技术）是通过计算机模拟构建出的三度空间的虚拟环境，向使用者提供关于视听觉、触觉、嗅觉等多种感知的模拟，借助各种体感设备同模拟环境内的事物相互作用后进行交互式信息交流和视景仿真2，使用户身临其境。多视图拼接技术是虚拟现实领域的重要分支之一，拍摄相同真实场景中具有部分重叠区域的多幅源视图序列，生成新视图,产生的新视图包含所有真实场景的信息3。这一技术的产生降低了对采集视图数据设备的要求，使采集设备价格更亲民，采用一般的相机或摄像机都可采集所需的视图数据。多视图拼接技术包括获取信息、匹配信息、评估效果、视图融合和产生目标视图等步骤。由于所采取的方法不同，算法步骤也存在很大差异，但大致的步骤是类似的。多视图拼接技术有两个重点环节，分别是视图配准和视图融合。已有几种主要视图融合算法耗时较少，融合视图的效果相近，相对较成熟，所以视图配准环节成了DOI:10.16856/ki.52-1142/n.2022.04.006974 期林 晨等 基于图优化算法的多视图拼接三维可视化技术研究多视图拼接技术的核心环节，直接影响多视图拼接技术的速度和精度。视图配准就是匹配所导入的多视图序列，对齐所输入视图序列的重叠区域,获取重叠区域的视图特征点。已有的比较经典的视图配准法有模板配准法、图像特征配准法、图像灰度配准法和变换域配准法等4。视图融合是在视图配准后获取视图间的空间变换关系，选择合适的融合策略合成视图完成图像拼接，对不同条件下采集的图像信息进行分析和处理，完成所需的决策和估计任务。常用的图像融合技术有直接平均融合法、加权平均融合法、中值滤波融合法和多分辨率样条技术融合法等。采集原始视图数据时，因光线、场地等差异，可能出现两张视图中重叠区域差别较大，若直接对其进行多视图拼接，所得到的效果图在拼接位置上会出现明显的接缝、失真或重叠区域模糊等问题，所以视图融合中涉及到的视图无缝拼接和图像平滑过渡技术又是重点研究的技术。虽然多视图拼接技术取得了一定的成果，但还存在着在大范围区域内连续拼接时误差累积较快、整体精度不足的缺陷，这一问题仅依靠特征点匹配算法难以解决，而即时定位与建图（simultaneous localization and mapping，SLAM）中的图优化方法采用了全局优化的策略，具有误差累计增长缓慢的优势5-7，因此可以将特征点匹配算法与图优化方法结合，在时域上进行图像配准，并通过最小二乘法优化从而减少累积误差，提高总体精度。本文利用普通摄像机采集图像数据序列并进行预处理，通过 SURF 算法提取及匹配各个时间点上的图像特征点，基于图优化算法对所有拼接后的数据进行全局优化，调整点云数据，最后对调整后的数据进行三维重构，选择合适的视点位置，实现多视图拼接三维可视化。1 基于图优化算法的多视图拼接三维可视化关键技术研发基于图优化算法的多视图拼接三维可视化包括数据获取、特征点提取及匹配、点云数据获取和实现多视图拼接三维可视化四个部分。数据获取部分是利用普通的摄像机沿着被试实体的正面，以固定距离的间隔拍摄，采集一组视图序列，然后对所采集的视图序列进行曝光补偿预处理。图像特征点提取及匹配主要是 SURF 算法利用图像卷积的积分图像，建立基于 Hessian 矩阵的检测器和基于分布的描述符，实现图像特征点的提取与匹配。点云数据获取主要通过基于图优化算法全局优化并调整SURF算法提取及匹配的特征点，获取高精度三维点云数据。实现多视图拼接三维可视化部分先通过三维重构点云数据，计算返投主平面，然后采用最小割的方法选择合适的视点，最后计算图像像素点之间的间隔以及初始化主平面的空间坐标，实现多视图拼接三维可视化。1.1 视图获取利用摄像机沿着被试实体的正面，以固定距离的间隔拍摄一组视图，其中所选择固定距离的大小由被试实体离摄像机的距离远近所决定，若距离近，则两幅视图之间的间隔可选择小点的间距。被试实体采集完视图数据后，复原每个摄像机的投影矩阵，以便后续可将原视图投射到一个画面上。若摄像机数量为 m 台，则每台摄像机需复原对应的三维旋转矩阵 Rj，三维位移 tj和焦距fj，其中 1 j m。设置上述参数，可在世界坐标系中定义第 j 台摄像机的位置为 Cj=-RTjtj。由于采集视图数据需要较长时间，且光线条件差异较大，需对所获取的视图数据进行曝光补偿预处理，调整曝光量，更好地匹配重叠部分。调整曝光问题的方法如下：设置每张视图对应的亮度尺度因子为 Kj，设定表示两张视图 Ij，Ii的同一几何像素为 KjIj=KiIi，并在两张视图之间匹配每个 SURF点，生成三个线性约束方程组。求解该线性约束方程组，获取在最小二次方条件下的 Kj值，使其最好地满足该约束方程组。1.2 特征点提取及匹配采用高计算效率和高鲁棒性的 SURF 算法提取及匹配视图特征点，主要下述 6 个步骤：（1）构建 Hessian 矩阵，获取视图稳定的突变点。Hessian 矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。用 Hessian矩阵描述一幅视图 f（x，y）如下：Hf x yfxfx yfx yfy,()()=222222 （1）在构建 Hessian 矩阵前需对处理的视图进行高斯滤波，滤波处理后所构建的 Hessian 矩阵表示如下：H xLXLXLXLXXXXyXyyy(,)(,)(,)(,)(,)sssss=（2）98贵阳学院学报（自然科学版）（季刊）17 卷其中，LXX（X，）是高斯二阶偏导数22x在 x处视图 f（x，y）的卷积。SURF 算法以 Hessian 矩阵为核心检测特征点，其行列式表示像素点周边的变化量，所以当行列式值取极大值和极小值为特征点。（2）创建尺度空间。SURF 算法的尺度空间由 O 组 L 层构成，不同组间视图采用相同的尺寸，盒式滤波器的模板尺寸慢慢增大，随着空间尺度的逐渐增大，检测到的特征点数量快速减少，因此进行三至四组即可。同组间不同层间采用一致尺寸的滤波器，但滤波器的模糊系数越来越大。（3）定位特征点。先比较 Hessian 矩阵处理后的各个像素点、二维图像空间和尺度空间域内的 26 个点，初步确定关键点位置，然后除去能量较弱的关键点与定位错误的关键点，选取稳定的特征点。（4）分配特征点主方向。采用统计特征点圆形邻域内的 Harry 小波特征来分配特征点主方向。在特征点的圆形邻域内，统计 60 度扇形内所有点的水平、垂直 Harry 小波特征总和，然后扇形以 0.2弧度大小的间隔进行旋转并再次统计该区域内Harry 小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。（5）获取特征点描述子。沿着特征点的主方向选取一个 4*4 的方形区域块，每个子区域统计二十五个像素的水平方向（针对特征点主方向而言）和垂直方向（针对特征点主方向而言）的 Harry小波特征。Harry 小波特征是通过求解 4 个方向值之和得到的，分别是水平方向值之和、水平方向绝对值之和、垂直方向值之和及垂直方向绝对值之和。各个子区域的特征向量即为上述所求的 4 个方向值，因此 SURF 特征点的描述子有 64 维。（6）匹配特征点。特征点之间的匹配度是通过求解两个特征点之间的欧式距离得到的，欧氏距离越短，两个特征点越匹配。还需运用 Hessian矩阵的迹判断两个特征点的方向是否匹配，若矩阵迹符号相同，则说明它们的对比度变化方向相同，反之，使求得的欧氏距离为 0，也将其剔除。采用 SURF 算法对视图序列进行特征点提取及匹配，可充分利用视图邻域的特征信息，有效地检测视图的特征点，增强视图的匹配的准确率，耗时较短，从而显著提高视图拼接的效率。1.3 点云数据获取即时定位与建图（simultaneous localization and mapping，SLAM）5是一项关于机器人实现真正全自主移动的重要技术。自 20 世纪 90 年代开始，国内外对该项技术进行了相应的研究，如美国的哥伦毕业大学、卡内基梅隆大学和武汉大学等6。采用 SLAM 技术可实现机器人