道路点云中交通标志牌的识别提取研究_黄明.pdf

第 卷第期 年月测绘科学 作者简介：黄明（），男，四川大竹人，教授，主要研究方向为多源数据融合的精细三维重建技术、三维激光软件系统的研发及工程示范与应用。：收稿日期：基金项目：国家自然科学基金项目（）；北京建筑大学基础研究基金项目（）通信作者：车平文 硕士研究生 ：引文格式：黄明，车平文，韦朋成 道路点云中交通标志牌的识别提取研究 测绘科学，（）：（，（）：）：道路点云中交通标志牌的识别提取研究黄明，车平文，韦朋成（北京建筑大学 测绘与城市空间信息学院，北京 ；代表性建筑与古建筑数据库教育部工程研究中心，北京 ；武汉大学 测绘学院，武汉 ）摘要：针对交通标志牌识别效率低、效果差等问题，该文以点云数据为研究对象，提出一种基于几何特征的道路交通标志牌识别方法。该方法根据交通标志牌中标志杆为杆状、牌面为面状的几何特征，利用拟合筛选柱状物的方法识别标志杆，结合强度差异构建基准面进行聚类的方式识别牌面。该文对两段不同路况数据进行实验分析，结果表明该方法不仅能够完整地提取多种类型的交通标志牌，而且能够较好地区分与其他地物邻近的交通标志牌，两次实验的平均精度以及平均召回率都达到了 左右，提取结果为道路交通标志牌维护等工程应用提供可靠的数据。关键词：点云；交通标志牌；柱状物拟合；基准面【中图分类号】；【文献标志码】【文章编号】（），（，；，；，）：，：；测绘科学第 卷引言交通标志牌作为一种重要的交通设施，在城市的交通安全行驶中发挥重要的作用。基于移动激光车载扫描系统为城市道路交通设施快速提供了高精度的点云数据和影像数据，从点云和影像中自动提取交通标志牌等交通设施是当前智能化交通的研究热点。提取方法主要体现在基于影像数据和点云数据的两类方法。基于影 像 的 交 通 标 志 牌 识 别 的 研 究，其 发展历程大致为从最初基于颜色与形状特征进行识别到利 用 向 量 机、随 机 森 林等 机 器 学习方法进行识 别，最后 发 展为 现在 盛 行 的 基 于卷积神经网络的标志牌识别，比如深度残差网络模型（）、两级（横向连接和密集连接卷积网络）网络模型等。虽然以上个阶段的方法在影像分类和交通标志识别方面具有一定的检测能力，但这些方法易受光照、天气等干扰，而且对于采用机器学习以及基于卷积神经网络的方法，前期 还 需 要 进 行 大 量 的 数 据 试 验，费 时 费力，效率低下。基于点云的交通标志牌识别的方法，主要分两种：一种是以点云基础融合图像进行标志牌的识别研究，比如文献 提出一种基于点云高反射强度的识别方法，它首先利用图像纹理、颜色、语义信息构建 网络，对城市场景下全景影像中的交通标志进行检测和识别，然后利用配准融合实现交通标志点快速定位和粗提取。在点云的基础上融合图像的方法确实能够提高标志牌识别的准确率，但图像易受光照等影响，并且其只能识别牌面，不能对支架等构件进行识别；另一种是根据标志牌几何等特性进行标志牌的识别研究，如综合利用点云反射强度和几何特征识别的方法，实现交通标志进行检测；在进行标志牌的语义分割部分利用单一强度阈值进行点云粗分类，然后 按 照 一 定 条 件 对 点 云 聚 类 得 到 标 志牌。以上学者虽能识别出完整标志牌，但他们通过在大范围内设置单一强度阈值的方式来区分标志牌与其他地物，这在实际操作时很难找到合适的强度阈值；此外依据标志牌几何特征对滤除地面点后直接聚类得到的点云簇进行识别的方式，不仅不能很好地识别标志牌，还会加大后续处理的计算量。针对上述方法使用的影像易受到外界环境等因素的影响，本文以基本不受外界环境等因素影响的点云数据作为研究对象。为了避免点云强度质量较差时，整体范围内单一强度阈值不可设的弊端，本文采用在局部范围内依据强度差异聚类的方式区分交通标志牌与邻近地物。尽管交通标志牌种类繁多，但几何形状主要由杆状的标志杆和面状的牌面组成，因此，本文主要对标志杆为杆状的柱式、悬臂式以及门架式标志牌开展研究。综上，本文提出了一种利用在局部区域内标志牌强度高于邻近地物的特征为辅，标志牌杆为杆状以及标志牌面为面状的特征为主的交通标志牌识别与提取方法。方法本文提出一种以反射强度为辅的基于环状物拟合筛选和基准面聚类的交通标志牌识别方法。首先对散乱点云利用基于二进制编码四叉树的体素划分进行组织；其次依据标志杆为杆状物的特征，利用采样一致性算法（，）粗筛出包含支架的候选体素，再对一定高度的点以强度信息作为辅助判断，进行立面检测筛选出候选体素；最后在以平面质心和具有高度差的两圆心构建的基准面两侧一定阈值范围进行点聚类，并判断聚类点法向量与上述立面法向量是否平行以及维度特征是否为面状，从而筛选出交通标志牌面，再根据语义信息确定是否为标志牌。具体流程见图。基于二进制编码的四叉树体素划分为方便对散乱无序点云数据进行处理，必须对其进行组织管理。本文采用一种参照基于二进制编码八叉树的高效体素化点云分割方法（，）的四叉树组织方法对点云进行组织，最终一个叶子节点即为一个体素，见图（）。基于二进制编码的四叉树组织与水平格网划分都是在不考虑轴的情况下对点云进行划分，但是水平格网划分后的格网之间无法进行有效组织查询，而基于二进制编码的四叉树组织能够实现各个格网体素之间的有效组织查询。进行体素划分时，四叉树叶子节点尺寸会严重影响交通标志牌识别的效率与准确率，其敏感性后续会进行讨论。因此设置合适的四叉树叶子节点尺寸很重要，本文在进行实验时取 。根据所取节点尺寸计算四叉树层级，然后不断对父节点进行四个子节点的划分，直至达到相应层级。在此过程中使用或沿、两个坐标轴对子节点进行编码，结合、第期黄明，等 道路点云中交通标志牌的识别提取研究轴的编码得到子节点的初始编码，再将父节点的编码添加到子节点编码前面，形成子节点最终编码，见图（）。因此根据节点编码就能反算该节点的、坐标。图算法整体流程 图道路点云四叉树划分效果 同样，点的编码则可以通过式（）将、轴坐标各自转换为二进制编码并插入到相应位置得到。据此将所有点按照各自的编码分别划分到与其具有相同编码的节点中，从而实现点云数据的高效组织。在下述流程中，本文将在体素层面进行处理，这将极大地提高效率。（）（）（）（）烍烌烎（）标志杆提取按照相 关 规 范，柱 式 标 志 牌 下 缘 距 离 地 面不得低于，悬臂式及门架式标志牌下缘距离地面不得低于 。因此设置高度阈值为 ，利用式（）遍历体素筛选出满足阈值的体 素 作 为 存在 标志牌的候 选 体 素。因 为不同高度的标志牌，其标志杆截面半径以及标志牌面尺寸都不同，大致可以按照高度分为两类，所以本 文 以 为 分 界 线 将 候 选 体 素 分 为两类。测绘科学第 卷 烍烌烎 （）式中：表示体素高度；、分别表示体素的最大值和最小值；、分别表示设置的最大和最小阈值。本文对标志杆的识别体现为对杆状物的识别，而杆状物扫描点云可以利用圆柱模型对其进行拟合得到。同时依据车载激光对距离地面为 的地物探测效果较好的特点。因此在此范围内，对两类候选体素分开考虑，取不同，的点，然后依据杆状物特征实现对标志杆的识别提取。详细步骤如下。）待拟合点选取。考虑到标志杆刚好被划分到多个体素中，选取候选体素及其领域体素中，的点云。选取的点中同时包含标志杆和其他地物点，见图（）。图道路标志杆识别过程 ）杆状物筛选。为判断体素是否包含标志杆，本文采用 圆柱拟合法点中拟合出圆柱，分别拟合得到半径 以及圆心（，）。标志杆作为按照规范铸造的人造杆状物，其半径大小都是一样的。因此对两类体素分开考虑，设置相应的半径阈值。若拟合得到的圆柱半径满足阈值则进行下一步，反之舍弃该体素。本文取拟合圆柱的圆心以及半径作为标志杆的圆心（，）和半径，见图（）。）标志杆点的获取。根据标志杆为杆状的特点，采用直线内点法获取所有标志杆点。取具有一定高度差的圆心点确定一条直线。计算体素中点到直线的距离，将满足点作为标志杆点。通 过 此 方 法 即 可 获 得 标 志 杆 所 有 点，见图（）。）标志杆的确定。道路两旁的常见杆状物可以分为交通标志牌、路灯、树木、电线杆、交通信号灯等，见表。据表可知，只有交通标志牌有且含有大量平面元素，且交通标志牌牌面为立面，据此两个特征可将标志杆与其他杆状物区分。但为避免邻近地物干扰，降低平面检测准确率，本文直接利用点反射强度值，采用基于反射强度的 均值聚类算法 对两类体素中满足相应高度域 ，和圆心距，的点聚类。这是因为标牌面以高反射率材料制作，其反射率比邻近地物高，且在小范围区域内，地物获取反射强度受距离、大气等影响基本相同。但激光扫描仪存在对反射强度不是特别敏感的缺陷，而交通标志牌为了能够有效指导交通，牌面部分包含丰富的语义信息，这为牌面点与其他地物点的分类起到了很好的辅助作用，因此从颜色、形状信息等方面提取分析点集包含的语义信息来辅助 区 分 点。在 对 点 进 行 强 度 聚 类 后，利 用 在强度高的点云簇中进行平面检测，依据式（）平面是否为立面。在平面拟合时通过上述流程即可 初 步 确 定 该杆状物是否为交 通 标 志牌，见图（）。（）式中：为拟合平面 法向量与轴方向向量夹角；为拟合平面 的法向量；为轴方向向量。若 值越接近 ，则说明是立面的可能性越大。但为防止错判立面，导致将其所属杆状物错分为标志杆，还需结合后续流程进行判断，见图。表道路两旁杆状物组成 杆状物线状球状平面线状平面线状球状平面球状线状球状平面交通标志牌路灯树木电线杆交通信号灯第期黄明，等 道路点云中交通标志牌的识别提取研究图候选体素一定范围内的点进行平面拟合 标志牌面提取为准确识别标志牌面，排除树木等其他杆状物的干扰，本文首先构建一个基准面，然后在基准面两侧一定范围内，以标志杆一定高度的点作为种子点，通过欧式聚类得到标志牌面，并最终进行语义确定。详细步骤如下。）基准面的确定。本文利用上述判定为立面的点集的质心（，）以及与标志杆圆心共线且有一定高度差的两点（，）、（，）构建基准面，见图。基准面法向量为式（）。（），（），）（）图基于基准面的标志牌面聚类示意图 ）标志牌面的确定。以基准面为基础，根据标志牌面为面状的特征，设置宽度阈值，从而确定在基准面两侧的聚类范围。根据标志牌面位于一定高度，而其他广告牌等面状地物基本都安装在杆状物中部的特点，利用欧式聚类在两类体素中满足对应高度范围阈值 ，的点中得到标志牌面点。由于节点尺寸限制，进行四叉树划分时，标志牌面点云并不能完整划分至单个体素，因此需要在标志杆所在体素和邻域体素中进行聚类。根据二进制编码的特点，邻域体素按照式（）进行快速查询。此方法不仅计算过程简单，且可以有效把混合在树枝中的标志牌面提取出来。（）（）（）标志牌的确定。为剔除因树冠点云等聚类成面而导致被误判的杆状物（见图），本文计算聚类所得点云簇法向量与上述拟合所得平面法向量之间的夹角。若是标志牌，两次所得面法向量夹角应接近 或。这是因为树冠扫描点多以球状包围树干，与树干存在间距，因此标志杆识别过程中的拟合平面也会覆盖于树干四周，不与树干相交，即其法向量与本次所得法向量不趋于平行。但在道路两旁的杆状物中，具有向外延伸物的地物还有标志牌、路灯、交通信号灯、电线杆等。其中电线杆以及部分高大路灯已在上述过程中根据高度阈值剔除，但可能还存在部分路灯、交通信号灯。本文根据标志牌面为面状，而路灯灯头以及交通信号灯延伸物为线状特点进行区分，见表。表不同地物维度特征分析 地物类型维度特征根据主成分分析（，）理论可知，点云簇的个特征值，分别表示点云簇个轴方向分布特征，其中线状和面状的维度特征差别极大，见表。本文利用式（）通过构建点云簇协方差矩阵来计算其特征值 测绘科学第 卷，根据式（）计算维度特征 。点云簇是线状、面状还是球状可由各维度特征值体现，越大表明邻域内的点越接近杆状分布，越大表明邻域内的点越接近面状分布，较大表明邻域内的点为散乱的球状分布。根据 的维度特征，利用式（）比较三者值大小，若三者中 最大，该地物为线状；最大，该地物为面状；最大，该地物为球状。（）（）（）式中：为点云簇点个数；为点云簇中点；为点云簇中心坐标。槡槡槡，槡槡