基于改进DBSCAN的单光子激光点云去噪算法.pdf

d o i:1 0.3 9 6 9/j.i s s n.1 0 0 1-3 5 8 X.2 0 2 2.0 1.0 0 9基于改进D B S C AN的单光子激光点云去噪算法张少华1,施银迪2,谭莲红3,张译方4(1.山东省第三地质矿产勘查院,山东 烟台 2 6 4 0 0 0;2.淮安市水利勘测设计研究院有限公司,江苏 淮安 2 2 3 0 0 5;3.烟台陶褚市政工程有限公司,山东 烟台 2 6 5 5 0 0;4.山东省烟台地质工程勘察院,山东 烟台 2 6 4 0 1 1)摘要:针对单光子激光雷达系统观测数据中背景噪声过多的问题,文中提出了一种基于改进D B-S C AN的单光子激光点云去噪算法。以I C E S a t-2卫星在工作运行期间所采集的AT L 0 3数据为实验数据,通过设置合理的阈值进行粗去噪,然后基于改进D B S C AN聚类的算法对点云数据进行精去噪,并进行理论分析和实验验证。结果表明,实验区目标点云去噪精度达到9 9.1 1%,性能优于传统滤波算法。关键词:单光子激光雷达系统;粗去噪;精去噪;D B S C AN聚类中图分类号:P 2 2 5;T N 9 5 8.9 8 文献标识码:A 文章编号:1 0 0 1-3 5 8 X(2 0 2 2)0 1-0 0 3 2-0 6S i n g l e-p h o t o nl a s e rp o i n t c l o u dn o i s er e d u c t i o na l g o r i t h mb a s e do n i m p r o v e dD B S C ANZ h a n gS h a o h u a1,S h iY i n d i2,T a nL i a n h o n g3,Z h a n gY i f a n g4(1.S h a n d o n gN o.3E x p l o r a t i o nI n s t i t u t eo fG e o l o g ya n dM i n e r a lR e s o u r c e s,Y a n t a i2 6 4 0 0 0,C h i n a;2.H u a ia nW a t e rC o n s e r v a n c yS u r v e ya n dD e s i g nI n s t i t u t eC o.,L t d.,H u a ia n2 2 3 0 0 5,C h i n a;3.Y a n t a iT a o c h uM u n i c i p a lE n g i n e e r i n gC o.,L t d.,Y a n t a i2 6 5 5 0 0,C h i n a;4.S h a n d o n gY a n t a iG e o l o g i c a lE n g i n e e r i n gS u r v e yI n s t i t u t e,Y a n t a i2 6 4 0 1 1,C h i n a)A b s t r a c t:A i m i n ga t t h ep r o b l e mo f t h ee x c e s s i v eb a c k g r o u n dn o i s e i ns i n g l e-p h o t o n l i d a r s y s t e mo b s e r v a-t i o nd a t a,i n t h i sp a p e r,a s i n g l e-p h o t o n l a s e rp o i n t c l o u dn o i s e r e d u c t i o na l g o r i t h mw a sp r o p o s e db a s e do ni m p r o v e dD B S C AN.T a k i n gAT L 0 3d a t ac o l l e c t e dd u r i n g t h eo p e r a t i o no f I C E S a t-2s a t e l l i t ea s t h ee x p e r i-m e n t a l d a t a,t h ec o a r s en o i s er e d u c t i o nw a sp e r f o r m e db ys e t t i n gar e a s o n a b l e t h r e s h o l d,a n dt h e nt h e f i n en o i s er e d u c t i o no ft h ep o i n tc l o u dd a t aw a sp e r f o r m e db a s e do nt h ei m p r o v e dD B S C ANc l u s t e r i n ga l g o-r i t h m,a n dt h e o r e t i c a l a n a l y s i s a n de x p e r i m e n t a l v e r i f i c a t i o nw e r e c a r r i e do u t.R e s u l t s s h o w e d t h a t t h en o i s er e d u c t i o na c c u r a c yo f t h e t a r g e t p o i n t c l o u d r e a c h e d9 9.1 1%i n t h e e x p e r i m e n t a l a r e a,w h i c hw a sb e t t e r t h a nt h e t r a d i t i o n a l f i l t e r i n ga l g o r i t h m.K e yw o r d s:s i n g l e-p h o t o nl i d a rs y s t e m;c o a r s en o i s er e d u c t i o n;f i n en o i s er e d u c t i o n;D B S C ANc l u s t e r i n g引用格式:张少华,施银迪,谭莲红,等.基于改进D B S C AN的单光子激光点云去噪算法J.矿山测量,2 0 2 2,5 0(1):3 2-3 7.近些年,单光子激光雷达系统作为一种新型三维激光雷达,其探测技术逐渐发展成熟,但是对其点云数据的处理还处于研究阶段。目前,单光子激光点云数据的去噪滤波算法大多在传统滤波算法的基础上进行研究创新,基本上分为两种:一种是根据单光子激光点云数据的空间分布特征,利用局部点云之间的统计量生成局部密度值或局部密度直方图来剔除背景噪声1;另外一种方法是在单光子点云信号数学形态学特征的基础上,将点云数据栅格化为数字影像并采用边缘监测等影像处理技术检测地物轮廓信息2。国内外学者针对该类型的单光子激光点云数据已开始了研究处理,且形成了部分较为可行的研究成果。目前常用的噪声剔除算法主要有不规则三角23第5 0卷第1期2 0 2 2年2月 矿 山 测 量M I N ES UR V E Y I N G V o l.5 0N o.1F e b.2 0 2 2网加密滤波、泊松滤波算法、基于数学形态的滤波和距离相关检测算法等3。H e r z f e l d等4推导出一种借助特征向量计算出各项异性密度中心的算法;H o-r a n等5基于信号光子和噪声光子的分布特征,开发出一种数据降噪算法;隋立春等6基于数学形态学原理,提出增加一个“带宽”参数的自适应滤波算法;李照永等7-8提出了一种融合区域增长方法的点云数据的滤波方法,解决了对复杂地区进行真实准确地形提取的难题。本文在研究信号光子和噪声光子空间分布特征的 基础上,提出 一种基于改 进D B-S C AN(D e n s i t y-B a s e dS p a t i a lC l u s t e r i n go fA p p l i-c a t i o n sw i t hN o i s e)的单光子激光点云去噪算法,选择I C E S a t-2单光子激光测高数据进行验证,其去噪结果能够在一定程度上为单光子激光点云数据的研究提供一些新的思路。1 单光子激光雷达系统及原理AT L A S是基于微脉冲光子计数的单光子激光雷达测高系统,仅在5 3 2n m(绿)波段时发射并接受激光信号并记录,脉冲宽度约为1n s。由于光子计数探测的是弱信号,为了减少背景噪声的影响,I C E-S a t-2的激光脚点沿卫星轨迹方向间距约0.7m,相对于I C E S a t-1卫星1 7 0m的脚印间距大大减少,采样密度有了极大地提高,同时,光子采样精度可以达到厘米级。作为新一代的多波束激光雷达,相较于I C E S a t-1,其观测模式发生了较大改变,二者仪器参数对比情况如表1所示。表1 I C E S a t-1与I C E S a t-2仪器参数比较关键参数I C E S a t-1I C E S a t-2轨道类型非太阳同步非太阳同步高度/k m约6 0 0约5 0 0覆盖范围纬度南北8 6 纬度南北8 8 观测周期/d9 19 1激光传感器G L A SA T L A S激光器数目3(1个工作其余待机)1激光光束数16测量原理脉冲式微脉冲光子计数光斑直径/m约7 0约1 0光斑沿轨间距/m约1 7 0约0.7波长/n m10 6 4/5 3 25 3 2波长频率/H z4 01 00 0 0发射脉冲宽度/n s46约1记录方式全波形光子点云 AT L A S采用的微脉冲光子计数激光雷达技术是全球首次应用在星载平台上,其成像原理与目前常见的激光器不同。I C E S a t-2卫星的激光雷达测距的基本原理如图1所示,目标与探测器的距离公式见式(1):s=12c(T0-Tr)(1)式中,s为距离;c为光速;T0为发射时刻;Tr为接收时刻。图1 A T L A S激光探测原理2 本文中的算法2.1 D B S C AN聚类D B S C AN基于点云的密度进行聚类,通过邻域参数(,M i n P t s)描述样本集的紧密程度,是密度聚类算法中比较有代表性的一种,该算法将具有足够高密度任意形状的区域划分为点云簇,其中点云簇为基于密度点的最大集合,因此又叫做“基于密度的聚类”9-1 0。对于给定的数据集D=x1,x2,xm,那么D B S C AN聚类算法中涉及的几个概念定义如下:-邻域:对于xjD,其-邻域包含样本集D中与xj的间隔不大于的样本集,即N(xj)=xiD|d i s t(xi,xj);核心对象:若xj的-邻域最少包括M i n P t s个样本,即|N(xj)|M i n p t s,则xj为核心对象;密度直达:若xj位于xi的-邻域中,且xi是核心对象,则称xj由xi密度直达;密度可达:对xj与xi,若设有样本序列P1,P2,Pn,其中P1=xi,Pn=xj且Pi+1由Pi密度直达,则称xj由xi密度可达;密度相连:对于xi与xj若存在xk使得xi与xj均由xk密度可达,则称xi与xj密度相连。通过x1,x2,x3,x4四个点及其空间分布特征对D B S C AN聚类算法的基本概念进行简单描述,点位分布如图2所示。图中虚线表示为-邻域,x1包含的样本数大于M i n P t s,是核心对象,x2是从对象33第1期 张少华等:基于改进D B S C AN的单光子激光点云去噪算法 2 0 2 2年2月图2 D B S C AN基本概念示意图(M i n P t s=3)x1直接密度可达的,x3是从x2直接密度可达且从对象x1间接密度可达,x3与x4密度相连。该算法先任意选取数据集中的一个对象作为种子,由该种子决定聚类簇。然后根据给定的邻域参数找到所有核心参数,接着从任意一个核心对象出发,找到其密度可达的样本集合生成聚类簇,持续运行直到所有核心对象均被访问过位置。邻域参数(,M i n P t s)是影响该算法质量的两个重要的因素,那些没有被分配到任何簇中的样本点被当作噪声来处理,当设置的比较大而M i n P t s设置的较小时,某些噪声点甚至会被选为核心点,而当设置的比较小而M i n P t s设置的较大时,该算法甚至不会生成有效簇。2.2 基于高程统计的点云初步去噪由于单光子激光点云数据中的噪声点和信号点在空间分布上在卫星下方空间均匀垂直分布,因此,可以利用高程统计的方法,对点云数据进行初步去噪处理。初步滤除远离信号点的噪声点,从而减少点云的数据量,为下一步的实验处理做好准备,具体操作如下:(1)在点云数据中,计算点云数据的高程最大、最小值;(2)计算最大最小值差值,设置统计间隔;(3)对点云数据的高程进行频数统计;(4)计算点云平均密度作为阈值;(5)通过阈值进行统计判断。在计算出点云数据的平均密度后,将其作为点云数据去噪的阈值对点云数据进行处理,将超出平均密度的点云数据保留,相邻区域作为缓冲区一并保留作为点云信号,其余点云数据作为噪声点滤除。2.3 改进D B S C AN聚类针对单光子激光雷达系统观测数据中背景噪声过多的问题,本文提出了一种基于改进D B S C AN的单光子激光点云去噪算法,并就邻域参数的选择给出建议。算法的描述如下:(1)计算样本点之间的距离。根据式(2)、(3)、(4)和(5)分别计算任意两个样本点之间的欧式距离、最大距离、最小距离和最大最小距离之差。d i s t(i,j)=(xi-xj)2+(yi-yj)2(2)m a x=MA Xd i s t(i,j)|0in,0jD(3)m i n=M I Nd i s t(i,j)|0in,0jD(4)D i s t=m a x-m i n(5)(2)确定搜索半径。经上述公式计算完成后,根据距离最大值与最小值的差值设置合理的统计间隔值,以距离最小值为起点,最大值为终点,基于频数直方图统计任意样本点之间的距离在每一个区间出现的频数,将出现次数最多的区间作为-邻域。(3)采用改进算法实现点云精去噪。利用统计学设置好实验参数-邻域代入D B S C AN聚类算法中,通过经验设定定义核心点时的阈值M i n P t s。将聚集于点云簇内的光子作为信号点保存,离散于点云簇以外的视为噪声点滤除1 1-1 2。3 实验结果与分析3.1 实验区概况实验所选区域位于上海地区,此区域地势平坦,属于典型的平原地区。从图3的实验区位置以及I C E S a t-2卫星运行的轨迹中可以看出,I C E S a t-2搭载的激光器含有波段主要是5 3 2n m的绿色波段。利用该区域于I C E S a t-2在2 0 2 0年1 0月1 9日工作期间所观测的光子点云数据进行实验,由于光子计数探测的信号存在强弱之分,本文采用强激光开展验证。图3 实验区位置及A T L A S数据轨迹图3.2 数据预处理实验数据采用I C E S a t-2卫星数据产品中的AT L 0 3数据,通过编写程序读取激光点云数据下的强光子空间位置信息,并进行数据的可视化。经可视化后的纬度与高程坐标系下的原始点云如图4所43第1期 矿 山 测 量 2 0 2 2年2月图4 纬度与高程坐标系下的原始点云示,红色点密集区域为信号光子,周围存在大量的噪声光子,根据信号光子的空间分布特征大致可以看出本次实验区域地势坦荡低平,高层建筑物居多。上海市大部分地区位于长江三角洲冲积平原,因而I C E S a t-2/AT L A S在信号采集时产生的噪声相对较少。本次实验截取一段数据进行点云去噪处理,数据详细信息如表2所示,实验样本原始点云如图5所示。表2 A T L A S实验数据详细信息区域上海A T L 0 3编号D a t a 1采集时间2 0 2 0-1 0-1 9波束G t 1 l纬度范围 3 1.4 6?,3 1.4 9?长度/k m3.3U T M带5 1图5 实验样本原始点云根据I C E S a t-2卫星沿地面飞行轨迹方向,将该波段以纬度()为横坐标,高程(m)为纵坐标坐标系下的光子点云数据进行坐标投影转换,投影到局部坐标系下进而生成以距离(m)为横坐标,高程(m)为纵坐标的原始点云,如图6所示。NN图6 距离与高程坐标系下的原始点云3.3 点云聚类通过设置合理的阈值对光子点云数据进行初步去噪后,对点云数据进行聚类分析。将聚集于点云簇群之内的光子视为信号点,反之,离散在点云簇群以外的光子视为噪声点。在实验样本035 0 0m距离段内的点云数据共有75 5 9个,按照本文提出的聚类算法,对点云数据进行精去噪处理。实验区域依据本文算法所确定的点云聚类实验参数如表3所示,实验区域根据统计分析任意两个样本点之间距离的最大值为3 5.8m,距离最小值为0,且在05m这一距离区间出现的频数最高,因此将-邻域确定为5m,M i n P t s的确定一般为经验阈值。上海区域单光子点云聚类效果统计如表4所示,将-邻 域 确 定 为5 m,根 据 经 验 确 定 阈 值M i n P t s=5后,对初步去噪后的点云数据进行精去噪处理,信号点仅剩74 4 6个,滤除了1 1 3个噪声点,点云聚类效果如图7所示,绝大部分离散于点云簇以外的噪声点被滤除,但仍有极个别噪声点与地面植被粘连未能被滤除。表3 点云聚类实验参数采样区域距离最大值/m距离最小值/m间隔/m-邻域/mM i n P t s/个上海3 5.8 0 20555表4 点云聚类效果统计/个采样区域原始点云滤除点云剩余点云上海75 5 91 1 374 4 6 在点云聚类的基础之上,对点云数据进行分段处理,并找出区域段内的最低点(x1,x2,xn),利用最小二乘法对其进行拟合,并设定一个高差阈值,53第1期 张少华等:基于改进D B S C AN的单光子激光点云去噪算法 2 0 2 2年2月图7 聚类效果若超出阈值则为非地面点,相反则为地面点。3.4 点云去噪结果分析混淆矩阵也称误差矩阵,是将聚类处理后的点云数据的分类预测结果与真实结果进行比较,同时建立混淆矩阵的表格。在混淆矩阵的表格中,可以清楚地看到目标点与非目标点的个数。混淆矩阵是表示精度评价的一种标准格式,从不同的角度反映了点云分类的精度,二分类数据的混淆矩阵如表5所示。表5 二分类数据的混淆矩阵实际目标点个数非目标点个数预测目标点个数T PF P非目标点个数F NT NT P:原本是信号光子,视为信号光子;F N:原本是信号光子,视为噪声光子,属于“舍真误差”;F P:原本是噪声光子,视为信号光子,属于“取伪误差”;T N:实际是噪声光子,识别为噪声光子。针对如何从不同角度出发反映点云分类的准确性以及清晰的描述各种误差类型的问题,本文采用混淆矩阵对常用的误差标准进行表述并精度评价。主要从以下几个指标判断:(1)分类精度A c c u r a c y=T P+T NT P+T N+F P+F N(6)分类精度能够反映算法对实验数据的整体处理效果,分类精度越高,分类效果越好。(2)灵敏度和特异度S e n s i t i v i t y=T PT P+F N(7)S p e c i f i c i t y=T PF P+T N(8)灵敏度能够反映算法对正类的分类效果,特异度能反映算法对负类的分类效果。(3)错检率F a l s e=F PT N+F P(9)错检率则为有多少负样本被错误识别,即取伪误差。将点云去噪实验结果与官方给定结果进行对比分析,得到的混淆矩阵如表6所示。表6 点云去噪结果的混淆矩阵官方参考上海信号点噪声点滤波后数据信号点/个7 3 8 00噪声点/个6 60精度9 9.1 1%灵敏度9 9.1 1%特异度0错检率0 在对单光子点云去噪分类中,信号光子和噪声光子之间误分作为点云去噪时误差的主要来源。对于该实验区域,以官方给定的置信度标准为评判标准,当置信度为零时,点云数据中噪声光子的个数也为零,且点云去噪精度优于夏少波等1 3人提出的精度为9 7.6%,达到9 9.1 1%。4 结 论(1)能否有效地剔除噪声光子是发挥单光子激光雷达系统侦察、搜索能力的关键。针对这一问题,本文提出了一种利用统计学设置实验参数-邻域代入D B S C AN聚类算法的思路。该算法通过统计任意点云数据之间的距离,将一个区间出现次数最高的作为-邻域,即搜索半径,在搜索半径确定后,依据经验设置阈值M i n P t s。利用该算法进行聚类分析处理时,将在点云簇内的点云数据作为信号点保存,游离于点云簇之外的作为噪声点滤除,最终实现点云数据的精细去噪处理。(2)通过人工判别的方法查看点云数据的去噪滤波效果,点云数据的实际空间位置则依据NA S A官网给定的点云信号置信度。利用混淆矩阵,通过判断是否将点云信号误分为噪声点或者将噪声点分成信号点,来判断点云去噪滤波算法的可靠性。实验结果表明,点云去噪精度达到9 9.1 1%,本文提出的改进D B S C AN算法具有较好的聚类效果,其精度可以满足单光子激光点云应用的需求。63第1期 矿 山 测 量 2 0 2 2年2月(3)由于地面信号点和近地表噪声点的空间邻域特征相似,在经聚类算法去噪后,依旧会存在离散于点云簇以外的近地表噪声点。因此,下一步要研究如何提高-邻域选取的自适应性。参考文献:1 陆大进,黎东,朱笑笑,等.基于卷积神经网络的I C E S a t-2光子点云去噪分类J.地球信息科学学报,2 0 2 1,2 3(1 1):2 0 8 6-2 0 9 5.2 蔡超.I C E S a t-2点云数据辅助卫星影像D EM提取方法研究D.西安:长安大学,2 0 2 0.3 仇正良,施富强,廖学燕.地表三维点云数据的去噪算法研究J.矿山测量,2 0 1 5,4 3(6):1 0-1 3,1 8.4 H e r z f e l dUC,M c d o n a l dBW,W a l l i nB,e t a l.A l g o-r i t h mf o rd e t e c t i o no fg r o u n da n dc a n o p yc o v e ri nm i-c r o p u l s ep h o t o n-c o u n t i n g l i d a ra l t i m e t e rd a t a i np r e p-a r a t i o nf o rt h eI C E S a t-2m i s s i o nJ.I E E ET r a n s a c-t i o n so nG e o s c i e n c e&R e m o t eS e n s i n g,2 0 1 4,5 2(4):2 1 0 9-2 1 2 5.5 H o r a nK H,K e r e k e sJP.A na u t o m a t e ds t a t i s t i c a la-n a l y s i sa p p r o a c ht on o i s er e d u c t i o nf o rp h o t o n-c o u n t-i n g l i d a rs y s t e m sM.2 0 1 3.6 隋立春,杨耘.基于c a r(p,q)模型和数学形态学理论的L i D A R点云数据滤波J.测绘学报,2 0 1 2,4 1(2):2 1 9-2 2 4.7 李照永,侯至群,周四海,等.一种三维点云精细去噪与特征拾取方法J.测绘通报,2 0 2 1(S 2):3 1-3 4,3 8.8 黄先锋,李卉,王潇,等.机载L i D A R数据滤波方法评述J.测绘学报,2 0 0 9,3 8(5):4 6 6-4 6 9.9 何雨毅,李光平,陈春,等.车载毫米波雷达的椭圆D B-S C AN聚类算法J.现代计算机,2 0 2 1,2 7(2 5):7-1 3.1 0 杨国林,韩峰,王丹英.基于点云数据的道路特征参数提取方法研究J.矿山测量,2 0 1 4,4 2(6):5 5-5 7.1 1 蒋通,邹进贵.基于区域生长的体素滤波点云去噪算法J.测绘地理信息,2 0 2 1,4 6(2):6 3-6 6.1 2 王博,周东明,崔维久,等.R AN S A C结合特征线提取在点云逆向建模中的应用J.矿山测量,2 0 2 1,4 9(1):2 6-2 9,4 8.1 3 夏少波,王成,习晓环,等.I C E S a t-2机载试验点云滤波及植被高度反演J.遥感学报,2 0 1 4,1 8(6):1 1 9 9-1 2 0 7.作者简介:张少华(1 9 7 8-),男,汉族,山东潍坊人,硕士在读,研究方向为工程测量与工业测量。(收稿日期:2 0 2 2-0 1-1 9)(上接第2 3页)2 童立元,刘松玉,邱钰,等.高速公路下伏采空区问题国内外研究现状及进展J.岩石力学与工程学报,2 0 0 4,2 3(7):1 1 9 8-1 2 0 2.3 王文龙.孔中电磁波透视在煤窑采空区勘探中的应用实例J.物探与化探,1 9 9 9,2 3(4):3 4 1-3 1 6.4 李川,徐旺兴,孔华,等.桥梁桩基底部溶洞的井间电磁波C T探测研究J.工程勘察,2 0 2 1,4 9(1):7 3-7 8.5 韩果花,黄明曦,李川,等.井间电磁波C T技术及其在岩溶勘察中的应用J.C T理论与应用研究,2 0 1 3,2 2(4):6 1 5-6 2 1.6 李红立,潘冬明,张华,等.基于孤石的弹性波波速和电磁波衰减特性层析成像技术对比研究J.工程勘察,2 0 1 6,4 4(1 0):7 2-7 8.7 陈垿.电磁波C T在岩溶勘察中的应用J.有色金属设计,2 0 2 0,4 7(3):8 9-9 1.8 刘四新,倪建福.井间电磁法综述J.地球物理学进展,2 0 2 0,3 5(1):1 5 3-1 6 5.9 刘宗斌,刘智昌,权军明,等.大海则矿井井筒水文地质条件分析J.地下水,2 0 1 2,3 4(6):1 6 1-1 6 2,1 7 0.1 0 赵威.电磁波C T几种常用成像方法应用效果对比J.工程地球物理学报,2 0 1 9,1 6(5):7 4 9-7 5 4.1 1 赵旭辰,李雪健,曹芳智,等.井间电磁波C T在煤矿采空区探测效果分析J.物探与化探,2 0 2 1,4 5(4):1 0 8 8-1 0 9 4.作者简介:陈杭(1 9 8 9-),男,汉族,湖北罗田人,本科,工程师,主要从事管线探测、工程测量、工程物探等方面工作。(收稿日期:2 0 2 1-1 2-1 6)73第1期 张少华等:基于改进D B S C AN的单光子激光点云去噪算法 2 0 2 2年2月