基于扩散模型的指纹图像生成方法_杨光锴.pdf

第4 0卷第1期2 0 2 3年2月河 北 省 科 学 院 学 报J o u r n a l o f t h e H e b e i A c a d e m y o f S c i e n c e sV o l.4 0 N o.1F e b.2 0 2 3收稿日期:2 0 2 2-1 0-2 0作者简介:杨光锴(1 9 8 5-),男,河北石家庄人,硕士,工程师,主要研究方向:机器学习,大数据.文章编号:1 0 0 1-9 3 8 3(2 0 2 3)0 1-0 0 1 3-0 6基于扩散模型的指纹图像生成方法杨光锴(河北省科学院,河北 石家庄 0 5 0 0 8 1)摘 要:由于个人信息保护等原因,采集大量指纹信息是十分困难的。采用计算机自动生成指纹图像的方法可以在相较容易的条件下构建大规模数据库。本文采用去噪扩散概率模型实现了一种指纹图像自动生成的方法,通过加噪和去噪的方式构建指纹图像生成模型,最终由模型生成的指纹图像清晰、完整,具有较高的辨识度和很强的差异性。关键词:扩散模型;D D PM;深度学习;指纹生成中图分类号:T P 3 9 1.4 1 文献标识码:AF i n g e r p r i n t i m a g e g e n e r a t i o n m e t h o d b a s e d o n d i f f u s i o n m o d e l sY A N G G u a n g-k a i(H e b e i A c a d e m y o f S c i e n c e s,S h i j i a z h u a n g H e b e i 0 5 0 0 8 1,C h i n a)A b s t r a c t:B e c a u s e o f p e r s o n a l i n f o r m a t i o n p r o t e c t i o n a n d o t h e r r e a s o n s,i t i s d i f f i c u l t t o c o l l e c t a l a r g e a m o u n t o f f i n g e r p r i n t i n f o r m a t i o n.T h e m e t h o d o f a u t o m a t i c c o m p u t e r-g e n e r a t e d f i n g e r p r i n t i m a g e s c a n b e u s e d t o b u i l d l a r g e-s c a l e d a t a b a s e s u n d e r e a s y c o n d i t i o n s.I n t h i s p a p e r,a n a u t o m a t i c f i n g e r p r i n t i m a g e g e n e r a t i o n i s i m p l e m e n t e d b y u s i n g d e n o i s i n g d i f f u s i o n p r o b a b i l i s t i c m o d e l s a n d a f i n g e r p r i n t i m a g e g e n e r a t i o n m o d e l i s c o n s t r u c t e d b y n o i s i n g a n d d e n o i s i n g.T h e f i n g e r p r i n t i m a g e g e n e r a t e d b y t h e m o d e l i s c l e a r a n d c o m p l e t e,w i t h h i g h i d e n t i f i c a t i o n a n d s t r o n g d i f f e r e n c e.K e y w o r d s:D i f f u s i o n m o d e l s;D D PM;D e e p l e a r n i n g;F i n g e r p r i n t g e n e r a t i o n0 引言指纹是人与生俱来的重要生物特征,是遗传与环境共同作用产生的,具有稳定和不可重复等特性1。随着传感技术和信息技术的发展,指纹凭借其优良的特性,在司法刑侦、身份鉴别、安全认证等领域已得到广泛的应用2。在指纹识别算法研究等领域需要大量的指纹样本,然而由于时间、资金、个人隐私等因素制约,构建大型的指纹图像数据库较为困难,因此使用计算机生成指纹的方法,是构建大型指纹数据库的重要方式之一3。近年来,基于深度学习的生成式建模方法已得到广泛应用。主要的生成式建模方法有生成对抗网络(GAN)、变分自编码器(VA E)、扩散模型(D i f f u s i o n M o d e l s)等。其中,扩散模型得益于其自身生成样本的DOI:10.16191/ki.hbkx.2023.01.009河北省科学院学报2 0 2 3年第4 0卷强大能力,已被广泛应用于高质量图像生成4、自然语言处理和生物信息学等多个领域。J a s c h a S o h l-D i c k-s t e i n等人5第一次提出了扩散概率模型(D i f f u s i o n P r o b a b i l i s t i c M o d e l,简称扩散模型),其基本思想是通过不断迭代来系统地、缓慢地破坏数据的分布结构,再从逆向过程中恢复数据结构,从而构建一个灵活且易于处理的数据生成模型。宋飏等人6提出了噪声条件分数网络(N C S N N o i s e-C o n d i t i o n e d S c o r e N e t w o r k),通过加入不同量级的噪声对原有数据进行扰动,使用分数匹配和退火朗之万动力学的方法来训练神经网络,预测不同噪声水平下分布的分数;J o n a t h a n H o等人7提出了去噪扩散概率模型(D D PM D e n o i s i n g D i f-f u s i o n P r o b a b i l i s t i c M o d e l s),在原有扩散概率模型数学架构基础上进一步改进,实现了高分辨率条件下的图像生成,使得扩散模型受到广泛关注。宋飏等人8提出了一种随机微分方程(S D E),将原有的D D PM和N C S N等结构从数学的角度统一了起来,构建了更加一般化的扩散模型理论框架,获得了新的采样过程和建模能力。宋佳铭等人9提出了去噪扩散隐式模型(D D I M D e n o i s i n g D i f f u s i o i n I m p l i c i t M o d e l),在沿用D D PM的训练模型的基础上,对其逆向过程中的采样方法进行了改进,极大地提高了采样速度。本文使用去噪扩散概率模型D D PM实现指纹的生成。1 模型构建1.1 D D PM基本结构去噪扩散概率模型可分为前向过程(也称前向扩散过程、加噪过程等)和逆向过程(也称逆向扩散过程、逆向去噪过程等)两部分1 1,1 2。如图1所示,前向过程是一个逐步加噪的过程,在前向过程的每一步,向样本的数据分布中添加对角高斯噪声。通过不断地加入高斯噪声,使得原有的样本数据分布转换为一个简单的标准高斯分布。逆向过程是一个去噪的过程,从标准高斯分布中进行采样,每一步去除一个很小的高斯噪声,逐步贴近真实数据分布,进而得到其真实数据分布中的样本,从而达到生成数据的目的。（xt，t）前向过程逆向过程x0 xt-1q（xt|xt-1）p（xt-1|xt）xtxT（xt，t）图1 D D PM基本结构图1.2 D D PM前向过程D D PM的前向过程是一个基于马尔科夫假设的加噪过程。设T为总的加噪步数,样本数据的初始分布为x0q(x0),前向过程的每一时刻t向数据中加入均值和标准差为特定值的高斯噪声。即:q(xt|xt-1)=N(xt;1-txt-1,tI)(1)q(x1,x2,xT|x0)=Tt=1q(xt|xt-1)(2)式中:,xt为加噪至t时刻的数据;t为人为设定的t时刻时加噪的参数值,1、2T构成噪声时间表(n o i s e s c h e d u l e),且有01t-1tT1。经计算可得:xt=1-txt-1+tzt-1(3)其中zt-1N(0,I)。定义变量t=1-t和-t=ts=0s,由于模型基于马尔科夫假设,经过不断迭代,公式(3)可转换为:xt=-tx0+1-tz z N(0,I)(4)41第1期杨光锴:基于扩散模型的指纹图像生成方法即:q(xt|xo)=N(xt;-tx0,(1-t)I)(5)从上式可以看出,整个前向过程,对于确定的样本数据x0和噪声时间表1、2T,能够一次性得到任意一步的数据xt。同时,当总步数T足够大时,最终加噪结果xT可视为一个各向同性的高斯分布,即q(xT|xo)N(0,I)。具体到图像生成问题,前向过程的加噪将原有图片转换为噪声图片。1.3 D D PM逆向过程逆向过程是从噪声中逐步去除噪声重建数据的过程,训练结束后使用逆向过程生成数据。在D D PM中,整个过程同样假设为一个马尔可夫链。若逆向过程中的每一步t能够精确求得条件概率分布q(xt-1|xt),则可以通过反方向上的迭代不断采样求得q(x0),完成生成任务。但是,由于q(xt-1|xt)取决于全部样本的数据分布,所以直接求得q(x0)是不现实的1 3。因此,采取构建由参数化的神经网络来近似其分布,假设p(xt-1|xt)是逆向过程的概率分布,且服从于高斯分布,其均值和方差均以xt和t作为输入参数,即:p(xt-1|xt)=N(xt-1;(xt,t),(xt,t)(6)为便于后续计算和减少神经网络训练难度,将方差设定为不需要参与神经网络训练,且与时间相关的常数?t(?t定义见公式(1 0)。因此在训练时,仅使用神经网络训练均值即可。虽然无法直接计算q(xt-1|xt),但可根据t时刻过程值xt和初始值x0计算出后验条件概率q(xt-1|xt,x0)1 3。应用贝叶斯公式:q(xt-1|xt,x0)=q(xt|xt-1,x0)q(xt-1|x0)q(xt|x0)(7)并根据高斯分布性质和公式(4)可得:q(xt-1|xt,x0)=N(xt-1;?t(xt,x0),?tI)(8)其中:?t(xt,x0)=-t-1t1-tx0+-t(1-t-1)1-txt(9)?t=1-t-11-tt(1 0)根据p(xt-1|xt)、q(xt-1|xt,x0)二者之间关系,对比公式(6)和公式(8),可确定损失函数。1.4 损失函数在使用神经网络训练均值时,对于需预测的量可以有三种选择方式得到训练结果。(1)直接预测逆向过程每步高斯噪声的均值;(2)预测初始值x0,再利用公式(9)带入求得均值;(3)可预测噪音z,通过公式(4)转换后带入公式(9)消掉x0,得到公式(1 1)来计算。(xt,t)=1t(xt-t1-t)(1 1)其中,为噪音z的预测值。综合参考各类文献,本文采取第三种方式进行预测。其损失函数为:Ls i mp l e()=Et,x0,zz-(xt,t)2 z N(0,I)(1 2)需要指出,网络优化的最终目的是最大化逆向过程最终结果p(x0),从而得到最符合样本的生成结果,可以使用变分下界(V L B)来优化其负对数似然函数:E-l o gp(x0)Eq-l o gp(x0,x1,xT)q(x1,x2,xT|x0)=LV L B(1 3)文献7 1 0 提出,公式(1 2)可以看作是变分下界损失LV L B的重新加权形式,且优化公式(1 2)会产生相较直接优化LV L B更好的样品质量。本研究在指纹生成的具体实现中,改用L1