融合边缘增强与多尺度注意力的皮肤病变分割_白雪飞.pdf

h t t p:/ww w.j s j k x.c o mD O I:1 0.1 1 8 9 6/j s j k x.2 2 0 3 0 0 0 5 4到稿日期:2 0 2 2-0 3-0 7 返修日期:2 0 2 2-0 8-1 6基金项目:国家自然科学基金(6 1 7 0 3 2 5 2,6 2 0 7 6 1 5 4,6 2 2 7 6 1 6 1,U 2 1 A 2 0 5 1 3);山西省重点研发项目(2 0 2 1 0 2 1 5 0 4 0 1 0 1 3)T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(6 1 7 0 3 2 5 2,6 2 0 7 6 1 5 4,6 2 2 7 6 1 6 1,U 2 1 A 2 0 5 1 3)a n dK e yR e s e a r c ha n dD e v e l o p m e n tP r o g r a mo fS h a n x iP r o v i n c e(2 0 2 1 0 2 1 5 0 4 0 1 0 1 3).通信作者:王文剑(w j w a n g s x u.e d u.c n)融合边缘增强与多尺度注意力的皮肤病变分割白雪飞1靳智超1王文剑1,2马亚楠11山西大学计算机与信息技术学院 太原0 3 0 0 0 62计算智能与中文信息处理教育部重点实验室(山西大学)太原0 3 0 0 0 6(b a i x u e f e i s x u.e d u.c n)摘 要 皮肤病变形状、颜色、大小类型多样,给皮肤病变的准确分割带来了巨大挑战。针对这一问题,提出了一种融合边缘增强与多尺度注意力的皮肤病变分割网络(B EMAU-N e t)。该网络包含一个用于提取全局特征的空间多尺度注意力模块和一个用于增强病变区域边缘特征的边缘增强模块,将两种模块添加到以编码解码结构为主干的网络(U-N e t)中,能够有效抑制病变图像中背景噪声的干扰并强化病灶的边缘细节。此外,设计了混合损失函数,结合D i c eL o s s和B o u n d a r yL o s s,并在训练过程中实现混合损失函数的动态权重调整,使网络对病变图像整体特征和边缘细节特征的提取进行多重监督,缓解了皮肤病变图像分割中毛发干扰和边缘模糊的问题。在I S I C 2 0 1 7和I S I C 2 0 1 8两个公开数据集上的实验结果表明,所提算法对皮肤病变部位的分割图像边缘连续、轮廓清晰,具有更好的分割效果。关键词:皮肤病变分割;空间多尺度注意力;全局特征;边缘增强;U-N e t中图法分类号 T P 3 9 1 S k i nL e s i o nS e g m e n t a t i o nC o m b i n i n gB o u n d a r yE n h a n c e m e n t a n dM u l t i-s c a l eA t t e n t i o nB A IX u e f e i1,J I NZ h i c h a o1,WAN G W e n j i a n1,2a n dMAY a n a n11S c h o o l o fC o m p u t e ra n dI n f o r m a t i o nT e c h n o l o g y,S h a n x iU n i v e r s i t y,T a i y u a n0 3 0 0 0 6,C h i n a2K e yL a b o r a t o r yo fC o m p u t a t i o n a lI n t e l l i g e n c ea n dC h i n e s eI n f o r m a t i o nP r o c e s s i n go fM i n i s t r yo fE d u c a t i o n(S h a n x iU n i v e r s i t y),T a i y u a n0 3 0 0 0 6,C h i n aA b s t r a c t I nv i e wo f t h ev a r i o u s t y p e so fs k i nl e s i o n s i ns h a p e,c o l o ra n ds i z e,w h i c hp o s eah u g ec h a l l e n g et ot h ea c c u r a t es e g-m e n t a t i o no f s k i n l e s i o n s,as k i nl e s i o ns e g m e n t a t i o nn e t w o r kt h a tc o m b i n e sb o u n d a r ye n h a n c e m e n ta n dm u l t i-s c a l ea t t e n t i o ni sp r o p o s e d(B EMAU-N e t).I t c o n s i s t so f t w om o d u l e s,o n e i sc a l l e ds p a t i a lm u l t i-s c a l ea t t e n t i o nm o d u l e,w h i c hi su s e dt oe x t r a c ts p a t i a l g l o b a l f e a t u r e s,a n d t h eo t h e r i s c a l l e db o u n d a r ye n h a n c e m e n tm o d u l e,w h i c h i su s e d t oe n h a n c e t h e e d g e f e a t u r e so f t h e l e-s i o na r e a.B EMAU-N e t a d d s t h e t w om o d u l e s t o t h eU-N e tn e t w o r kw i t he n c o d i n ga n dd e c o d i n gs t r u c t u r e,w h i c hc a ne f f e c t i v e l ys u p p r e s s t h e i n t e r f e r e n c eo fb a c k g r o u n dn o i s ei nt h ei m a g eo fl e s i o n sa n de n h a n c et h ee d g ed e t a i l so fl e s i o n s.I na d d i t i o n,t h em i x e d l o s s f u n c t i o n i sd e s i g n e d,D i c e l o s sa n dB o u n d a r y l o s sa r ec o m b i n e d,a n dt h ed y n a m i cw e i g h t a d j u s t m e n to f t h em i x e dl o s sf u n c t i o ni sr e a l i z e d i nt h e t r a i n i n gp r o c e s s,s o t h a t t h en e t w o r kc o u l dc a r r yo u tm u l t i p l e s u p e r v i s i o no nt h e e x t r a c t i o no f t h eo v e r-a l l f e a t u r e sa n de d g ed e t a i l so f t h ep a t h o l o g i c a l i m a g e s,a n d t h ep r o b l e m so f h a i r i n t e r f e r e n c e a n de d g eb l u r i n t h e s e g m e n t a t i o no fs k i np a t h o l o g i c a l i m a g e sa r ea l l e v i a t e d.E x p e r i m e n t a l r e s u l t so nI S I C 2 0 1 7a n dI S I C 2 0 1 8p u b l i cd a t as e t ss h o wt h a t t h ep r o p o s e da l g o r i t h mh a sb e t t e r s e g m e n t a t i o ne f f e c t f o rs k i n l e s i o n sw i t hc o n t i n u o u se d g e sa n dc l e a r c o n t o u r s.K e y w o r d s S k i n l e s i o ns e g m e n t a t i o n,S p a t i a lm u l t i-s c a l ea t t e n t i o n,G l o b a l f e a t u r e,B o u n d a r ye n h a n c e m e n t,U-N e t 1 引言皮肤癌源于皮肤细胞的基因突变,其中,恶性黑色素瘤是最为致命的皮肤癌形式1。在过去的4 0年中,黑色素瘤在欧洲、北美和大洋洲的白种人中增长速度快于其他任何癌症,而在全球范围内,黑色素瘤是第2 0大最常见的癌症2。研究表明,早期黑色素瘤在5年内的存活率可达9 8%,而晚期黑色素瘤的存活率仅为1 7%3,因此对皮肤病变的早期干预显得尤为重要。对皮肤病变的诊断通常需要专业医生对皮肤镜图像进行分析,但皮肤病变的多样性给人工诊断造成了巨大的困难。在过去几十年中,各种计算机辅助皮肤病变分割算法的出现大大减轻了医生的诊疗难度。目前,皮肤病变分割算法可分为两类。第一类是传统分割算法,如基于阈值4、基于边缘5和基于区域合并的分割算法6等。其中,前两种算法计算简单、运算效率较高、速度快,但是对噪声很敏感。皮肤病变图像中的毛发和人工标注很容易影响到病变分割的精度。基于区域合并的分割算法能够较好地提取出病变区域的特征,但是容易造成图像的过分割。此外,在学习或感知病变图像特征时,这些传统方法很难将大量的历史数据应用于学习过程中,导致病理诊断存在局限性。第二类是基于深度学习的皮肤病变分割算法,尤其是近年来,由于卷积神经网络可以从原始皮肤镜图像数据中自动学习到多种特征,因此其在皮肤病变分割任务中取得了突破性进展,分 割 精 度 和 鲁 棒 性 均 优 于 传 统 算 法。S h e l h a m e r等7首次提出了全卷积神经网络(F u l l yC o n v o l u t i o n a lN e t-w o r k s,F C N),之后Y u a n等8基于F C N实现了端到端的皮肤病变像素级分割,省去了传统算法中的预处理过程,但是它没有利用好全局上下文信息,无法将浅层和深层特征进行结合,提取特征的能力欠佳。J i a n g等9提出了一种结合注意力机制的残差卷积网络(C S A RM-C NN),该网络通过整合空间注意力机制和通道注意力机制来丰富特征表示,对图像中的手工标注和噪声具有较好的鲁棒性,但是大多数注意力机制只专注于局部特征,特征之间的相关度较小,忽视了病变图像全局特征