基于迁移学习的多模态AD病程分类研究.pdf

2 0 2 3年 第3 7卷 第4期测 试 技 术 学 报V o l.3 7 N o.4 2 0 2 3(总第1 6 0期)J O U R N A L O F T E S T A N D M E A S U R E M E N T T E C H N O L O G Y(S u m N o.1 6 0)文章编号:1 6 7 1-7 4 4 9(2 0 2 3)0 4-0 3 4 8-0 8 基于迁移学习的多模态A D病程分类研究乔 悦,李瑞红(中北大学 软件学院,山西 太原 0 3 0 0 5 1)摘 要:近年来,患阿尔茨海默病(A l z h e i m e rs D i s e a s e,A D)的人数逐年增加。临床研究显示,轻度认知障碍(M i l d C o g n i t i v e I m p a i r m e n t,M C I)转化为A D的概率很大,因此,提高磁共振成像(M a g n e t i c R e s o n a n c e I m a g i n g,MR I)和正电子发射断层扫描(P o s i t r o n E m i s s i o n T o m o g r a p h y,P E T)等神经影像图对A D、M C I的分类准确率十分必要。为了解决数据量少、标注困难的问题,首先使用C y c l e G A N网络对缺少的P E T图进行生成;然后采用基于区域能量融合准则的小波变换算法对MR I图和P E T图进行图像融合,能够极大程度的保留图像中的数据信息;最后利用迁移学习技术对轻量级网络M o b i l e N e t进行训练与微调。实验结果显示,在数据量较少的情况下,所提方法在泛化能力较好的同时,也获得了较高的准确率。关键词:神经影像图;图像生成;图像融合;迁移学习;A D病程分类中图分类号:T P 3 9 1.4 文献标识码:A d o i:1 0.3 9 6 9/j.i s s n.1 6 7 1-7 4 4 9.2 0 2 3.0 4.0 1 2R e s e a r c h o n M u l t i m o d a l A l z h e i m e r D i s e a s e C o u r s e C l a s s i f i c a t i o n B a s e d o n T r a n s f e r L e a r n i n gQ I A O Y u e,L I R u i h o n g(S c h o o l o f S o f t w a r e,N o r t h U n i v e r s i t y o f C h i n a,T a i y u a n 0 3 0 0 5 1,C h i n a)A b s t r a c t:I n r e c e n t y e a r s,t h e n u m b e r o f p e o p l e s u f f e r i n g f r o m A l z h e i m e rs D i s e a s e(A D)h a s i n-c r e a s e d y e a r b y y e a r.C l i n i c a l r e s e a r c h s h o w s t h a t t h e p r o b a b i l i t y o f m i l d c o g n i t i v e i m p a i r m e n t(MC I)t r a n s f o r m i n g i n t o A D i s v e r y h i g h,s o i t i s n e c e s s a r y t o i m p r o v e t h e c l a s s i f i c a t i o n a c c u r a c y o f A D a n d MC I b y m a g n e t i c r e s o n a n c e i m a g i n g(MR I),p o s i t r o n e m i s s i o n t o m o g r a p h y(P E T)a n d o t h e r n e u r o i m-a g i n g i m a g e s.I n o r d e r t o s o l v e t h e p r o b l e m o f f e w e r d a t a a n d d i f f i c u l t y i n l a b e l i n g,t h i s p a p e r f i r s t u s e s t h e C y c l e G A N n e t w o r k t o g e n e r a t e t h e m i s s i n g P E T m a p;S e c o n d l y,t h e w a v e l e t t r a n s f o r m a l g o r i t h m b a s e d o n t h e r e g i o n a l e n e r g y f u s i o n c r i t e r i o n i s u s e d t o f u s e MR I i m a g e s a n d P E T i m a g e s,w h i c h c a n r e-t a i n t h e d a t a i n f o r m a t i o n i n t h e i m a g e s t o a g r e a t e x t e n t;F i n a l l y,u s e t h e t r a n s f e r l e a r n i n g t e c h n o l o g y t o t r a i n a n d f i n e-t u n e t h e l i g h t w e i g h t n e t w o r k M o b i l e N e t.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t,i n t h e c a s e o f f e w e r d a t a,t h e m e t h o d u s e d i n t h i s p a p e r h a s b e t t e r g e n e r a l i z a t i o n a b i l i t y a n d h i g h e r a c c u r a c y.K e y w o r d s:n e u r o i m a g i n g i m a g e;i m a g e g e n e r a t i o n;i m a g e f u s i o n;t r a n s f e r l e a r n i n g;a l z h e i m e r d i s e a s e c o u r s e c l a s s i f i c a t i o n0 引 言阿尔茨海默病(A l z h e i m e rs D i s e a s e,A D)是以进行性认知功能障碍和行为损害为特征的中枢神经系统退行性病变,患者会逐渐出现记忆力下降、情绪波动、语言能力和行动能力减退等问收稿日期:2 0 2 2-0 7-1 1 基金项目:国家自然科学基金资助项目(6 1 1 7 1 1 7 8);山西省自然科学基金资助项目(2 0 1 2 0 1 1 0 1 0-3)作者简介:乔 悦(1 9 9 8-),女,硕士生,主要从事智慧城市、图形图像处理研究。E-m a i l:1 0 1 6 5 8 7 7 6 8 q q.c o m。通信作者:李瑞红(1 9 7 5-),女,副教授,主要从事仿真与可视化技术、数字媒体技术、软件工程研究。E-m a i l:l i r u i h o n g n u c.e d u.c n。题1。目前,全球痴呆症病人约有5 0 0 0万人,到2 0 5 0年这个数字将达到1.5 2亿人2。被确诊为A D患者的大脑已造成不可逆的损伤3,医疗手段的介入也不会有较好的治疗效果。在临床医学中,主要通过正电子发射断层扫描(P o s i t r o n E m i s s i o n T o m o g r a p h y,P E T)和磁共振成像(M a g n e t i c R e s-o n a n c e I m a g i n g,MR I)等神经影像学检查对A D患者进行诊断4。在A D研究领域中,主要使用N I A-A A 标准将A D病程分为3个阶段:认知功能正常(N o r m a l C o g n i t i v e,N C)、轻度认知障碍(M i l d C o g n i t i v e I m p a i r m e n t,MC I)和A D5。MC I时期是医疗手段介入进行预防或延缓成为A D的最佳时期。所以,A D病程的精确分类对A D诊疗有着巨大的实际意义。从2 0 1 3年开始,深度学习在医学图像处理领域飞速发展,其中卷积神经网络(C o n v o l u t i o n a l n e u r a l n e t w o r k,C N N)因其可以很好地提取神经影像数据的相关病理特征和其隐藏的表征而被研究人员所青睐。V e n u g o p a l a n等6使用自动编码器从遗传数据中提取特征,并使用3 D C N N来处理成像数据,实验表明该模型在准确率、精度、召回率和m e a n F 1分数方面都优于单一模态模型。文献7-8 分别利用循环神经网络(E D R N N)和R e s N e t 1 8、D e n s e N e t 2 0 1模型对A D病程进行分类,实验结果表明,这些模型的分类准确率有显著提高。随着神经影像技术的飞速发展,多模态融合数据被广泛应用于医学诊断。G a o等9将注意力生成对抗网络(T P A-G A N)与路径转移密集卷积网络(P T-D C N)相结合,用于多模态大脑图像的 插 补 和 分 类,分 类 准 确 率 达 到9 2.0%。D w i v e d i等1 0利用恶魔算法和离散小波变换对MR I和P E T进行融合,然后使用R e s N e t-5 0对图像特征提取并分类。实验表明,N C v s A D、N C v s MC I及A D v s MC I的分类准确率分别为9 7%、9 4%和9 7.5%。由于A D的隐蔽性较强,其样本获取难度极大,存在神经影像图稀疏和标记难等问题,且模型训练效果差。最新研究表明,在机器学习中,迁移学习有助于解决训练数据不足的问题。T a n v e e r等1 1提出了一种与机器学习架构无关的深度神经网络集成模型,主要使用迁移学习技术对该模型进行训练,实验结果表明,该模型在区分A D v s MC I和N C v s A D的准确率分别为8 3.1 1%和8 5%。F a n g等1 2设计了一个端到端的深度神经网络分类器C N N 4 A D,并采用重新迁移学习方法对多模态脑图像进行分类,该方法在标记较少的训练样本的情况下获得了更高的准确率,C h u i等1 3对C N N加入增强超参数并引入了迁移学习技术,经过消融实验的对比表明,该方法将检测模型的准确率提高了2.8 5%3.8 8%。基于上文所述的A D分类研究方法,为进一步降低数据量少所带来的实验影响和提高分类的准确率,本文将使用生成对抗网络生成P E T数据以补足缺少的数据,然后采用小波变换算法融合MR I、P E T影像数据以最大化保留图像信息,最后将融合后的数据引入到分类模型中并基于迁移学习技术进行模型优化。1 相关工作1.1 C y c l e