基于深度学习的机织印花布疵点实时检测方法研究_郭同建.pdf

第4 9卷 第1期2 0 2 3年2月东华大学学报(自然科学版)J OUR NA L O F D ON GHUA UN I V E R S I T Y(NA TUR A L S C I E N C E)V o l.4 9,N o.1F e b.2 0 2 3 文章编号:1 6 7 1-0 4 4 4(2 0 2 3)0 1-0 0 3 3-0 6 D O I:1 0.1 9 8 8 6/j.c n k i.d h d z.2 0 2 1.0 2 8 1收稿日期:2 0 2 1-0 5-1 1基金项目:国家重点研发计划资助项目(2 0 1 8 Y F B 1 3 0 8 8 0 0)通信作者:徐洋,女,教授,研究方向为大型复杂机械耦合系统动力学建模及参数识别,E-m a i l:x u y a n g d h u.e d u.c n引用格式:郭同建,徐洋,陈慧敏,等.基于深度学习的机织印花布疵点实时检测方法研究J.东华大学学报(自然科学版),2 0 2 3,4 9(1):3 3-3 8.GUO T J,XU Y,C HE N H M,e t a l.R e s e a r c h o n r e a l-t i m e d e t e c t i o n m e t h o d o f w o v e n p r i n t e d f a b r i c d e f e c t s b a s e d o n d e e p l e a r n i n g J.J o u r n a l o f D o n g h u a U n i v e r s i t y(N a t u r a l S c i e n c e),2 0 2 3,4 9(1):3 3-3 8.基于深度学习的机织印花布疵点实时检测方法研究郭同建,徐 洋,陈慧敏,余智祺,孙以泽(东华大学 机械工程学院,上海 2 0 1 6 2 0)摘要:为满足纺织业内机织印花布瑕疵检测的实时性需求,基于利用回归思想进行检测的单阶段算法模型YO L O v 3(y o u o n l y l o o k o n c e v e r s i o n 3),提出一种改进的机织印花布疵点实时检测方法。通过优化骨干网络结构,引入可变形卷积,提高印花背景下模型的瑕疵特征提取能力;设计新的损失函数,提高瑕疵分类和定位的精准度;引入几何中位数剪枝算法,去除深层网络冗余参数,进一步提高系统检测速度。试验结果表明,改进算法的模型在测试集上准确率可达9 2.0 2%,检测精度显著提高,每张图片检测平均耗时2 2.6 1 m s,满足工厂的实时性要求。关键词:机织印花布;疵点检测;深度学习;YO L O v 3;轻量化中图分类号:T P 3 9 1;T S 1 0 1 文献标志码:AR e s e a r c h o n r e a l-t i m e d e t e c t i o n m e t h o d o f w o v e n p r i n t e d f a b r i c d e f e c t s b a s e d o n d e e p l e a r n i n gG U O T o n g j i a n,XU Y a n g,CHEN H u i m i n,Y U Z h i q i,S UN Y i z e(C o l l ege o f M e c h a n i c a l E ngi n e e r i ng,D o ngh u a U n i v e r s i ty,S h a ngh a i 2 0 1 6 2 0,C h i n a)A b s t r a c t:I n o r d e r t o m e e t t h e d e m a n d f o r r e a l-t i m e d e f e c t d e t e c t i o n o f w o v e n pr i n t e d f a b r i c w i t h i n t h e t e x t i l e i n d u s t ry,a n i mpr o v e d r e a l-t i m e d e t e c t i o n m e t h o d f o r w o v e n pr i n t e d f a b r i c d e f e c t s i s pr opo s e d b a s e d o n YO L O v 3,a s i ngl e-s t age a lgo r i t h m m o d e l f o r d e t e c t i o n u s i ng r egr e s s i o n i d e a s.T h e m e t h o d opt i m i z e s t h e s t r u c t u r e o f b a c k b o n e a n d i n t r o d u c e s d e f o r m a b l e c o n v o l u t i o n t o i mpr o v e t h e d e f e c t f e a t u r e e x t r a c t i o n c apa b i l i ty o f t h e m o d e l i n t h e pr i n t i ng c o n t e x t;d e s ign s a n e w l o s s f u n c t i o n t o i mpr o v e t h e a c c u r a cy o f d e f e c t c l a s s i f i c a t i o n a n d l o c a l i z a t i o n;i n t r o d u c e s a pr u n i ng a lgo r i t h m b a s e d o n ge o m e t r i c m e d i a n t o r e m o v e t h e r e d u n d a n t pa r a m e t e r s o f t h e d e ep n e t w o r k a n d f u r t h e r i mpr o v e s t h e d e t e c t i o n spe e d o f t h e sys t e m.T h e e xpe r i m e n t a l r e s u l t s s h o w t h a t t h e m o d e l w i t h t h e i mpr o v e d a lgo r i t h m c a n r e a c h 9 2.0 2%a c c u r a cy o n t h e t e s t s e t.T h e d e t e c t i o n a c c u r a cy i s s ign i f i c a n t ly i mpr o v e d,a n d t h e a v e r age t i m e spe n t pe r i m age d e t e c t i o n i s 2 2.6 1 m s,w h i c h m e e t s t h e r e a l-t i m e r equ i r e m e n t s o f t h e f a c t o ry.K e y w o r d s:w o v e n pr i n t e d f a b r i c;d e f e c t d e t e c t i o n;d e ep l e a r n i ng;YO L O v 3;l igh t w e igh t 在纺织品的生产环节中,高效率和高精度的质量检测是品控的关键所在。目前,我国纺织企业大部分仍依靠人工检测织物的表面缺陷,这种方式易受人的主观性影响且效率低下。近年来,已有企业东华大学学报(自然科学版)第4 9卷 结合机器视觉技术在纺织领域开展瑕疵检测方法的研究,但大都使用传统的图像处理方法,存在检测精度低、适用性差、特征工程繁琐等问题,对于布匹种类、印染情况等皆有限制。而现今纺织品外观要求日益提高,机织印花布在家纺、鞋服等行业中存在大量应用,纺织企业在生产质量检测中也增加了对机织印花布检验的需求。机织印花布是在布料上用不同印花方法呈现不同图案的纺织品,其花样丰富多彩,用传统方法难以完成检测。随着人工智能技术的快速发展,纺织质量检测领域也涌现出一类基于深度学习的算法,这些算法的设计流程较简单,稳定性也更好。如陈康等1采用改进深度特征提取网络的F a s t e r R C NN方法检测布匹瑕疵,吴志洋等2采用大网络蒸馏小网络的方法进行布匹疵点识别,Z h a o等3在VG G网络上使用特征融合进行布匹瑕疵检测。这几种方法相对人工检测而言,在工作效率和精准度方面都有较大提升,但仅针对单色布或图案规整的格子布。许玉格等4提出基于通道叠加的残差网络并融合特征金字塔的级联检测方法,用于检测分类不平衡纹理布匹,检测精度获得很大提高,但未提及检测速度。孟志青等5使用双路残差网络的C a s c a d e R C NN进行花色布瑕疵检测,X u等6提出在C a s c a d e R C NN+F P N的基础上引入OHEM和F o c a l L o s s的花色布检测算法,以上两种方法在检测精度上也都有较大提高,但检测速度略有欠缺。为同时满足实际工厂中机织印花布疵点检测的精度和实时性需求,本文提出基于深度学习的机织印花布疵点实时检测方法。在一阶模型Y O L O v 37的基础上,替换基础网络架构为精度与速度都有权衡的R e s n e t 5 08,同时重新设定信息提取方式,嵌入适应于瑕疵特征的可变形卷积9,并使用改进的损 失函数修正分类和回归精度,以网络层几何中值评价卷积核输出贡献,剪除深层冗余参数进行模型轻量化处理,最后添加对比模型进行试验验证。1 布匹疵点实时检测系统组成 布匹疵点实时检测系统由6部分构成,主要包括布匹传送平台、P C机、图像采集卡、隧道光源、线阵CMO S相机、旋转编码器,如图1所示。图1 布匹疵点检测系统示意图F i g.1 D i a g r a m o f f a b r i c d e f e c t d e t e c t i o n s y s t e m其中:旋转编码器为Om r o n增量式编码器;线阵CMO S相机为T e l e d y n e D A L S A型彩色线扫描工业相机,其采样分辨率为4 0 9 6像素1像素;模型测试基于W i n d o w s 1 0操作系统、I n t e l C o r e i 5-8 4 0 0型 中 央 处 理 器 和NV I D I A G e F o r c e G T X 1 0 7 0 T i型 显 卡,深 度 学 习 框 架 使 用 百 度P a d d l e D e t e c t i o n和P a d d l e I n f e r e n c e推理引擎。在检测系统中,编码器需与布匹表面贴合安装,布匹在传送平台上移动时带动编码器旋转,编码器将旋转位移转换为数字脉冲信号,从而控制采集卡采集图像,采集的频率由编码器基于布匹传送速度决定。2 机织印花布疵点实时检测算法设计 本文以一阶算法YO L O v 3为框架,设计添加了机织印花布疵点精度修正模块和轻量化模块,整体的算法流程如图2所示。图2 检测算法结构图F i g.2 S t r u c t u r e o f t h e d e t e c t i o n a l g o r i t h m2.1 浅层网络轻量化 YO L O v 3所设计的D a r k n e t 5 3网络连接了大量的残差模块,基于残差边能有效缓解训练时梯度消