含打印错位字符的机动车登记证识别算法设计_支中良.pdf

电 子 测 量 技 术E L E C T RON I CME A S U R EME N TT E CHNO L O G Y第4 5卷 第2 3期2 0 2 2年1 2月 D O I:1 0.1 9 6 5 1/j.c n k i.e m t.2 2 1 0 0 1 0含打印错位字符的机动车登记证识别算法设计*支中良 陈晓荣(上海理工大学光电信息与计算机工程学院 上海 2 0 0 0 8 2)摘 要:目的 针对机动车登记证图像打印错位、字符被表格线穿过的问题,基于HA L C ON机器视觉软件设计了一套字符识别算法。首先将图像倾斜校正、增强、二值化;特定结构腐蚀法提取出表格线,将原图像区域分成表格和字符两部分;在垂直投影分割法基础上提出字符间距合并算法分割出单个字符,其中被表格线穿过的字符会出现断裂。区域检测填充算法指定结构和参数对区域内部和边缘进行检测填充实现断裂拼接。最后基于多层感知器对字符训练并识别,将结果排版并显示到表格。实验结果表明,算法能够对登记证图像进行预处理并识别字符,识别准确率为9 7.2 8%。通过上述算法,可极大提升从复杂背景中提取信息的效率。关键词:同色线干扰;倾斜校正;字符提取;字符分割;字符拼接;字符训练中图分类号:T P 3 9 1 文献标识码:A 国家标准学科分类代码:5 2 0.6 0D e s i g n o f r e c o g n i t i o n a l g o r i t h m f o r m o t o r v e h i c l e r e g i s t r a t i o n c e r t i f i c a t e w i t h p r i n t e d m i s p l a c e d c h a r a c t e r sZ h i Z h o n g l i a n g C h e n X i a o r o n g(S c h o o l o f O p t i c a l-E l e c t r i c a l a n d C o m p u t e r E n g i n e e r i n g,U n i v e r s i t y o f S h a n g h a i f o r S c i e n c e a n d T e c h n o l o g y,S h a n g h a i 2 0 0 0 8 2,C h i n a)A b s t r a c t:G o a l A i m i n g a t t h e p r o b l e m t h a t t h e i m a g e o f m o t o r v e h i c l e r e g i s t r a t i o n c e r t i f i c a t e i s p r i n t e d i n c o r r e c t l y a n d t h e c h a r a c t e r s a r e c r o s s e d b y l i n e s,a s e t o f c h a r a c t e r r e c o g n i t i o n a l g o r i t h m i s d e s i g n e d b a s e d o n H a l c o n m a c h i n e v i s i o n s o f t w a r e.M e t h o d F i r s t l y,t h e i m a g e i s t i l t c o r r e c t e d、e n h a n c e d、b i n a r i z e d;E x t r a c t i o n o f t a b l e l i n e s b y s p e c i f i c s t r u c t u r e c o r r o s i o n m e t h o d,t h e o r i g i n a l i m a g e a r e a i s d i v i d e d i n t o t w o p a r t s:t a b l e a n d c h a r a c t e r;B a s e d o n t h e v e r t i c a l p r o j e c t i o n s e g m e n t a t i o n m e t h o d a n d t h e c h a r a c t e r s p a c i n g m e r g i n g a l g o r i t h m,a s i n g l e c h a r a c t e r i s s e g m e n t e d,i n w h i c h t h e c h a r a c t e r s c r o s s e d b y t h e t a b l e l i n e w i l l h a v e o b v i o u s f r a c t u r e.T h e r e g i o n d e t e c t i o n a n d f i l l i n g a l g o r i t h m s p e c i f i e s t h e s t r u c t u r a l e l e m e n t s a n d p a r a m e t e r s t o d e t e c t a n d f i l l t h e i n t e r n a l a n d e d g e f r a c t u r e s o f t h e r e g i o n t o r e a l i z e f r a c t u r e s p l i c i n g.F i n a l l y,t h e s p l i c e d c h a r a c t e r s a r e t r a i n e d a n d r e c o g n i z e d b a s e d o n m u l t i-l a y e r p e r c e p t r o n,a n d t h e r e s u l t s a r e t y p e s e t a n d d i s p l a y e d i n t h e t a b l e.R e s u l t E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e a l g o r i t h m c a n p r e p r o c e s s t h e r e g i s t r a t i o n c e r t i f i c a t e i m a g e a n d r e c o g n i z e c h a r a c t e r s,a n d t h e r e c o g n i t i o n a c c u r a c y i s 9 7.2 8%.C o n c l u s i o n T h r o u g h t h e a b o v e a l g o r i t h m,t h e e f f i c i e n c y o f e x t r a c t i n g i n f o r m a t i o n f r o m c o m p l e x b a c k g r o u n d c a n b e g r e a t l y i m p r o v e d.K e y w o r d s:h o m o c h r o m a t i c l i n e i n t e r f e r e n c e;t i l t c o r r e c t i o n;f e a t u r e e x t r a c t i o n;c h a r a c t e r s e g m e n t a t i o n;c h a r a c t e r s p l i c i n g;c h a r a c t e r t r a i n i n g 收稿日期:2 0 2 2-0 5-1 8*基金项目:国家自然科学基金面上项目(5 2 1 7 5 5 1 3)资助0 引 言 近年来,随着社会经济的发展,人们对各种产品的交易频率越来越高,产品成分、生产日期等包装信息识别也因此变得备受关注。然而在生产线上,存在喷码设备质量不稳定、操作人员受如生理差异、经验、情绪和疲劳度等诸多因素的影响,在识别和录入中识别标准模糊、识别速度慢等,不可避免地造成错误,这会导致一系列的生产与管理问题1。光学字符识别(O C R)2是利用计算机图像处理技术,以及光学成像技术将印刷制品上的文字识别出来,转换成人们可以读取的形式。随着机器视觉技术的快速发展,文本字符识别取得了优异的性能,在各领域得到了广泛的应用。但是从复杂的场景中如证书类场景中识别字符仍然是一项研究难点3。52 第4 5卷电 子 测 量 技 术O C R结合干扰字符识别的研究吸引了众多学者,在图像去噪、字符分割、去干扰线等方向取得了众多成果4-6。刘淼等针对图像噪点多、亮度不均匀及规格不统一等情况,通过对图像进行消噪、亮度均衡及阈值分割等算法处理,提高了图像的最终识别率,但是系统识别功能和图像处理方法速度慢、适用性差7;段荧等8使用贪婪算法通过扫描待测点获得线段权值的方法,对不规则同色干扰线进行修复,但是算法在去除干扰线条的同时也会把文字的笔画像素点进行去除,造成字符笔画不完整;G u a n等9提出了基于胶囊网络的识别方案。首先,通过图像预处理、定位、字符分割,然后利用胶囊神经网络进行训练和模拟,以达到准确字符识别的目的,但是在复杂环境中,当采集的图像质量参差不齐,识别结果会受到严重影响。针对上述问题,本文基于O C R技术提出了改进算法。提出区域作差法提取登记证字符和表格线;基于垂直投影分割算法提出字符间距合并算法实现单字符分割;提出断裂字符检测与填充算法实现字符拼接;采用多层感知器神经网络对字符进行训练与识别。经验证,该算法可以准确提取和识别汽车登记证的字符,极大提升相关工作的效率。1 图像处理算法分析1.1 算法流程 本文所采用的主要算法流程如图1所示。图1 算法流程由图1可知,机动车登记证图像经过版面分析及字符提取后,分为属性栏和结果栏进行字符分割。属性栏中带有数字和点,结果栏不带。图2是本次研究目标机动车登记证彩色原图,左边方框是登记证的属性栏,右边方框是结果栏。图2 属性栏和结果栏1.2 图像预处理 图像预处理主要是通过计算机科学的运用,对图像执行相应的分析、处理以及辨识等工作,通过此种方式,提取出图像中的有效信息,并剔除掉其中存在的冗余信息1 0。机动车登记证在获取图像时,会受到周围环境或其它因素的影响,并且本身包含有彩色背景、印章、表格线、字符等复杂信息,因此需要对其进行预处理。预处理主要分两个环节进行,首先对整体图像进行处理,其次版面分析后对局部区域进行处理。整体图像处理主要包括均值滤波、灰度化、倾斜校正、增强对比度、二值化等,局部区域处理包括腐蚀、膨胀、闭运算等。1)均值滤波对图像进行处理前要进行去噪操作,去除不必要的干扰信号,以提高图像的质量1 1。均值滤波主要方法是领域平均法,可以消除背景的尖锐噪声。机动车登记证背景中有很多彩色纹路,会在图像二值化后产生很多细小噪声。运用均值滤波可以平滑图像,减少噪声。均值滤波可以用公式表示为:g(i,j)=k,lf(i+k,j+l)h(k,l)(1)g(i,j)是滤波后得到的函数,h(i,j)是邻域算子,f(i,j)是原图。2)增强对比度彩色图像先转为灰度图像,为了改善视觉效果与分割结果,在对图像进行分割之前,本算法先进行对比度增强,增强对比度会让文字变得更黑,背景更白,增强反差,抑制无用信息,提高图