基于Vivado_HLS的内窥镜实时暗部增强算法设计_王云峰.pdf

电 子 测 量 技 术E L E C T RON I CME A S U R EME N TT E CHNO L O G Y第4 5卷 第2 3期2 0 2 2年1 2月 D O I:1 0.1 9 6 5 1/j.c n k i.e m t.2 2 0 9 9 7 4基于V i v a d o H L S的内窥镜实时暗部增强算法设计*王云峰 范正吉 何 鑫 景金荣 洪应平(中北大学仪器科学与动态测试教育部重点实验室 太原 0 3 0 0 5 1)摘 要:医用内窥镜的探头体积有限,使用环境特殊,照明条件有限,故图像的暗部处理显得尤为重要。本设计提出一种快速的彩色图像暗部增强算法,首先对采集到的R G B 8 8 8格式视频流图像进行通道分离,然后通过卷积的方式对每个通道进行特定窗口大小的均值滤波来进行区域特征提取。最后对滤波后三个通道的每个对应点取平均值,代入特定参数的L o g i s t i c函数,得到的结果为该帧图像该位置像素点的增益,并将其应用于原图。本设计以X i l n x公司推出的Z y n q系列A RM+F P GA S o C平台为载体,使用V i v a d o HL S进行A X I-S t r e a m接口视频流处理算法的开发,并生成I P在F P GA端运行。经过实验,本算法在Z y n q 7 0 2 0平台处理4 0 04 0 03 0 f p s的一帧图像仅需1.6 m s,保证了视频流输出的实时性。同时把内窥镜伸入口腔观察算法处理前后的视频流图像可知,本算法在保证区域对比度的同时增强了暗部亮度,较好的提升了医用内窥镜视频流的暗部质量。关键词:内窥镜;暗部增强;Z YNQ;V i v a d o HL S;视频图像处理 中图分类号:TN 9 1 9.5 文献标识码:A 国家标准学科分类代码:5 1 0.4 0D e s i g n o f e n d o s c o p e r e a l-t i m e d a r k p a r t e n h a n c e m e n t a l g o r i t h m b a s e d o n V i v a d o H L SW a n g Y u n f e n g F a n Z h e n g j i H e X i n J i n g J i n r o n g H o n g Y i n g p i n g(K e y L a b o r a t o r y o f I n s t r u m e n t a t i o n S c i e n c e a n d D y n a m i c M e a s u r e m e n t,M i n i s t r y o f E d u c a t i o n,N o r t h U n i v e r s i t y o f C h i n a,T a i y u a n 0 3 0 0 5 1,C h i n a)A b s t r a c t:T h e p r o b e v o l u m e o f m e d i c a l e n d o s c o p e i s l i m i t e d,t h e u s e e n v i r o n m e n t i s s p e c i a l,a n d t h e l i g h t i n g c o n d i t i o n s a r e l i m i t e d,s o t h e d a r k p a r t p r o c e s s i n g o f i m a g e i s p a r t i c u l a r l y i m p o r t a n t.T h i s d e s i g n p r o p o s e s a f a s t d a r k p a r t e n h a n c e m e n t a l g o r i t h m f o r c o l o r i m a g e.F i r s t l y,t h e c o l l e c t e d R G B 8 8 8 f o r m a t v i d e o s t r e a m i m a g e s a r e c h a n n e l s e p a r a t e d,a n d t h e n t h e m e a n f i l t e r o f s p e c i f i c w i n d o w s i z e i s c a r r i e d o u t f o r e a c h c h a n n e l t h r o u g h c o n v o l u t i o n t o e x t r a c t t h e r e g i o n a l f e a t u r e s.F i n a l l y,t h e a v e r a g e v a l u e o f e a c h c o r r e s p o n d i n g p o i n t o f t h e t h r e e c h a n n e l s a f t e r f i l t e r i n g i s t a k e n a n d s u b s t i t u t e i t i n t o t h e L o g i s t i c f u n c t i o n o f s p e c i f i c p a r a m e t e r s.T h e r e s u l t i s t h e g a i n o f t h e p i x e l p o i n t a t t h a t p o s i t i o n o f t h e f r a m e i m a g e,w h i c h i s a p p l i e d t o t h e o r i g i n a l i m a g e.T h e d e s i g n t a k e s t h e Z y n q s e r i e s A RM+F P GA S o C p l a t f o r m l a u n c h e d b y X i l n x a s t h e c a r r i e r,u s e s V i v a d o HL S t o d e v e l o p t h e A X I-S t r e a m i n t e r f a c e v i d e o s t r e a m p r o c e s s i n g a l g o r i t h m,a n d g e n e r a t e s I P t o r u n o n t h e F P GA.A f t e r e x p e r i m e n t s,t h i s a l g o r i t h m o n l y n e e d s 1.6 m i l l i s e c o n d s t o p r o c e s s a f r a m e o f 4 0 04 0 03 0 f p s o n t h e Z y n q 7 0 2 0 p l a t f o r m,w h i c h e n s u r e s t h e r e a l-t i m e o u t p u t o f t h e v i d e o s t r e a m.A t t h e s a m e t i m e,t h e e n d o s c o p e i s i n s e r t e d i n t o t h e o r a l c a v i t y t o o b s e r v e t h e v i d e o s t r e a m i m a g e s b e f o r e a n d a f t e r t h e a l g o r i t h m p r o c e s s i n g.T h e a l g o r i t h m e n h a n c e s t h e b r i g h t n e s s o f t h e d a r k p a r t w h i l e e n s u r i n g t h e r e g i o n a l c o n t r a s t,a n d i m p r o v e s t h e d a r k p a r t q u a l i t y o f m e d i c a l e n d o s c o p e v i d e o s t r e a m.K e y w o r d s:e n d o s c o p e;d a r k e n h a n c e m e n t;Z YNQ;V i v a d o HL S;v i d e o i m a g e p r o c e s s i n g 收稿日期:2 0 2 2-0 5-1 7*基金项目:国家自然科学基金青年科学基金(5 1 7 0 5 4 7 5)项目资助0 引 言 经过几千年的发展,内窥镜得以在医学上发挥作用,但是研究者对内窥镜能得到更清晰的图像和更方便的操作的热情并未停歇。相比于传统的外科手术,内窥镜手术产生更少的痛苦,更短的康复时间和减少伤疤1。随着科技的不断进步和应用的实际需求,内窥镜镜体的尺寸也越来越小。带来的一个结果就是镜头的进光量越来越低,从而导13 第4 5卷电 子 测 量 技 术致成像效果整体偏暗。由于应用环境大多在人体内部,故辅助光源的选用条件也及其严苛。辅助光源既要满足尺寸要求,又要满足照明要求,且亮度不能太高,否则会因为功率问题导致光源器件发热进而对人体造成不适。所以要在上述条件下获得高质量的图像,暗部增强显得尤为关键。由于医用内窥镜的特殊用途,必须保证采集回的视频流的实时性,否则会对医生的操作产生影响。故执行算法处理必须最大限度的保证实时性。本设计中选用X i l i n x公司的Z y n q平台为载体,进行设计与实现。本算法固化在F P GA中,利用硬件并行化的思想改进传统算法的处理模式2。由于F P GA的并行运算机制,决定了在实时性方面比D S P和A RM强很多。并且X i l i n x提供的V i v a d o H L S,给在F P GA上开发图像处理算法开辟了另一条道路。Z YNQ是X i l i n x公司推出的一款全可编程片上系统处理器,集成了处理器(p r o c e s s i n g s y s t e m,P S)和可编程逻辑(p r o g r a mm b l e l o g i c,P L),是一种 A RM+F P G A 的架构。其中 P S 处理器部分包含了完整的 A RM 处理子系统,而P L逻辑部分中的资源会随着芯片的级别的不同而不同。这两个部分相互联系又可以独立使用3。目前效果较好的暗态图像增强算法主要有R e t i n e x算法、L i m e算法、MB L L E N算法、K i n D算法等。R e t i n e x是一种常用的建立在科学实验和科学分析基础上的图像增强方法,它是由E d w i n.H.L a n d于1 9 6 3年提出的。R e t i n e x算法的核心思想是以色感一致性(颜色恒常性)为基础的。该算法不仅能够增强图像的亮度信息,同时可以去除图片中的部分阴影信息。但是该算法的运算速度慢,不能应用到一些实时的场景中;L I ME算法是一个简单而高效的低光照图像增强算法。该算法首先通过在R G B通道中找到最大值来单独估计每个像素的照。然后通过在初始光照图上施加一个结构先验来细化,作为最终的光照映射。L I ME算法能够较好的处理一些低光照图片,但是处理后的图像与原图像相比色