基于Unet_3+的散射成像实验设计与实现_钟志.pdf

ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 1 期Vol 42 No12023 年 1 月Jan 2023DOI:10 19927/j cnki syyt 2023 01 006基于 Unet 3+的散射成像实验设计与实现钟志，彭军英，于蕾，单明广(哈尔滨工程大学 信息与通信工程学院，哈尔滨 150001)摘要:针对传统散射成像方式范围小、系统稳定性要求高、设备复杂等问题，提出了一种基于深度学习的散射成像实验设计方案。该方案采用监督学习的方式，利用神经网络从实验散斑数据中学习光线在散射介质中的传播规律，实现对散斑图像的重建。具体实验过程:首先构建散射系统，并在其基础上获取不同种类的散斑图案用于网络训练;然后使用 Unet 3+网络模型对散射过程进行拟合，通过多尺度跳跃连接的方式实现对图案中低维特征的高效利用;最后利用训练好的网络实现对不同种类的散斑图案的高质量重建。实验结果表明，本方案无需昂贵的硬件设备，结构简单，易于操作，训练好的 Unet3+网络相比于广泛应用的 Unet 模型具有更高的重建质量，且针对新类型的散斑数据体现出一定的泛化能力。关键词:散射成像;深度学习;泛化能力中图分类号:O 436文献标志码:A文章编号:1006 7167(2023)01 0025 05Design and Implementation of Sattering ImagingExperiment Based on Unet 3+ZHONG Zhi，PENG Junying，YU Lei，SHAN Mingguang(College of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China)Abstract:This study takes the scattering imaging problem as the research background and proposes a experimentschedule based on deep-learning In this work，we adopt the method of supervised learning and utilize neural network tolearn the propagation of light in the scattering medium from the speckle dataset in order to reconstruct object informationSpecifically，an experimental scattering optical system is built，then different kinds of speckle patterns are obtained totrain the network Besides，the Unet 3+network is taken to fit the relationship between groundtruth and specklepatterns，and the low-dimensional features are effectively utilized in the way of multi-scale skip connections Theexperimental results show that our scheme is facility to operate without extra hardware support，and the well-trained Unet3+model can achieve much higher reconstruction quality compared with Unet network，and has certain generalizationability for new types of speckle inputKey words:imaging through scattering media;deep learning;generalization ability收稿日期:2022-10-20基金项目:教育部产学合作协同育人项目(202102172017);2021 年黑龙江省高等教育改革项目(SJGY20210167);哈尔滨工程大学“课程思政”示范课(YJSKCSZ202007)作者简介:钟志(1976 )，男，湖南岳阳人，博士，教授，主要从事光电检测与仪器研究。Tel:13766837382;E-mail:zhongzhi hrbeu edu cn通信作者:单明广(1979 )，男，辽宁大连人，博士，教授，主要从事光电检测与仪器研究。Tel:13604885227;E-mail:smgsir gmail com0引言散射现象广泛存在于水下探测、卫星遥感、生物医学成像等领域。由于大气、浑浊水体以及生物组织等非理想传输介质的作用，目标物体的形貌信息随着光线的散射作用被隐藏在看似无序的散斑图像中，给军事侦察、工程应用以及医学诊疗等带来诸多麻烦。因此，如何实现透过非理想介质散射成像任务，具有重要第 42 卷的研究意义。目前，国内外研究人员提出了诸多散射成像方法，按照原理大体可以分为散斑相关法1、传输矩阵法2 和波前整形法3 等。在上述方法中，散斑相关法通过对成像模型进行简化，通过自相关运算可以近似提取到目标物体的傅里叶频谱信息，结合相位恢复算法实现物体的重建，此方法结构简单，但由于光学记忆效应4 的存在，成像的范围受到很大限制。传输矩阵法利用复杂矩阵来描述输入与输出光场之间的映射关系，是一种侵入式的测量方法，一旦完成矩阵的计算，便可以实现物体的快速、高质量重建，但此方法对于系统的稳定性要求极高，光路结构复杂，实验难度较高。波前整形法通过反馈优化的方式，根据像面上的测量结果来调制入射光场，往往耗时较长且对于光场调控硬件的要求较高。近年来深度学习技术广泛地引入到光学领域，用以解决传统算法中成像分辨率低、范围小，成像速度慢等问题5-6。作为一种数据驱动的方式，深度学习技术的核心在于通过采集训练样本，利用深度神经网络来拟合光场的传播模式，从而实现快速、高质量的成像。散射成像是当下计算成像7-8 领域的研究热点，其研究方向是经典成像问题与新兴技术结合的产物。本文在构建散斑成像采集光路结构平台基础上，将散斑图像上传至数据处理中心，通过 Unet3+的深度学习技术9，实现端到端的散射成像任务。方案整体结构简单，易于操作，且整个实验过程直观可视，对于散射成像实验有简单验证的意义，有助于深化实验者对于散射成像问题以及深度学习技术的理解，从而培养学生的科研兴趣。1实验流程本实验整体流程如图 1 所示，包含数据采集、数据处理、网络训练以及图像重建 4 个阶段:数据采集阶段主要包括实验光路的搭建并对生成的散斑图像进行采集;数据处理阶段负责将采集到的图像做进一步处理形成数据集，用以进行后续的网络训练以及成像工作;网络训练阶段利用 Unet3+神经网络10，从数据中学习散斑到物体图像的映射关系;在散斑图像重建阶段利用训练好的网络模型实现散射成像任务。2实验装置本实验采用的散斑图像采集光路结构如图 2 所示，完成实验所需的全部散斑图像采集。其中，光线由型号为 HNL210L 氦氖激光器出射，经 L1、L2 透镜实现对光线的扩束，利用 L1、L2 透镜构成的 4F 系统扩大图 1散射成像实验流程激光光束直径至合适的大小;用型号为 HOLOEYE-LETO 以覆盖空间光调制器(Spatial Light Modulator，SLM)的调制区域。SLM 作为波前调制元件，在上位机的控制下可以实现对光线快速的调制，从而将图像信息加入到光路结构中，能够作为待恢复的物体参与整个散射成像过程。P1、P2 为 2 个偏振片，通过改变二者的夹角以获得最大的图像对比度。光线经 SLM 反射后并透过后端的散射介质，为了方便实验操作，实验选用型号为 Edmund 62-620 毛玻璃 220-grit，作为静态散射介质加入到光路中，最终在 CCD 设备上采集到对应散斑图像。图 2散斑图像采集光路结构3数据处理数据处理阶段主要为训练数据的制作。考虑到不同特征的图像对成像效果的影响，实验预先收集了 5种不同风格的图像，分别为:MNIST 手写数字数据库11、NIST 美国国家数据库手写字母数据库10、Kuzushiji-MNIST 日 文 字 符 图 像 数 据 库12、Fashion-MNIST 服 装 图 像 数 据 库13 以 及 Not-a-MNIST 风格化图像数据库14，所包含的图像均为风格化后的图案。上述 5 种原始图像数据大小为 28 28像素，经过双线性插值方法上采样至 512 512 像素尺寸后，作为真实数据(Ground Truth，GT)发送至 SLM。另一侧，CCD 相机采集到的图像为 1 920 1 080 大62第 1 期钟志，等:基于 Unet 3+的散射成像实验设计与实现小，为了减少参数，加快模型的训练速度，采集到的散斑经中心裁剪截取 512 512 区域的图像，后下采样至128 128 尺寸，并作归一化处理。图 3 展示了数据集各种类的部分图像以及加入散射介质前 图 3(f)与加入后 图 3(g)的采集结果，可以看到在散射介质的作用下图像信息隐藏在散斑之中，无法直接获得。图 3数据集构成与散射前后实际效果展示4网络训练4.1网络结构根据随机行走模型15，光线在散射介质中传播时由于路径不同且完全随机，因此所形成的散斑图像具有精细的粒度信息，即低维特征十分丰富。在散斑图像的重建过程中，如何针对这一特点选用更加有效的网络结构，对于提高图像的恢复质量至关重要。结合上述因素，本实验所使用的网络模型为 Unet3+，其具体结构如图 4 所示。(a)Unet3+网络整体结构(b)下采样操作(c)全尺度跳跃连接图 4Unet3+网络结构Unet3+网络由 Huang 等9 提出，用于提高模型在医学图像分割问题的精度。该网络为典型的编码-解码结构，利用相互对称的编码器和解码器实现信息的提取与重建，整体结构如图 4(a)所示。具体细节上，图像输入网络后首先经编码阶段 En 进行 5 次特征的提取，实现从低维图像信息逐步到高维语义信息的转化(即编码操作)。位于该阶段的各层级(图 4 中X1En X5En)之间由 2 个 3 3 的卷积层+池化层构成的下采样操作进行级联，其具体结构如图 4(b)所示。每经 1 次下采样操作，输入特征通道数加倍且尺寸减半，从而实现减少参数和提取特征信息的目的。在解码阶段 De，网络利用先前提取的信息逐步上采样，最终将图像恢复至与输入相同尺寸，并实现图像的重建(即解码操作)。由图 3(g)所示，散斑具有丰富的粒度信息，而在编码过程中卷积(Conv2d)与池化(MaxPooling2d)操作在提取特征的同时也会丢失部分信息，从而导致了重建质量的降低。Unet3+中的全尺度跳跃连接很好地解决了这一问题。通过该方式，位于解码阶段的各级输出都融合了来自下采样过程中所提取到的各层级信息，该过程可以表述为XiDe=H C D(XkEn)i1k=1+C XiEn+C U(XkDe)Nk=i+1(1)式中:i 表示编、解码器不同的级数(i=1，2，N 1)，N 为最大编码级数;U()为上采样层(Upsample)，将小尺寸的输入数据进行双线性插值;D()为池化层，对输入进行降采样，上面 2 种操作用以保持特征尺寸的一致性，便于后续计算;C 为卷积运算，用于控制通道数;+为 Concat 连接方式，将各个层级的特征沿维度进行拼接，在处理散斑图像时能够保留有不同尺度的特征