大规模计算重建理论与方法_边丽蘅.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0200001-1封面文章特邀综述大规模计算重建理论与方法边丽蘅1，2*，李道钰1，2，常旭阳1，2，索津莉3*1北京理工大学信息与电子学院，北京 100081；2北京理工大学前沿交叉科学研究院，北京 100081；3清华大学自动化系，北京 100084摘要 计算成像将高维场景信息压缩编码为低维采集数据，并通过计算重建算法恢复高维场景信息。数据爆炸时代，对高时空分辨率的需求日益迫切，亟需同时满足高精度、低复杂度及适用不同系统的灵活性要求的大规模重建算法。现有大规模计算重建研究，包括交替投影、深度图像先验及即插即用方法，已取得阶段性进展。其中交替投影方法已应用于十亿像素定量相位成像，深度图像先验方法和即插即用方法结合了传统模型优化与深度学习技术的优点，具备大规模重建潜力。系统地梳理 3类方法的架构及在大规模计算成像中的应用，展望大规模重建算法的未来发展趋势，以期为后续研究与应用提供有益的指导与借鉴。关键词 计算成像；大规模重建；交替投影；深度图像先验；即插即用方法中图分类号 O436 文献标志码 A DOI：10.3788/LOP221245Theory and Approach of Large-Scale Computational ReconstructionBian Liheng1,2*,Li Daoyu1,2,Chang Xuyang1,2,Suo Jinli3*1School of Information and Electronics,Beijing Institute of Technology,Beijing 100081,China;2Advanced Research Institute of Multidisciplinary Sciences,Beijing Institute of Technology,Beijing 100081,China;3Department of Automation,Tsinghua University,Beijing 100084,ChinaAbstract Computational imaging compressively encodes high-dimensional scene data into low-dimensional measurements and recovers the high-dimensional scene information using computational reconstruction techniques.In the era of big data,the increasing demands for high spatiotemporal resolution have promoted the development of large-scale reconstruction algorithms with high accuracy,low complexity,and flexibility for various imaging systems.The existing large-scale computational reconstruction methods,including alternating projection,deep image prior,and plug-and-play optimization methods,have made great progresses over the past decades.Among the abovementioned methods,the alternating projection has been utilized in gigapixel quantitative phase imaging systems.Besides,the deep image prior and plug-and-play optimization techniques combine the advantages of conventional optimization and deep learning,which hold great potential for large-scale reconstruction.This work reviews the architectures and applications of these methods and prospects for the research trends,which can provide highlights for future works of large-scale computational imaging.Key words computational imaging;large-scale reconstruction;alternating projection;deep image prior;plug-and-play method1引言光学成像是人类认识、感受与分析世界的重要途径。近年来，传统的光学成像方式逐渐难以满足现代光学探测对多维多尺度的需求，计算成像应运而生。计算成像技术对高维连续光信号进行优化耦合采集与计算重构，获取高效、高精度的成像结果，有效提升了人类探索世界的深度与广度。顺应数据爆炸时代的发展需求，计算成像对大规模数据采集的需求日益紧迫。近年来，大规模成像系统取得了一定进展，如：2012年收稿日期：2022-04-09；修回日期：2022-05-21；录用日期：2022-07-19；网络首发日期：2022-07-30基金项目：国家重点研发计划（2020AA0108202，2020YFB0505601）、国家自然科学基金（61971045，62131003，61991451）通信作者：*；*0200001-2封面文章特邀综述第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展杜克大学提出的大规模阵列相机1-2实现了 12050的超大视场与 38 rad的极高分辨率，成像像素数超亿级；2013年加州理工学院提出的宽视场高分辨傅里叶叠 层 显 微 成 像（FPM）系 统3实 现 了 10 亿 像 素、约120 mm2宽视场成像，对应的空间带宽积（SBP）高达0.23 亿；2019 年清华大学搭建了 RUSH 显微系统4，对清醒的小鼠进行厘米级视场与微米级分辨率的实时全脑功能性成像。大规模计算成像的发展对计算重建算法的要求日益提升。计算重建任务一般假设已知观测过程的物理模型和欠定或低维的测量信号，要求重建完整或高维的目标场景。常用的计算成像模型有：线性模型，即y=Ax+n；非线性模型，即y=|Ax|2+n。其中，y为测量信号，A为观测矩阵，x为待恢复目标场景，n为干扰或噪声。大规模计算重建的难点在于：由于大规模重建任务数据量大、维度高，重建算法所需的计算资源和存储资源急剧增加，非针对大规模计算重建设计的重建方法在面临高维大规模数据时可能会出现精度较差、计算资源和存储资源消耗负担增大的问题，导致难以在可控的硬件和时间成本内实现目标场景重建。所以，大规模计算重建应至少具有以下两个特性之一：一、适用于大规模计算成像系统，能实现多维度或高分辨率重建，或重建图像的像素数高于系统的 SBP 限制5-6；二、同等数据量下，比现有其他重建算法所消耗的计算资源和存储资源更少，可以实现更大规模的计算重建。现有的重建算法可以归纳为模型驱动和数据驱动两大类。模型驱动方法对成像的物理过程进行建模，之后通过解析方程、最优化等方式重建数据；数据驱动方法是人工智能时代下的产物，利用大量数据集来学习重建目标与测量值之间的映射关系与统计特性。在计算复杂度方面：模型驱动方法无需训练，因此仅涉及重建复杂度，但算法的迭代过程和迭代不稳定性导致重建复杂度较高；数据驱动方法的重建过程无需迭代，且得益于 GPU 并行加速技术，因此在重建复杂度方面优于模型驱动方法，但其在大规模数据集上的训练复杂度较高。在灵活性方面：模型驱动方法显式描述成像物理模型，可灵活设置各项系统参数；数据驱动方法从训练数据学习成像模型、系统参数的隐式描述，若迁移至新成像系统或硬件设置则需要重新训练或精调（fine-tuning）重建算法，灵活性较差。近年来，即插即用（plug-and-play）、深度图像先验（deep image prior）等技术试图结合深度神经网络与模型驱动方法，将预训练网络作为先验算子求解目标场景，在一定程度上兼顾计算复杂度与灵活性。综上所述，大规模数据重建须避免高资源需求或重复的算法训练，保障重建的高效性和对不同系统的泛化性。现有研究已经在大规模、高空间带宽积的计算重建方面取得了阶段性进展：基于模型驱动的交替投影算法计算复杂度低、灵活性高，已在十亿像素定量相位成像等计算重建任务上获得了广泛的应用；深度图像先验算法与即插即用算法结合模型驱动和数据驱动的优势，重建质量高，规避了复杂耗时的训练过程，适用于大规模计算重建。在当前阶段，总结与分析相关技术研究进展对该领域的发展具有重要意义。因此，本文系统地梳理了 3 类大规模重建算法的特性及适用场景，并对它们的发展趋势和未来工作进行了展望，希望为后续研究与应用提供有益的指导与借鉴。2交替投影优化重建交替投影（AP）7-8源于非线性相位恢复领域，作为经典的计算重建算法被广泛应用近 50年，现今已被成功应用于其他线性计算成像领域，如单像素成像9中的图像重建10。1972 年，最早的交替投影算法由Gerchberg 和 Saxton 开创，称为 GS 算法7。两位开创者受电子显微领域能够获取空间域强度和频域强度的启发，在空间域和频域之间交替变换图像，并施加强度约 束，最 终 重 建 出 目 标 信 息。GS 算 法 的 流 程 如图 1（a）所示，从随机初始猜测开始，每一次迭代包含以下步骤：1）对当前迭代信号zi n 进行傅里叶变换，并投影到频域，得到频域信号Zi k；2）保留频域估计信号Zi k 的相位信息，用探测器捕获的频域强度测量值替换估计信号的强度信息，形成一个新的频域信号Z i k；3）对新组成的频域信号Z i k 进行傅里叶逆变换，并投影到空间域，得到空域信号zi n；4）保留空域估计信号zi n 的相位信息，用探测器捕获的空域强度测量值替换估计信号的强度信息，形成一个新的空域信号zi+1 n。上述 4 步可以分为两类：步骤 1）和步骤 3）是对信号在频域和空域的交替投影；步骤 2）和步骤 4）是对信号施加强度约束。虽然 GS 算法由来已久，但其收敛性证明仍然是一大难题11-12。其恢复误差被定义为Ei=k=1m|Zi k|-|X k|22，虽然能够证明每次迭代误差在逐渐减小8，但在测量噪声较大时，算法往往收敛到局部最优解，无法保证到达全局最优解。GS算法需要测量两个域的强度信息，但在许多场景中，空域的强度信息是难以获取的，往往仅能探测频域强度。针对这种情况，1978年 Fienup进一步扩充了GS 算法的理念，他指出 GS 算法的步骤 4）空域约束可以进一步放松，使用其他约束替代（如非零约束等）。基于这种考虑，Fienup8提出了若干种改进算法，这些变体算法都只对 GS 算法的最后一步进行改进，却显0200001-3封面文章特邀综述第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展著加快了 GS 算法的收敛速度并提升了性能。以下介绍 3种对应步骤 4）的关于空域约束的算法。1.input-output算法，算法流程如图 1（b）所示。zi+1 n=zi n，n zi n-zi n，n 。（1）2.output-output算法，算法流程如图 1（c）所示。zi+1 n=zi n，n zi n-zi n，n 。（2）3.hybrid in