空间目标事件相机探测能力分析_吕媛媛.pdf

第 52 卷第 2 期2023 年 2 月Vol.52 No.2February 2023光子学报ACTA PHOTONICA SINICA02110011空间目标事件相机探测能力分析吕媛媛1，2，3，刘朝晖1，3，乔文龙1，2，3，周亮1，3，孙笑敩1，2，3，陈沛权1，2，3，李文凯1，2，3，张海洋1，2，3（1 中国科学院西安光学精密机械研究所，西安 710119）（2 中国科学院大学，北京 100049）（3 中国科学院空间精密测量技术重点实验室，西安 710119）摘要：建立了事件相机空间目标探测灵敏度模型，分析了影响事件相机观测灵敏度的影响因素，得到了可观测极限星等与阈值的线性关系，并通过望远镜进行了外场观星实验。结果表明事件相机可以进行空间目标探测，同时验证了空间目标探测灵敏度模型的准确性。进一步明确了阈值对事件相机空间目标探测的影响，为基于事件相机的空间目标观测及其他相关研究提供了理论基础。关键词：生物视觉传感器；事件相机；空间目标观测；灵敏度；星等中图分类号：TP29 文献标识码：A doi：10.3788/gzxb20235202.02110010 引言事件相机作为一种新型的仿生类传感器，可以实现对目标的高时间分辨率、高动态范围、低带宽、低功耗、低延迟的实时探测。传统相机按照固定帧率成像，而事件相机对场景中每个像素的亮度变化做出异步和独立的响应，将信息在读出时打包为一个数据包，即“事件”。通过对事件流的图像重建，可以实现目标探测1。2006年，LICHTSTEINER P 等提出了第一个商用的事件相机2，称为动态视觉传感器（Dynamic Vision Sensor，DVS），以微秒级时间分辨率响应亮度相对变化。2011年，POSCH C 等提出了基于异步时间的图像传感器（Asynchronous Time-based Image Sensor，ATIS）3，在 DVS的结构基础上，增加了一个曝光结构，让两个光感受器同时工作，在输出事件的同时曝光获取一定的灰度信息。2013 年 DELBRUCK T 等针对ATIS 在光强变化缓慢的情况下易出现曝光异常的情况提出了动态主动像素视觉传感器（Dynamic and Active Pixel Vision Sensor，DAVIS）4-5，将传统相机与事件相机相结合，利用事件相机的光感受器同步曝光，同时得到事件信息与灰度信息。到目前为止，国内外有许多商业公司致力于事件相机的发展与商用，包括韩国 Samung公司、法国 Prophesee公司、瑞士 IniVation公司和中国芯仑科技公司等6。基于事件相机独特的优势，事件相机被各个领域的研究者所关注。例如在特征检测与跟踪领域，实现了目标高精度的实时跟踪7-11，并可应用于微观粒子的跟踪与测速12。在同步定位和测绘中也成为一种流行且有前途的视觉传感器13-15，在机器人、无人机中得到了广泛的应用。事件相机同样被用于立体匹配与深度估计16-19。基于事件相机的视觉位姿估计问题也是移动机器人领域的一个研究热点问题，并且已经取得了显著进展20-22。随着事件相机的发展，基于事件相机的空间目标探测逐渐被研究人员所关注。2017年 COHEN G 等证明了使用事件相机（借助望远镜）观察空间物体的可行性23。2018年，CHEUNG B 等实现了基于事件流数据的目标自动检测与跟踪24。同年 CHIN T J等使用事件相机进行了恒星跟踪25，相比于传统传感器具有引 用 格 式：LV Yuanyuan，LIU Zhaohui，QIAO Wenlong，et al.Analysis of Detection Capability of Space Target Based on Event Camera J.Acta Photonica Sinica，2023，52（2）：0211001吕媛媛，刘朝晖，乔文龙，等.空间目标事件相机探测能力分析 J.光子学报，2023，52（2）：0211001基金项目：国家自然科学基金（No.61805275）第一作者：吕媛媛，通讯作者：周亮，收稿日期：2022 08 03；录用日期：2022 09 22http:/光子学报02110012更低的功耗和更高的运行速度，在航天领域有重大意义。2020年，BAGCHI S 等提出了一种基于事件相机的恒星跟踪处理方法26，对恒星场的事件流进行操作，实现了更高效准确的恒星跟踪。事件相机在空间目标探测领域中展示了巨大的潜力，但该方面研究成果还比较少，缺乏基础理论支撑。本文结合空间目标观测成像过程与事件相机成像原理，分析了事件相机进行空间目标观测的成像原理。以星等为评估标准建立了事件相机空间目标探测灵敏度模型，明确了影响事件相机空间目标成像能力的重要因素。最后进行了外场观星实验，对所提模型进行了验证。1 基于事件相机的空间目标探测灵敏度模型空间目标观测的成像过程是一个复杂的光电转化过程，其观测成像过程如图 1所示，目标信号（反射太阳光信号以及星空背景信号）经过空间传输后，进入光学系统，在焦平面探测器上感光，通过信号电路处理成数字图像。1.1空间目标传统探测能力在光学系统一定的情况下，探测器对探测系统探测性能起决定性作用，在空间目标观测中，较为常用 的 是 电 荷 耦 合 器 件（Charge-Coupled Device，CCD）及 互 补 金 属 氧 化 物 半 导 体（Complementary Metal Oxide Semiconductor，CMOS）。以星等为探测器空间目标成像能力的评估标准，目标光在入瞳处的极限星等表示为27m-log2.512 683 1065.3T2sn+T4sn+4()ND+NBT2snD210t0a2d2hc（1）由式（1）可知，当光学系统固定时，探测器曝光时间与信噪比阈值是影响探测器探测灵敏度的重要因素。为了模拟仿真得到信噪比阈值设置对系统探测能力的影响，本文参考 FLIR公司 BFS-U3-51S5M-C相机以及 CPC celestron 8 望远镜参数，对空间目标探测灵敏度影响因素设置典型参数为：平均波长=0.55 m，大气透过率1=0.4，光学系统有效通光口径D=0.2 m，光学系统透过率0=0.7，背景噪声产生的光电子数NB=50 photon/s，CCD 像元大小a=3.45 m，光学系统造成的弥散斑直径d=1.8a即 1.8个像元大小，平均量子效率=0.28，暗电流产生的光电子数ND=20 photon/s，普朗克常数h=6.62 10-34 Js，光速c=3 108 m/s，t0为曝光时间，Tsn为信噪比阈值。根据上述参数模拟了不同曝光时间下，信噪比阈值与探测极限星等的关系，如图 2所示，一般情况下要图 1空间目标光电成像过程Fig.1Photoelectric imaging process of space target图 2传统探测器信噪比阈值与极限星等的关系Fig.2Relationship between the signal-to-noise ratio threshold and the limit magnitude of traditional detectors吕媛媛，等：空间目标事件相机探测能力分析02110013求探测率大于 99%，虚警率小于 1%，信噪比阈值取值应大于 5。由图 2可知，曝光时间增加，系统探测灵敏度变高，可探测的极限星等变高，主要因为曝光时间增加，图像传感器积分产生更多的电子，输出的信号增强，信噪比增大。相应的，信噪比阈值要求降低，所需信号强度降低，探测器理论上可以探测到的星等变高。取探测器信噪比阈值为 5，积分时间为 50 ms时，探测器可探测到的极限星等约为 10等星，与实际观测结果一致。1.2事件相机目标探测机理事件相机感光像素单元电路设计如图 3（a）所示，使用了对数光感受器、差分放大器和比较器，这样的电路结构设计使得事件相机具有高灵敏度、高动态范围以及低延时的特性。事件相机单个感光像素单元产生事件的过程如图 3（b）所示。将某一时刻某个感光像素单元u=(i，j)T监测到的光照强度设为I=(u，t)，对 得 到的光照强度取对数运算，如果在t范围内的变化量超过设定的阈值Cth，即|lnI(t)=|lnI()u，t+t|-lnI(u，t)Cth，则该感光像素单元被激活并产生事件，其中t表示同一像素地址的前一个事件与该事件发生的时间间隔，阈值Cth可人为设定。当像素单元被激活后输出事件ek=(xk，yk，tk，pk)，其中(xk，yk)表示事件发生的像素地址，tk表示事件发生的时间，pk-1，1表示事件的极性，pk=1表示变亮事件，pk=-1表示变暗事件。传统探测器通过记录目标光强实现目标探测，因此，增加其曝光时间可以实现弱目标检测。事件相机针对目标光强变化而做出响应，在进行空间目标观测时，目标光强的变化使得事件相机像素被激活输出事件流实现目标观测，造成目标光强变化即事件相机可以应用于空间目标观测的主要原因有：1）目标与探测器的相对运动地球不断进行公转与自转，观测系统与被观测的空间目标存在相对运动，即目标与事件相机存在相对运动，因此探测器上不同位置的像素点不断被激活，输出一系列事件，通过对事件流的图像重建，可以实现空间目标探测。2）大气扰动由于湍流大气中折射率的随机不均匀分布，当光线通过时，会在不均匀微元上产生折射，从而对原本稳定传播的光束产生扰动29。空气密度起伏导致折射率发生变化，折射率影响光线的传播，因此在天文观测领域，从地面观察天上的星辰有明显的闪烁现象。光强越强，由大气扰动造成的光强波动范围越大30，事件相机可以实现观测的可能性也越大。目标与探测器的相对运动以及大气扰动共同造成了探测到的目标位置以及亮度发生变化，进入探测系统的空间目标光强不断随时间发生变化，使得探测器上的像素点不断被激活，输出事件，处理事件流信号可完成空间目标观测任务。根据上述分析，目标信号光强越大，因湍流和相对运动导致的光强变化越大，事件相机越容易观测到目标信号，因此与传统探测系统灵敏度模型类似，可以使用极限星等作为标准进行空间目标探测灵敏度评估。1.3事件相机空间目标探测灵敏度模型星等是恒星或者其他天体亮度的度量，两个辐照度相差 100倍的星体，其亮度相差 5个星等，即它们的图 3事件相机单个像素单元工作原理28Fig.3Diagram of the principle of the DVS pixel28光子学报02110014可见光波段的平均光流量密度之比 E2/E1为 100。将两个恒星的亮度与星等联系起来表示为E2/E1=100(m1-m2)/5=100.4(m1-m2)=2.512m1-m2（2）式中，m2、m1分别为两颗恒星的视星等值，E2、E1分别为其照度值。此外，规定零等星在大气层外照度值为E0=2.65 10-6 lx作为计算照度的基准。由理论分析和实验测量可知，对于可见光波段的平均波长0.555 m的单色辐射，星等与照度之间的关系表示为Em=E0 2.512-mlx=()1683 2.65 10-6 2.512-m W/m2（3）则空间目标观测系统相机入瞳处的点目标信号等效星等表示为m=-log2.512 EmE0=-13.98-2.5lg Em（4）若大气透过率为0，光学系统透过率为1，通过光学系统接收的总光通量（假设照度均匀）为=10SdEm（5）式中，Sd=(D2)2(1-2)，D 为相机光学系统的有效通光口径，为望远镜副镜遮拦比，假设目标能量在焦平面探测器上均匀分布在直径为 d的范围内，探测器像元尺寸为a a，则探测器像元上所接收的光通量为0=10SdEma2()d22=a2D2(1-2)d201Em（6）则探测器单个像元上接收的光照强度为I=a2D2(1-2)2d201Em（7）当光照强度的对数变化值大于阈值即|lnI(t)=|lnI()u，t+t-lnI(u，t)Cth时，像素被激活并产生事件。计算事件相机空间目标探测极限，因此考虑