基于深度学习的X射线胶片数字化与缺陷检测算法_缪寅宵.pdf

50航空制造技术2023年第66卷第7期FORUM论坛引文格式：缪寅宵,孙增玉,杨奕,等.基于深度学习的 X 射线胶片数字化与缺陷检测算法J.航空制造技术,2023,66(7):5056,72.MIAOYinxiao,SUNZengyu,YANGYi,etal.AlgorithmofX-rayfilmdigitizationanddefectdetectionbasedondepthlearning J.Aeronautical Manufacturing Technology,2023,66(7):5056,72.基于深度学习的 X 射线胶片数字化与缺陷检测算法缪寅宵，孙增玉，杨 奕，郭力振（北京航天计量测试技术研究所，北京 100076）摘要 X 射线胶片数字化和焊缝缺陷自动检测对提高航天大型零件生产加工质量和检测效率具有重要意义。在某些特定场景中，X 射线检测无法采用数字式接收器，将 X 射线胶片转化为数字图像是缺陷识别的前提，但现有方法难以实现 X 射线胶片的高保真数字化，此外，大型零件的焊缝缺陷具有小目标特点，人工判读和传统图像检测算法难以保证识别精度。本文提出了一种基于深度学习的 X 射线胶片缺陷检测算法，首先基于全卷积神经网络在 X射线胶片上不同曝光时间的图像中自动选择曝光时间最佳的数字图像，然后设计了基于轻量级 MoGaA 网络的缺陷检测网络，实现了数字化图像中的小目标缺陷检测。数字化和检测结果表明，该算法对于焊缝缺陷检测的准确率可达 96%，取得了良好的检测效果。关键词：X 射线胶片；焊缝缺陷；数字化图像；深度学习；缺陷检测DOI:10.16080/j.issn1671-833x.2023.07.050缪寅宵 研究员，主要研究方向为无线电电子学和仪器仪表工业。性差，远不能满足高速生产节奏；最后，该方法缺乏检测的一致性和科学性，导致检测的可靠性较低。随着航空航天加工向自动化、敏捷化、数字化方向快速发展，传统人工焊缝质量评估存在主观性大、效率低、对底片损伤大等缺点，已不能满足大批量生产和数字化信息管理的需要。针对 X 射线胶片的数字化及人工智能判读，多数研究集中在对医学 X 射线胶片的数字化翻拍以及人工智能辅助医疗上。由于人体对 X 射线的穿透率高，医学 X 射线胶片的光学密度（黑度）相对于工业 X 射线胶片低很多，易于实现对医学 X 射线胶片的数字化，但这些方法不能直接用于工业 X 射线胶片的数字化，而必须采用高动态范围图像的融合技术。此外，医学辅助医疗人工智能是在前在航空航天领域，焊接工艺广泛应用于大型零件的生产。但由于设计和操作中的各种人为及随机因素，焊缝中不可避免地存在气孔、裂纹、夹渣等缺陷1。因此，在生产和操作过程中，有必要对焊缝中的缺陷进行检查，以确保产品在生产及运行中的安全。X 射线检测被广泛应用于大型零件焊接质量检测2。对于某些复杂的测量场景，例如复杂管路缺陷检测等，X 射线检测无法采用数字式接收器，仅能使用 X 射线胶片充当信息记录的载体。将 X 射线胶片转化为数字图像是缺陷智能识别的基础和前提，如何避免模糊图像信息丢失，实现高保真数字化是有待解决的难点问题。目前针对 X 射线图像的焊缝缺陷检测方法是人工判读，将胶片置于观察灯上，通过人眼观察焊缝缺陷3。然而，这种方法存在一些缺点：首先，该方法抽样率低，不能准确反映焊接质量；其次，该方法实时512023年第66卷第7期航空制造技术数字化测量技术及应用Digital Measurement Technology and Application期大量先验临床病例的基础上实现的，是经过大训练样本进行训练学习的神经网络，同样不适用于航天制造过程中产生缺陷产品少的小训练样本的情况。因此，寻找一种能够实现焊缝缺陷高质量数字图像转化和自动识别的方法对航空航天制造的数字化、自动化、智能化建设具有重要意义。目前针对 X 射线焊缝图像缺陷检测的研究大部分采用图像阈值分割的方法，吴一全等4提出了基于对称 Tsallis 交叉熵及背景与目标面积差的小目标图像阈值分割方法，对于图像小目标特征分割具有明显优势。陈本智等5针对厚钢管焊缝 X射线图像的气孔缺陷提出了一种新的无监督学习的各种气孔缺陷检测算法，基于图像重构的思想实现对气孔特征的分割，但对于裂缝等其他类型缺陷的检测精度较差。近年来，基于卷积神经网络的图像检测算法也被广泛应用于目标识别与检测领域。He 等6为了提高钢产品表面缺陷检测的准确性，提出了一种新的多组卷积神经网络目标检测框架，并在不同的钢生产线上进行了大量试验，结果显示该方法与已有的缺陷检测方法相比具有更优的检测能力。Yu 等7提出了一种复杂背景下齿轮缺陷在线检测的 SYOLO 模型，并在复杂背景下齿轮缺陷在线检测试验平台上进行了验证。Mei 等8提出了一种基于无监督学习的自动检测和定位织物缺陷的方法，无需任何人工干预，该模型是一种多尺度卷积去噪自编码结构。总之，深度学习算法可以通过多层次网络架构对原始输入的数据集进行逐层提取与抽象处理以准确确定目标缺陷位置。本文研究的大型零件焊缝缺陷具有小目标特点，并且零件 X 射线胶片中焊缝区域的焊接波纹使背景变得复杂，对缺陷的识别产生干扰，传统图像分割算法与深度学习图像检测算法难以对焊缝中的缺陷实现准确识别。本文面向大型零件提出了一种X 射线胶片数字化和缺陷自动识别的新方法，设计了两种卷积神经网络，一种用于提取焊缝区域以获得更好的数字效果；另一种用于检测数字图像的缺陷。通过对大型零件的X 射线胶片中的焊缝缺陷进行检测试验，验证了所提出的胶片数字化和缺陷检测方法具有良好的效果。1 大型零件 X 射线胶片数字 化处理在航空航天产品中，影响 X 射线胶片数字化效果的因素主要有以下 4 个方面：（1）为了便于管理，X射线胶片中存在着透射光强的数字标记和三角形标记，其亮度和对比度远高于焊缝区域，给后续图像处理带来强烈的干扰；（2）数字图像中背景灰度信息复杂；（3）焊缝在产品不同部位的形状不同，在 X 射线胶片中的位置也不同，仅根据焊缝区域的灰度信息确定数字化效果时，很难提取固定位置的焊缝信息；（4）不同 X射线胶片的黑度不同，达到适当亮度所需的光源强度变化很大9。因此，为了实现X射线胶片的自动数字化，本文采用了基于全卷积网络的数字化方法，其流程图如图 1 所示。对于不同黑度的 X 射线胶片，获得合适亮度的数字化图像所需的光源强度是不同的。在图像采集过程中，光源强度的调整与相机曝光时间的调整具有相同的效果，而相机曝光时间的调整可以提高数字化图像的精细度和准确性，因此选择调整曝光时间的方法。通过对大量 X 射线胶片的图像采集，得到了每张 X 射线胶片获得最佳数字效果所需的曝光时间。对这些最佳曝光时间数据进行函数拟合，得到拟合函数T=1.5x（x=6，7，8，17）（1）式中，T 是曝光时间，ms。为了自动获得最佳的数字化图像，增加后续检测所需的图像数据量，本文对每一个目标采集了 12 张曝光时间的图像，即每张 X 射线胶片取 包 含 1.56，1.5 7，1.517 共 12 张不同亮度的数字化图像，其中包括曝光时间最佳的数字化图像。为了在 12 张数字化图像中自动图 1 数字化方法流程Fig.1 Flow of digital method计算焊缝区域的图像熵用同态滤波器对图像进行滤波输出最佳的数字化图像600幅图像的标签焊缝区域获得一个焊缝检测网络训练本文设计的焊缝提取全卷积神经网络把X射线胶片放入设备用曝光时间捕捉12张图片：1.56，1.57，1.517（ms）基于焊缝检测网络提取焊缝区域图像熵是否为最大值是否52航空制造技术2023年第66卷第7期FORUM论坛选择曝光时间最好的图像，首先需要提取焊缝区域。航空航天产品不同位置的焊缝形状不同，焊缝位置也存在差异。为了准确检测焊缝区域，本文设计了一种基于全卷积神经网络的专用卷积神经网络，用于焊缝区域的提取，网络结构示意图如图 2 所示。该网络对图像进行像素级分类，每个像素都有一个是否属于焊缝区域的概率值，因此可以在语义层面上解决图像分割问题10。与经典的目标分类网络不同，该网络没有完全连通的层，而是将全连通层替换为反卷积层，将多个池化层执行向下采样运算后向上采样得到与输入图像尺寸大小相同的特征映射。因此，该网络可以在预测图像中每个像素的同时保留原始输入图像中的空间信息。最后，对上采样的特征映射进行逐像素分类。由于网络中没有完全连接的层，因此输入网络的图像可以是任意大小。在本节的数字化网络中有 4 个池化层，输入图像可以实现 16 次下采样运算。网络结构中定义了一个跳跃架构，将来自较深、粗层的语义信息与来自较浅、细层的外观信息结合起来，以产生准确而详细的分割。最后，将 pool3 的输出与 pool4 的输出的 2 倍上采样相融合，通过步幅预测运算对图像进行上采样处理。在进行网络训练之前，需要标注曝光时间与焊缝区域。标注时，只对未过度曝光的焊接区域进行标记，过度曝光的焊接区域是非目标区域。因此，同一 X 射线胶片在不同曝光时间下的图像与焊缝面积存在特征差异。通过对 50 张 X 射线胶片采集的 600 幅图像进行标记，输入到训练网络中，得到训练好的焊缝检测网络。本文将图像中检测到的面积值最大的焊缝区域作为这张 X 射线胶片数字化图像的焊缝区域。图像熵表示图像中灰度分布的聚合特征所包含的信息量。曝光时间较短的图像与曝光时间较长的图像均会影响灰度信息量的丰富性。本文通过计算焊缝区域的图像熵来确定最佳的数字化图像，定义为Hppiii=-=lg0255（2）式中，pi是指灰度值 i 出现的概率值，可以从灰度直方图中得到。根据以上分析，参考文献 11 中的理论，定义图像熵值最大的图像为曝光时间最好的数字化图像。受射线能量、产品厚度、加工方法、透射角度等多种因素的影响，X射线胶片的一些数字图像具有光强不均匀的特点。为了获得良好的数字效果，在算法中引入了一种同态滤波器，以最佳曝光时间对数字化图像进行滤波。同态滤波是一种将频率滤波和空间灰度变换相结合的图像处理方法。一幅图像可以被视为由照射分量函数和反射分量函数组成，即f x yf x y fx y(,)(,)(,)=ir（3）对原始图像进行对数变换，得到两个叠加分量，即ln(,)ln(,)ln(,)f x yf x yfx y=+ir（4）对对数图像进行傅里叶变换，得到相应的频域为DFTDFTDFTirln(,)ln(,)ln(,)f x yf x yfx y=+DFTDFTDFTirln(,)ln(,)ln(,)f x yf x yfx y=+（5）然后设计了式（6）的频域滤波器函数对对数图像进行频域滤波。H u vc Du vD(,)exp(,)/)=-1202（6）式中，c 为指定的非负数；D0为截止频率；D（u，v）为（u，v）到滤波器的中心的距离。最后，对上述结果进行傅里叶反变换，得到空间域内的对数图像，再取指数得到空间滤波结果。2 基于卷积神经网络的缺陷 检测算法通过对数字化图像数据集中的焊缝缺陷特征进行分析，发现焊缝中的缺陷如气孔、夹钨、裂缝均具有小目标特点，缺陷的标注面小于 1024 像素。传统的深度学习算法对小目标进行检测时识别精度较差，原因主要有两点：（1）小目标缺陷的分辨率低，携带的有效信息很少，致使其难以准确表达特征，影响卷积神经网络的特征提取能力；（2）在检测模型中，输入的数字化图像通过主干网络的下采样运算后到达分类回归层，某些小目标缺陷的接受域映射回原始图像时尺寸会发生变化，导致检测精度差。将特征金字塔网络（Feature pyramid network，FPN）引入到主干网络与分类回归网络中，使其能够融合不同维度的特征映射信息，从而使小目标缺陷在低层特征映射中具有较大的分辨率与丰富的语义信息，最图 2 X 射线胶片数字化网络结构Fig.2 Digital network structure diagram of X-ray filmConv1+Maxpooling1Conv2+Maxpooling