基于改进的Mask_R-CNN图像篡改取证方法_吴云.pdf

：基于改进的 图像篡改取证方法吴云，张玉金，江潇潇，许灵龙（上海工程技术大学 电子电气工程学院，上海 ）摘要：随着现代科学技术的进步，图像编辑工具的 发 展 极 大 地 降 低 了 篡 改 所 需 成 本。图 像 篡 改 手段有多种，现有的方法往往存在通用性差的问题。同 时，这 些 方 法 只 关 注 篡 改 定 位 而 忽 略 对 篡 改手段的分类。本文提出一种基于改进的 两 阶 段 网 络 模 型 用 于 图 像 篡 改 取 证。在 特征提取部分，结合空域富模型（，）和 受 约 束 卷 积 对 输 入 图 像 进 行 预 处 理，再输入到 前层中，以建立能 够 有 效 体 现 各 种 篡 改 痕 迹 的 统 一 特 征 表 示。一 阶 段 网 络通过注意力区域提议 网 络（，）检 测 篡 改 区 域，预 测 模 块 实现篡改操作分类和粗略篡改区 域 定 位。继 而，一 阶 段 网 络 得 到 的 定 位 信 息 引 导 二 阶 段 网 络 学 习局部特征以定位出最终的篡改 区 域。本 文 所 提 出 的 模 型 能 检 测种 不 同 类 型 的 图 像 篡 改 操 作，包括复制粘贴、拼接和移除。实验结果表明，本文所提出的方法在 、和 数据集的值分别达 到 了 、和 ，优于传统方法和一 些 主 流深度学习方法。关键词：数字图像取证；篡改检测；深度学习；两阶段网络；注意力机制中图分类号：文献标识码：文章编号：（），（，）：，（），（），：；光 电 子 激 光第 卷 第期 年月 ：收稿日期：修订日期：基金项目：上海市自然科学基金项目（）和上海市科委重点项目（）资助项目 引言数字图像在人们的生活中发挥着至关重要的作用，生活中每个领域都离不开数字图像，例如公共卫生服务、社交媒体平台、司法调查、教育系统、企 业 等。随 着 图 像照 片 编 辑 工 具（如 、美图秀秀等）和其他应用程序的快速发展，人们处理图像和视频逐渐变得方便且快捷。篡改图像的传播影响了人们对客观事件的判断，甚至对社会和国家产生了潜在的威胁。在数字图像篡改手段中，拼接，、复制粘贴和移除是为最常见的篡改类型。图像拼接是从一个真实的图像复制区域并粘贴到其他图像上；复制粘贴是指复制并粘贴区域至同一幅图像中；移除 是 指 移除 一个选定的图像区域（例如隐藏一个对象），并用从背景中估计的新像素值来填充空间。图像取证的主要任务是篡改检测和篡改区域定位。篡改检测的目的是识别给定图像是否经过篡改，篡 改区 域定位是寻找图像中可疑 篡改 区 域。相比而 言，后者任务更为复杂。传统的篡改定位方法主要依赖于手工特征或者预先设 定 好 的 特 征。等提 出 一种基于特征聚类的方法来解决 （）图像伪造检测的问题。等采用了一种基于滑动 窗口 的 方法，使 用机 器学习方法对图像 进行分类来定位篡改区域。等提出一种提取相机模型指纹的方法，该方法考虑了特征向量中每一类的置信度分 数、纹理程 度 特 征 和 密 度 系 数。等提 出 一种基于统计噪声分析的方法检测图像拼接，该方法通过估计图像块的噪声值，再通过聚类和两 阶段策略定位拼接篡改区域。传统的定位方法需要人工设计特征，且定位准确率低。近年来，深度学习方法在图像领域中得到了广泛应用。图像取证领域也逐渐从传统的人工特征设计方法转向使用卷积神经网络（，）自适应地提取 图像篡改 特征的方法。等 提 出 一 种 对 抗 性 学 习 框 架识别拼接篡改区域，该方法使用个构建模块检测拼接的伪造图像。等 引入深度匹配和验证网络用于图像拼接篡改取证，该网络能同时实现拼 接 图 像 篡 改 区 域 的 检 测 和 定 位。等 提出一种轻量级的网络结构用于检测复制粘贴伪造，该方法在检测精度和效率方面都具有一定优越性。以上方法虽然能取得不错的性 能，但是这些方法大多数都集中在单一篡改手段上。针对以上问题，本文设计了一种适用于多种篡改手段的通用篡改检测网络模型，可以同时实现篡改手段分类和篡改区域定位。该网络首先经过约 束 卷 积 和 空 域 富 模 型（，）结合的图像篡改特征提取器，创建能够有效体现各种篡改手段的统一特征表示，然后再输入到两阶段网络架构中。在两 阶段网络中，第一阶段利用注意力区域提议网络（，）粗略识别篡改区域位置；第二阶段利用跳跃结构融合低层次和高层次特征信息以增强全局特征表示性能，实现最终的篡改区域定位和篡改手段检测。本文方法 框架概述本文提出一种通用的、端到端的图像篡改检测网络模型。该网络模型架构如图所示。该网络模型基于 和噪声特征的图像伪造定位方法。为了捕获由图像处理引起的统计特征微小变化，本文将 滤波器和约束卷积相结合图网络结构示意图 光 电 子 激 光 年第 卷作为预处理层提取噪声流，作为特征提取的骨干网络提取特征。再将提取到的特征输入两阶段网络中，在第一阶段中实现篡改操作分类和粗略篡改区域定位，然后将第一阶段得到的边界框信息引导第二阶段侧重于边界框的局部特征上，实现最终的篡改区域定位。本文的主要工作体现在以下个方面：）本文将 高通滤波器与约束卷积层结合作为网络预处理层，利用 网络提取特征。该方法可以有效地提取噪声特征，提高网络的泛化性能；）本文提出一个基于改进的 两阶段网络模型架构，能同时实现篡改技术检测和篡改区域定位；），有效地增强了全局特征的类间区分。在个标准公开数据集上的实验表明，本文的模型优于其他算法。网络模型参数为了更加直观地描述网络结构，在表中详细列出所提出网络模型中每个部分的网络参数。表 网络参数结构表 ，；，；，；，；，；，；，；，；，特征提取本文将 滤波器和约束卷积结合提取图像中的噪声残差。卷积网络的第一层起着对输入图像进行预处理的作用。为了验证不同预处理层对图像篡改分类准确性的影响，本文分别对各卷积层进行了对比实验，其结果如表所示。从表中可以看出，将个卷积层串联在一起，网络的检测性能将获得有效的改善。因此，本文选择三者结合作为预处理层，即结合了个 滤波器、个约束卷积滤波器和 个普通卷积作为网络预处理层。表 对不同卷积层的比较实验 （，）（，）（，）（，）在 个基本滤波器中，本文采用文献 已知的 滤波器的最优设置，得到能够有效抑制图像内容的残差。个滤波器的权值如图所示。本文将其作为预处理层的卷积之一，核的大小为 。对于彩色图像的输入，通过以上个过滤器，通道数仍为。卷积核的权值是固定的，不会随着卷积网络的反向传播而更新。特征作为手动设计的一个特征，但有其局限性，而约束卷积可以动态地从图 像 中 学 习 操 作 特 征。具 体 约 束 说 明 如 式（）所示：（）（，），（）（，）烅烄烆，（）式中，表示第层卷积核，（，）表示滤波器矩阵的中心位置。在训练阶段，每次迭代都会遵循约束条件，将（，）处的权值设置为，除中心外的所有值之和为。本文将约束卷积核的大小与 滤波器 设置一样，它的权重自适应地随着网络运行而更新。图个 滤波器的权重设置 第期吴云等：基于改进的 图像篡改取证方法 一阶段篡改检测在一阶段篡改检测中，主要任务为篡改手段分类和粗略篡改区域定位。该阶段中包含 模块和预测模块。在预测模块中根据 切出感兴趣区域（，）进行分类和回归预测。为了增强篡改图像全局特征的类间区分，提升网络模型对篡改图像中篡改区域定位的性能。本文将卷积 注 意 力 模 块（，）添加到 中，将特征提取阶段得到的特征图输入到 网络中，使得网络模型能够学习到具有强大的类间区分能力的特征表示。本文提出的 结构示意图如图所示。利用 的特征图来寻找 ，即潜在的篡改区域。本文在卷积后引入 ，其表达式可以定义为：图引入 的示意图 （）（），（）式中，表示 特征提取第阶段输出的特征图，表示对应特征的融合特征图，代表特征图对应的元素相加，表示特征图对应的元素相乘；表示的上采样。为了训练 模块，本文的损失函数是按照文献 设计的。的损失函数定义如式（）所示：（，）（，）（，），（）式中，表示锚点被判定为对象的概率，是对应于真实标签的概率，表示预测的边界框，是对应于 的边界框，表示分类任务中的损失函数，使用交叉熵分类损失，表示提议边界框的平滑损失，和 是 的大小和锚点位置的数量，是一个平衡参数，默认值设置为。预测模块在 模块之后，通过 裁剪并将 中的局部特征调整为相同的大小。然后，将全连接层和 层用于操作技术分类和边界框回归。这里使用交叉熵损失进行最终操作篡改分类，使用平滑损失进行最终边界框回归，实现粗略的篡改定位效果。第一阶段的损失函数定义为：，（）式中，是 的损失，是最终的分类损失，是最终的边界框回归损失。最后，将个损失相加，得到最终第一阶段的损失函数。二阶段篡改检测在第一阶段中实现了篡改技术分类和粗略篡改区域定位。第二阶段篡改检测主要通过第一阶段的粗略定位信息指导网络模型进一步细化局部特征，并实现篡改图像在像素级别执行篡改区域定位。由于篡改区域边缘存在丰富的伪造信息，本文使用了一个跳跃结构来引入包含更多细节的 中低级特征，并将其与 提取的高级特征融合。为了匹配 块的输入大小，使用核大小为的卷积层将全局增强特征的通道扩展到 。同时，第二阶段利用第一阶段的 信息进步细化局部特征，然后通过 剪裁局部增强特征并调整大小，再将局部特征输入到 的 中。最终，利用解码器学习从局部特征到像素预测的映射，实现最终篡改区域定位，也就是利用反卷积层来上采样和减少局部特征的通道。本文使用二元平均交叉熵损失函数计算预测掩码和真实 之间的损失。本文提出模型为端到端的网络模型，输入图像经过特征提取模块以及两阶段网络模块，最终得到预测的篡改内容操作分类和篡改区域二值掩码。最终的损失定义为两阶段的损失之和，定义为 。其中 为所提出网络模型的损失，为一阶段所产生的损失，如式（）所示，是二阶段平均二元交叉熵损失。实验结果与分析在本节中，研究所提出模型的有效性以及实现细节，并且列出实验参数。最后在个标准公开数据集上评估所提出模型的性能，并将实验结果与其 光 电 子 激 光 年第 卷他先进方法进行比较。数据集为了评估所提出图像篡改检测方法的性能，本文在 个 公 共 篡 改 数 据 集 上 进 行 实 验，包 括：、和 数据集。其中 数据集不用于训练，仅仅用于测试在 数据集上训练的模型。为了增加所提出模型的泛化能力，本文还对数据集进行了数据增强。所提出模型的训练数据集图像数量划分如表所示。表 在个基准数据集中训练和测试图像 ）数据集包括 张篡改图像，经过后处理以隐藏数据集中可见的篡改痕迹。此数据集还提供了 以供评估，它主要包括种篡改类型：复制粘贴、拼接和移除。该数据集中包含 幅 原 始 图 像 和 幅 篡 改 图 像，图 片 格 式 为 。）数据集提供各种目标的拼接和复制粘贴等图像。对被篡改的区域进行了选择并后处理，例 如 过 滤 和 模 糊 等。本 文 使 用 （幅图像）进行训练，（幅图像）用于测试。）数据集是一个相对较小的数据集，专注于图片复制粘贴。该数据集中包含 幅原始图像，每幅图像中都包含两个相近的对象，通过随机复制粘贴目标对象到同幅图像中，形成复制粘贴篡改后的图像。）数据集专注于未压缩图像的拼接。该数据集中包含 幅图像，其中有 幅拼接篡改图像 和 幅 原 始 图 像，提 供 了 相 应 的 。这些图像包含不同数码相机拍摄的真实图像和拼 接 后 的 图 像，所 有 的 图 片 格 式 均 为 或格式。图像尺寸范围为 。实验参数由于所提出的网络模型中包含 ，如果直接将该网络模型进行训练，会出现梯度爆炸现象，所以模型中特征提取和阶段一网络由 权重初始化。本文使用与文献 相同的 合成数据 集 预 训 练 一 阶 段 网 络。预 训 练 网 络 模 型 为 步，最初的学习率设置为 ，在 步后降低为 ，在 步后降低为 。本文所有的实验是在 上进行的，采用 深度学习框架。实验结果 评价指标为了评估所提出模型的有效性，本文使用的性能比较评估指标为像素级分数和接收器操作特性（，）曲线下的面积（，），分数是图像处理检测最常用的评价标准。本文使用不同的阈值并使用最高的分数作为每个图像的最终分数。，（）式中，（）表