改进Mask_R-CNN公路病害检测算法_宋伟东.pdf

测绘通报年第期引 文 格 式：宋 伟 东，毕 春 杨，赵 奉 书改 进-公 路 病 害 检 测 算 法 测 绘 通 报，（）：-：-改进-公路病害检测算法宋 伟 东，毕 春 杨，赵 奉 书（辽 宁 工 程 技 术 大 学 测 绘 与 地 理 信 息 学 院，辽 宁 阜 新）摘 要：针 对 公 路 路 面 病 害 与 背 景 像 素 对 比 度 低 导 致 检 测 困 难 的 问 题，本 文 提 出 了 改 进-公 路 病 害 检 测 算 法（-）。首 先 在基 础 上 增 加 强 位 置 信 息 浅 层 特 征 表 达，并 融 合 相 邻 特 征 图 作 为 主 干 网 络 最 终 特 征 输 出，同 时 引 入模 块，以 减 弱 目 标 与 背 景 像 素 间 低 对 比 度 的 影 响；然 后 采 用 深 度 可 分 离 卷 积 和 空 洞 卷 积 分 别 代 替 主 干 网 络 及 有 效 特 征 层 输出 过 程 应 用 的 普 通 卷 积，提 升 模 型 计 算 效 率 及 掩 码 预 测 精 度。-在 公 路 路 面 病 害 数 据 集（）上 平 均 精 确 率 为.，召 回 率 为.，调 和 均 值 为，相 较 于-算 法 平 均 精 确 率 提 升.。结 果 表 明，-能 有效 完 成 公 路 路 面 病 害 精 细 化 检 测 与 分 割 任 务。关 键 词：病 害 检 测；实 例 分 割；特 征 融 合；注 意 力 机 制；深 度 可 分 离 卷 积；空 洞 卷 积中 图 分 类 号：文 献 标 识 码：文 章 编 号：-（）-，（，）：-（-），-（）.，.，.-：；-；公 路 交 通 是 国 家 运 输 体 系 的 支 柱，截 至年底，我 国 公 路 运 营 总 里 程 已 突 破万，公 路 交通 网 络 基 本 覆 盖 全 国 范 围，公 路 管 理 的 首 要 任 务 正逐 渐 从 过 去 建 设 为 主 向 目 前 养 护 管 理 为 主 过 渡。根 据 公 路 技 术 状 况 评 定 标 准（），路 面 损 坏 类 别 主 要 包 括 裂 缝、坑 槽、修 补 等，各 类 病害 对 路 面 服 役 状 况 具 有 极 为 重 要 的 影 响，准 确 的 路面 病 害 信 息 可 为 公 路 养 护 和 运 营 提 供 有 效 的 决 策导 向。传 统 的 人 工 路 面 病 害 检 查 常 受 主 观 条 件 影响，存 在 病 害 检 测 效 率 低、误 差 大 的 弊 端，因 此 利 用移 动 端 采 集 路 面 图 像 进 行 病 害 识 别 及 特 征 量 测 是目 前 道 路 质 量 检 测 领 域 的 主 流 手 段。基 于 图 像 处理 的 路 面 病 害 检 测 技 术 历 经余 年 取 得 长 足 进 展，先 后 产 生 许 多 路 面 病 害 特 征 识 别 及 量 测 算 法，如 自动 阈 值 分 割 法、纹 理 与 分 形 几 何 特 征 分 割 法、空 域 边 缘 检 测等。虽 然 基 于 图 像 处 理 的 路 面 病害 检 测 算 法 计 算 成 本 较 低，但 普 适 性 不 高，其 检 测性 能 在 很 大 程 度 上 取 决 于 待 处 理 图 像 的 质 量。随 着 计 算 机 视 觉 技 术 的 普 及，通 过 机 器 学 习 方 法实 现 了 路 面 病 害 识 别。文 献 应 用 机 器 学 习 方 法识 别 了 路 面 裂 缝，文 献 采 用 和-聚 类 算 法 实 现 了 裂 缝 提 取。但 由 于 传 统 机 器收 稿 日 期：-；修 回 日 期：-基 金 项 目：国 家 自 然 科 学 基 金 面 上 项 目（）作 者 简 介：宋 伟 东（），男，博 士，教 授，遥 感 影 像 信 息 提 取 与 三 维 重 建。-：通 信 作 者：毕 春 杨。-：年第期宋 伟 东，等：改 进-公 路 病 害 检 测 算 法学 习 方 法 是 利 用 领 域 专 家 提 取 的 病 害 特 征 模 拟 路 面病 害，对 提 供 的 特 征 质 量 依 赖 较 强。而 且 当 路 面 病 害在 不 同 情 况 下 出 现，则 需 要 对 病 害 特 征 重 新 模 拟，因此 传 统 机 器 学 习 方 法 不 能 满 足 所 有 情 况 下 路 面 病 害的 检 测 要 求。近 年 来，深 度 学 习 方 法 被 广 泛 应 用 于 计 算 机 视 觉领 域，其 利 用 自 动 学 习 替 代 手 工 特 征 设 定，通 过 卷 积神 经 网 络（）学 习 能 够 得 到 输 入 样 本 更 深 层 次 特征，具 有 较 强 的 有 效 性-。最 初，深 度 学 习 在 路 面 病害 检 测 时，只 是 对 图 像 有 无 病 害 进 行 二 分 类，后 逐 步将 物 体 定 位、目 标 检 测 技 术 应 用 到 病 害 的 识 别 方 面。文 献 基 于-混 凝 土 裂 缝 自 动 分 类 模 型、-算 法 深 度 迁 移 裂 缝 识 别 模 型、改 进的 多 目 标 裂 缝 识 别 模 型，实 现 了 对 裂 缝 图 像 的 精 准 识别 和 粗 定 位。文 献 针 对 多 尺 度 路 面 病 害 提 出 了改 进目 标 检 测 算 法，实 现 了 对 多 尺 度 路 面病 害 的 定 位。语 义 分 割、实 例 分 割 像 素 级 图 像 检 测 技术 的 发 展，为 路 面 病 害 长、宽、面 积 等 几 何 信 息 的 获 取提 供 了 新 途 径。文 献 提 出 一 种 端 到 端 可 训 练的 深 度 卷 积 神 经 网 络，有 效 实 现 了 像 素 级路 面 病 害 分 割，文 献 提 出 两 步 卷 积 神 经 网 络 方法，以 检 测 路 面 图 像 中 的 裂 缝 像 素，在 获 取 到 更 精确 病 害 信 息 的 同 时 减 少 了 检 测 时 间。通 过 上 述 文献 对 路 面 病 害 研 究 与 分 析 可 以 发 现，基 于 深 度 学 习的 路 面 病 害 检 测 方 法 较 传 统 机 器 学 习 更 加 准 确 高效。然 而 目 前 对 于 端 到 端 可 训 练 的 大 部 分 路 面 病害 检 测 模 型 中，只 是 单 一 地 完 成 了 对 路 面 病 害 的 检测 或 分 割 任 务，未 能 将 病 害 位 置 信 息 及 精 确 的 轮 廓信 息 同 时 表 达。因 此 针 对 以 上 问 题 及 路 面 病 害 与背 景 像 素 对 比 度 低 的 特 点，本 文 提 出-公 路 病 害 检 测 算 法，以 期 为 后 续 路 面 损 坏 状 况评 定 工 作 提 供 更 加 精 确 的 病 害 数 据 信 息。-算 法-实 例 分 割 网 络 在-网 络 基 础 上 发 展 而 来。该 算 法 模 型 由特 征 提 取 网 络、（）-特 征 融 合 网 络、（）区 域 候选 网 络、-输 出 层部 分 组 成，网 络结 构 如 图所 示。其 中特 征 提 取 网 络 由卷 积 模 块（）与 残 差 模 块（）两 个 基 本 模 块 组 成，用 于 加 深 和 串 联 特 征 提 取 网络，增 强 卷 积 网 络 的 特 征 提 取 能 力。特 征 提 取 网 络将 输 入 的 图 片 进 行 不 同 尺 度 的 压 缩，并 将 得 到 的个 不 同 尺 度 特 征 图 传 入网 络 中。在特征 融 合 模 块，深 层 特 征 通 过 上 采 样 的 方 式 与 浅 层 特 征进 行 融 合，丰 富 不 同 特 征 层 信 息 及 增 强 不 同 特 征 层 之间 的 关 联 性，并 将 生 成 的 有 效 特 征 层（）传入 区 域 候 选 网 络。在区 域 候 选 网 络，对 输 入 的 截 取 获 得 建 议 框，实 现 对 物 体 初 步 筛 选，并 采 用 区 域 特 征 聚 集 方 式（）对 有 效 特 征层 进 行 截 取 形 成 局 部 特 征 层。局 部 特 征 层 传 入 分 类回 归 模 型 实 现 目 标 检 测，预 测 框 对 有 效 特 征 层 进 行 截取 传 入 语 义 分 割 模 型 实 现 语 义 分 割。图 -网 络 结 构-检 测 算 法.特征融合改进（）增 加 浅 层 特 征。路 面 病 害 在 不 同 深 度 卷 积层 所 包 含 的 特 征 信 息 不 相 同，浅 层 细 节 信 息 在 路 面病 害 目 标 检 测 中 起 到 重 要 的 定 位 作 用，为 了 能 够 更好 地 利 用 浅 层 细 节 信 息，将 特 征 提 取 网 络 中 大 小 为的 特 征 层 提 取 并 输 出。特 征 提 取 网 络 的个 特 征 输 出 改 为个 特 征 输 出，大 小 分 别 为、。原 始 网 络 结 构 如 图（）所 示，增加 浅 层 特 征 层 如 图（）左 侧 所 示。（）特 征 融 合。特 征 提 取 网 络 中，浅层 特 征 层 随 着 网 络 层 数 加 深，存 在 细 节 信 息 损 失。鉴 于 此，在 特 征 融 合 之 前 将 大、中、小种 尺 度 下 的有 效 特 征 层 进 行 融 合，使 浅 层 精 确 位 置 信 息 与 深 层强 语 义 特 征 发 挥 最 大 的 识 别 匹 配 功 能，从 而 丰 富 每测绘通报年第期部 分 的 特 征 信 息，增 强 特 征 提 取 网 络 的 表 达 能 力，突 出 低 像 素 对 比 度 条 件 下 路 面 病 害 特 征。（）混 合 域 注 意 力 机 制 模 块。为 增 强 有 效 特 征层 中 病 害 信 息 的 表 达，引 入 混 合 域 注 意 力 机 制（，），在 通 道 和 空 间 维 度 上 给 予 有 效 特 征 层 一 定 的注 意 力 机 制，并 改 变 原 有 特 征 分 布，增 加 目 标 的 权重 比 例。通 过 对 输 入 的 特 征 施 加 通 道 注 意 力 机 制与 空 间 注 意 力 机 制 优 化 自 适 应 特 征，得 到 最 后 的 结果 特 征。改 进 后 的 特 征 融 合 及注 意 力 机 制模 块 如 图（）所 示。图改 进 前 后 主 干 特 征 提 取 及 特 征 融 合 网 络 结 构.卷积方式改进.深 度 可 分 离 卷 积在 普 通 卷 积 的 运 算 过 程 中，如 图（）所 示，对于 的 输 入，采 用个 尺 寸 大 小 为 的 标准 卷 积 核，普 通 卷 积 的 参 数 量及 计 算 量的 计算 公 式 分 别 为 （）（）式 中，为 卷 积 核 的 长 和 宽；、为 样 本 图 的 长 和宽；为 输 入 样 本 图 的 通 道 数；为 输 出 通 道 数。在-的 主 干 特 征 提 取 网 络 中，加 入中 的 深 度 可 分 离 卷 积 方 法，主 要 分 为 逐 通道 卷 积 和 逐 点 卷 积 两 个 过 程。如 图（）左 侧 所 示，利 用个 大 小 为 的 卷 积 核 对 的 输入 样 本 图 进 行 逐 通 道 卷 积，得 到 维 度 的 输出。其 中 逐 通 道 卷 积 的 参 数 量及 计 算 量的 计算 公 式 分 别 为 （）（）逐 点 卷 积 的 运 算 与 普 通 卷 积 运 算 相 似，如图（）右 侧 所 示，利 用个 尺 寸 为 的 卷 积核，对 上 一 层 得 到 的 维 度 的 输 出 再 次 进 行卷 积 运 算，完 成 在个 维 度 下 的 加 权 组 合，输 出 特 征图 为 。其 中 逐 点 卷 积 的 参 数 量及 计 算量的 计 算 公 式 分 别 为 深 度 可 分 离 卷 积 参 数 量与 计 算 量计 算 公式 分 别 为 （）（）深 度 可 分 离 卷 积