融合注意力和残差网络的无人机影像树种识别_徐志扬.pdf

0210004-1研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展融合注意力和残差网络的无人机影像树种识别徐志扬1，2，3，陈巧1，2*，陈永富1，21中国林业科学研究院资源信息研究所，北京 100091；2国家林业和草原局林业遥感与信息技术重点实验室，北京 100091；3国家林业和草原局华东调查规划院，浙江 杭州 310019摘要 为探索采用无人机（UAV）遥感影像进行亚热带树种识别的应用潜力，提出一种结合残差模块和有效通道注意力的网络（ECA-ResNet）对单木树冠影像数据集进行模型训练和识别。首先，利用单木分割算法提取单木树冠，构建不同尺度的 UAV 可见光影像单株树冠影像块样本数据集，并将其划分为训练数据、验证数据和独立测试集；其次，以ResNet50为主干网络，在瓶颈层插入有效通道注意力并调整网络结构，构建 ECA-ResNet；最后，将数据集载入预训练的ECA-ResNet 模型，进行参数迭代训练和验证并进行独立测试，择优确定单木树冠的合适窗口大小。结果表明：ECA-ResNet 对 6464 像素的单木树冠影像数据集中树种的识别效果更为理想，训练精度和验证精度分别达 98.98%和96.60%，独立测试识别精度、Kappa系数分别达 85.61%、0.8140；ECA-ResNet模型的训练、验证、独立测试精度分别高于 ResNet50网络 2.63个百分点、1.80个百分点、5.31个百分点。该研究结果证明卷积神经网络（CNN）能够充分提取可见光图像的空间特征，有效通道注意力能够有效提升 CNN的单木树种识别能力。关键词 树种识别；残差网络；有效通道注意力；无人机可见光图像；单木树冠影像块中图分类号 S771 文献标志码 A DOI：10.3788/LOP212527Tree Species Recognition Using Combined Attention and ResNet for Unmanned Aerial Vehicle ImagesXu Zhiyang1,2,3,Chen Qiao1,2*,Chen Yongfu1,21Research Institute of Forest Resource Information Techniques,Chinese Academy of Forestry,Beijing 100091,China;2Key Laboratory of Forestry Remote Sensing and Information System,National Forestry and Grassland Administration,Beijing 100091,China;3East China Inventory and Planning Institute,National Forestry and Grassland Administration,Hangzhou 310019,Zhejiang,ChinaAbstract To explore the application potential of unmanned aerial Vehicle(UAV)remote sensing images for subtropical tree species recognition,the ECA-ResNet with residual module and effective channel attention is proposed to train and recognize single tree crown images.First,the single tree crown was extracted by single-tree segmentation algorithm.The single-tree crown image patch dataset of UAV visible image was constructed by means of clipping images with different window sizes,and they were divided into training data,validating data,and independent test dataset respectively.Second,with ResNet50 as a backbone network,by inserting effective channel attention into ResNet bottleneck and adjusting network structure,the ECA-ResNet was constructed.Then,the datasets were inputted into pretrained ECA-ResNet model for parameter training and validation iteratively,and independent test.After that,the optimum window size of single-tree crown image was determined.The results show that the ECA-ResNet gets a better recognition result for tree species in single-tree crown image patch dataset with window size of 6464 pixel,the accuracy of training and validation of the proposed network reaches 98.98%and 96.60%,respectively.The recognition accuracy and Kappa coefficient of independent test reach 85.61%and 0.8140.The training,validation,and independent test accuracy of ECA-ResNet in this paper are 2.63 percentage points,1.80 percentage points,and 5.31 percentage points higher than that of the ResNet50 respectively.It is proved that,convolutional neural network(CNN)can fully extract the spatial features of UAV 收稿日期：2021-09-14；修回日期：2021-11-02；录用日期：2021-11-10；网络首发日期：2021-11-20基金项目：中央级公益性科研院所基本科研业务费专项资金项目（CAFYBB2018SZ008）通信作者：*C0210004-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展visible images for tree species recognition,effective channel attention can effectively improve CNN single tree species recognition capability.Key words tree species recognition;residual network(ResNet);efficient channel attention(ECA);UAV visible image;single tree crown image patch1引言树种分类识别是森林生物多样性评价、森林区划和森林资源可持续经营的重要基础性工作。以往的树种分类识别通常采用人工地面调查，该方法费时费力且精度难以保障，不适用于较大范围开展，而遥感技术为在宏观尺度上进行树种分类识别提供了强有力的手段1。传统遥感以卫星、飞机等为传感器平台，并使用多光谱图像2-3、高光谱图像4-5、激光雷达（LiDAR）6-7以及它们的组合8-10进行树种分类识别，但易受气溶胶等影响和数据获取周期束缚。无人机因小巧灵活、成本低，且能够在云下低空飞行，为树种识别提供了一个新的解决方案。一些学者以无人机多光谱11-12或无人机 RGB 正射影像13-14为数据源，提取遥感光谱值及衍生指数、图像纹理或植被垂直特征信息，采用支持向量机、随机森林等方法进行树种分类识别，这些方法的识别精度均较为有限。传统机器学习方法依靠人工设计特征，主观性强，在 图 像 分 类 性 能 上 具 有 不 确 定 性，卷 积 神 经 网 络（CNN）的出现解决了该难题，它能够自动学习多层次复杂特征，将底层特征转换为高层次的基本线条特征。2012 年 AlexNet在 ImageNet竞赛中获得第一名，性能远超第二名，开创了近十年深度学习与卷积神经网络发 展 的 里 程 碑；2014 年 GoogleNet 开 创 性 提 出Inception 结构，在网络宽度上用多路非线性映射增强模型的表达能力（相当于多个模型的 ensemble），并不断进行改进，相继引入 11 卷积、批归一化（BN）层、卷 积 核 分 解（factorization）、残 差 连 接（residual connection）、深度可分离卷积等，网络性能不断得到提升；2014 年 VGG 网络通过加深网络深度提高了模型泛化能力，缺点是参数多、内存占用较大；2016 年 He等15实现了残差网络（ResNet），其著名的残差模块较好 地 解 决 了 模 型 梯 度 爆 炸 和 网 络 退 化 问 题，其bottleneck 11 卷积层能够在网络深度上降低输入维度，减少了计算量，2017 年该团队实现的 ResNeXt 把残差网络的单路卷积变成结构一致的多支路多路卷积，通过对网络宽度的优化，参数量不变且效果较好；2017 年 DenseNet模型通过对之前每一层都增加一个单独的近路连接来优化梯度流，效果也较好。目前，卷积神经网络除了在网络的深度、宽度上得到研究，还朝着多支路、轻量化（如 MobileNet、SqueezeNet等）等方向发展。此外，最近两年注意力模型（attention model）也被应用到各种深度学习任务，如 SENet（squeeze-and-excitation network）、CBAM（convolutional block attention module）、ECA（efficient channel attention）、自注意力（self attention）等，能一定程度提升网络性能，在图像识别领域均得到了应用。随着卷积神经网络技术的发展，其在树种分类识别方面也得以应用。Ferreira 等16通过在残差网络中融入空洞卷积和数学形态学方法，提取无人机可见光图像的亚马逊棕榈树，生产者精度（PA）超过语义分割法 4.7%。欧 阳 光 等17构 建 LeNet5_relu、AlexNet_mini、GoogLeNet_mini56、ResNet_mini56和DenseNet_BC_mini56 卷积神经网络分别对树种识别进行实验，认为后三者分别对不同的树种有最佳分类效果，DenseNet_BC_mini56总体上为最佳模型。栗旭升等18将残差网络思想融入三维卷积神经网络（3D-CNN），提出三维残差卷积神经网络（3D-RCNN），并构建树种识别模型。3D-RCNN 将模型网络从 12层增加到 18 层后，联合高分五号高光谱数据（GF-5AHIS）和高分六号高空间分辨率数据（GF