弱监督尺度自适应增强的高分辨率遥感影像场景分类

弱监督尺度自适应增强的高分辨率遥感影像场景分类 Weakly-supervised scale adaptation data augmentation for high-resolution remote sensing image scene classification 1 first-author 王梨名，1997年生，男，硕士研究生，研究方向为高分遥感影像解译。E-mail： limingwang@cug.edu.cn 王梨名，1997年生，男，硕士研究生，研究方向为高分遥感影像解译。E-mail： limingwang@cug.edu.cn limingwang@cug.edu.cn 1 2 1 2 corresp 杨超，1984年生，男，副研究员，研究方向为遥感影像解译和时空大数据。E-mail： yangchao@cug.edu.cn 杨超，1984年生，男，副研究员，研究方向为遥感影像解译和时空大数据。E-mail： yangchao@cug.edu.cn yangchao@cug.edu.cn 3 中国地质大学(武汉) 地理与信息工程学院,武汉 430074 中国地质大学(武汉) 地理与信息工程学院,武汉 430074 School of geography and Information Engineering, China University of Geosciences (Wuhan), Wuhan 430074, China School of geography and Information Engineering, China University of Geosciences (Wuhan), Wuhan 430074, China 国家地理信息系统工程技术研究中心,武汉 430074 国家地理信息系统工程技术研究中心,武汉 430074 National Engineering Research Center of Geographic Information System, Wuhan 430074, China National Engineering Research Center of Geographic Information System, Wuhan 430074, China 武汉大学 测绘遥感信息工程国家重点实验室,武汉,430079 武汉大学 测绘遥感信息工程国家重点实验室,武汉,430079 State Key Laboratory of Information Engineering in surveying, mapping and Remote Sensing, Wuhan University, Wuhan 430079, China State Key Laboratory of Information Engineering in surveying, mapping and Remote Sensing, Wuhan University, Wuhan 430079, China 遥感图像中同一种地物可能对应不同大小尺寸，而卷积核感受野大小固定严重影响了卷积神经网络在遥感场景分类中的性能。针对上述尺度效应问题，本文提出了一种面向高分辨率遥感影像场景分类的弱监督尺度自适应增强网络（Weakly-supervised Scale Adaptation Data Augmentation Network， WSADAN），主要包括尺度生成和尺度融合两个模块。尺度生成模块利用卷积神经网络提取的原图像高层特征学习出适合于不同样本实例的最佳尺度参数；而尺度融合模块通过融合原尺度图像和最佳尺度图像的高层特征进行精化去除冗余，挖掘出不同尺度下特征间的关联信息。最后，联合多尺度特征表达输入到全连接层实现场景类别的预测。本文采用RSSCN7、AID和NWPU三个遥感场景分类数据集验证方法的有效性，结果表明所提出的网络模型优于传统卷积神经网络，尤其对于尺度变化较大的类别性能提升最为明显。 Objective.Remote sensing image scene classification aims at assigning a meaningful label to a given image. In recent years, convolutional neural networks (CNNs)-based methods make a breakthrough and substantially outperform traditional methods in remote sensing scene classification tasks. However, it is difficult to obtain features under different scales in remote sensing images due to the fixed receptive field of CNNs, which seriously affects the performance of CNNs in remote sensing scene classification. This paper proposes a method to learn the optimal scales for different scene image instances in a weakly supervised way. Methods 2 .In this paper, a Weakly-supervised Scale Adaptive Data Augmentation Network (WSADAN) is proposed to capture feature information at different scales of remote sensing scenes, and a scale generation module and a scale fusion module are designed to improve the robustness. The scale generation module learns the optimal scale parameters based on the CNN features of the original image; the scale fusion module filters the CNN features of images with original and optimal scales to remove the noise, and then deeply fuses them to exploit the correlation between features at different scales. Finally, the deeply fused multi-scale features are input into a fully connected layer to predict categories of scene images. Results 2 .In this paper, the effectiveness of the scale generation and scale fusion modules is verified by ablation experiments. The accuracy of WSADAN SGM compared to baseline improved by 0.94% and 0.89% for 20% and 50% training data ratio of RSSCN7 dataset, 1.27% and 0.87% for 20% and 50% training data ratio of AID dataset, and 1.09% and 0.71% for 10% and 20% training data ratio of NWPU dataset, respectively. Compared to WSADAN SGM , WSADAN SGM+SFM improved 1.65% and 1.32% for the RSSCN7 dataset at 20% and 50% training data ratio, 1.65% and 1.26% for the AID dataset at 20% and 50% training data ratio, and 1.75% and 1.42% for the NWPU dataset at 10% and 20% training data ratio, respectively. In the scene scale change analysis experiment, the classification accuracy of our method is higher than baseline at any scale of image, which proves that our method can learn certain image scale information and has stronger scale adaptation ability. We use three remote sensing scene classification datasets, RSSCN7, AID, and NWPU for the experiments. On the RSSCN7 dataset with the training ratio of 20% and 50%, the overall accuracies are 91.65% and 94.07% for WSADAN-VGG16, and 92.69% and 94.82% for WSADAN-ResNet50, respectively. On the AID dataset with the training ratio of 20% and 50%, the overall accuracies are 92.78% and 95.18% for WSADAN-VGG16, and 93.73% and 95.88% for WSADAN-ResNet50, respectively. On the NWPU dataset with the training ratio of 10% and 20% for WSADAN-VGG16, the overall accuracies are 87.01% and 90.44%, and 90.71% and 93.58% for WSADAN-ResNet50, respectively. Conclusion 2 .The proposed method can learn CNN features at a wider range of scales without manually multi-scale selection for different datasets. The performance of the proposed method is better than that of traditional CNNs, especially for the scene categories containing objects with large-scale variations. 场景分类 深度学习 卷积神经网络 弱监督 多尺度 数据增强 scene classification deep learning convolutional neural networks weakly supervision multi-scale data augmentation 1　引言 1 随着卫星遥感技术的发展，能够获取的高分辨率遥感卫星影像越来越多，如何快速解译海量卫星遥感数据成为亟需解决的问题。遥感影像场景分类根据遥感数据的内容，赋予遥感图像一个或多个有意义的具有高层次语义信息的场景类别标签（ Zhong等，2015 Zhong等，2015 ）。遥感影像场景分类在土地利用和土地覆盖分类（ Zhu等，2016 Zhu等，2016 ； Zhao等，2016 Zhao等，2016 ； Chen等，2018 Chen等，2018 ）、自然灾害检测（ Martha等，2011 Martha等，2011 ； Cheng等，2013 Cheng等，2013 ）、城市规划（ Lv等，2016 Lv等，2016 ）等领域有着广泛的应用。 遥感场景分类方法根据提取的特征分为：基于低层视觉特征、中层视觉特征和高层视觉特征的遥感场景分类方法（ Xia等，2017 Xia等，2017 ）。基于低层视觉特征的遥感场景分类方法一般采用一种或几种低层特征，如光谱、纹理和结构等描述遥感图像（ Yang等，2008 Yang等，2008 ； Luo等，2013 Luo等，2013 ）。基于低层视觉特征的遥感场景分类方法计算相对简单，耗费时间少，适合于结构和空间分布相对简单的场景类别，如森林、农田等；但是对于地物类型繁杂或空间分布多变的复杂场景，低层视觉特征表达能力有限。中层视觉特征采用图像局部特征，如SIFT、LBP和颜色直方图等，将其映射到字典空间中从而获得更具有判别力的特征表示，如视觉词袋模型和主题模型等（ Yang等，2010 Yang等，2010 ； Chen等，2011 Chen等，2011 ）。基于中层视觉特征的场景分类方法可以建立场景局部特征到全局特征之间的语义关联，从而获得更具有判别力的场景特征；该方法依赖于低层特征的描述能力，限制了中层特征的场景表达性能。高层视觉特征通过卷积神经网络自适应地学习特征表达，从而解决低层局部特征在场景表达时的瓶颈问题（ Gu等，2019 Gu等，2019 ）。近年来，以卷积神经网络为代表的深度学习方法在遥感场景分类任务上取得了突破性的进展，在许多极具挑战性的场景数据集上，性能均大幅度地超越了传统方法，展现出强大的特征表达能力（ Han等，2017 Han等，2017 ； 钱晓亮等，2018 钱晓亮等，2018 ； 余东行等，2020 余东行等，2020 ）。 卷积神经网络一般采用固定的卷积核大小，其感受野有限，而遥感图像中蕴含丰富的空间特征和尺度效应，从不同的尺度能够获取不同层次的地物和空间关系特征（张书瑜，2020）。如 图1 图1 所示，从上到下依次为储油罐、工业区和岛屿场景类别的影像，在同一幅影像相同图像分辨率情况下，储罐、工业区建筑物和岛屿等都具有多种不同尺度大小，其所需要的感受野也不一样。 如何解决遥感图像中的尺度效应问题，提升卷积神经网络在不同尺度下遥感图像场景的辨识力，是遥感影像场景分类中的热点问题。针对遥感图像的尺度效应问题，常用的方法包括：多尺度池化和多尺度特征融合两种方法。 Liu等（2016） Liu等（2016） 提出自适应深度金字塔匹配模型，将输入图像扭曲成不同的尺度输入空间金字塔网络提取多尺度深度特征。 Zheng等（2019） Zheng等（2019） 提出一种深度场景表示方法，通过多尺度池化和费希尔向量对提取的深度特征构建场景的局部描述符。 姚艳清等（2021） 姚艳清等（2021） 通过特征金字塔提取多尺度特征并在其后嵌入多分辨率特征提取网络，促使网络学习目标在不同分辨率下的特征。昝露洋等（2021）采用特征金字塔结构和任意四边形检测头，提高了对复杂尺度目标和不规则目标的处理能力。上述多尺度池化的方法一般都是对输入图像不同尺度的下采样获取图像更加宏观的概括性信息，无法对图像上采样得到图像更微观上的细节信息。此外，多尺度池化层一般置于网络的最后几层，对于前面卷积层不同尺度表达能力的提升有限。 多尺度融合方法可以通过对输入图像进行不同尺度的上下采样，有助于辅助网络的卷积层学习到图像的多尺度信息。 Qi等（2017） Qi等（2017） 提出一种基于多尺度深度描述关联子的场景分类方法，将不同尺度的外观信息和空间信息联合起来提升场景分类的性能。 Alhichri等（2018） Alhichri等（2018） 提出一个适应各种图像大小的多尺度深度卷积神经网络架构，使用三个并行网络接收不同尺度的图像，从而提升模型的尺度表达能力。 马欣悦等（2021） 马欣悦等（2021） 提出了一种基于多尺度循环注意力网络的遥感影像场景分类方法，采用注意力机制得到影像不同尺度下的关注区域，融合原始影像不同尺度及其关注区域的影像特征。 朱祺琪等（2021） 朱祺琪等（2021） 提出了一种全局局部细节感知条件随机场框架，在有效利用多尺度建筑物信息的同时保留局部结构信息，解决了传统条件随机场一元势能丢失边界信息的问题。上述多尺度特征融合方法融合了图像不同尺度的信息，但一般只能采用固定的几种图像尺度，而各场景类别中不同图像的最佳尺度大小会有所不同。 为了提升卷积神经网络在不同尺度下的表达能力，解决多尺度特征融合中图像大小固定的问题，本文提出了一种弱监督尺度自适应增强网络（Weakly-supervised Scale Adaptation Data Augmentation Network， WSADAN），该网络采用尺度生成模块（Scale Generation Module， SGM）学习不同影像的最佳尺度大小，通过尺度融合模块（Scale Fusion Module， SFM）实现原始图像和尺度变换后图像中高层特征的融合，从而提升遥感影像场景分类的精度。本文的主要贡献如下： （1）提出了一种尺度弱监督数据增强的策略，提升遥感场景图像中尺度变换数据增强的性能。 （2）提出了一个尺度生成模块，利用图像高层特征信息自适应学习不同场景图像的最优尺度参数。 （3）提出了一个尺度融合模块，结合通道注意力和一维卷积操作，实现不同尺度特征信息的选择与融合，深度挖掘遥感场景图像多尺度特征信息。 2　方法 1 2.1　弱监督尺度自适应增强网络 2 针对遥感图像尺度效应问题，本文提出了一种弱监督尺度自适应增强网络，如 图2 图2 所示。（1）输入图像 <math id="M1"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825432&type= 2.45533323 2.62466669 通过卷积神经网络得到输入图像的高层特征 <math id="M2"><mi mathvariant="bold-italic">y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825536&type= 1.77800000 3.47133350 ， <math id="M3"><mi mathvariant="bold-italic">y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825536&type= 1.77800000 3.47133350 经过尺度生成模块学习到该图像的最佳尺度参数 <math id="M4"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825532&type= 1.86266661 2.62466669 ；（2）输入图像 <math id="M5"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825432&type= 2.45533323 2.62466669 根据得到的最佳尺度参数 <math id="M6"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825532&type= 1.86266661 2.62466669 重采样后得到尺度变换图像 <math id="M7"><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="bold-italic">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825453&type= 3.38666677 2.96333337 ，尺度变换图像 <math id="M8"><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="bold-italic">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825453&type= 3.38666677 2.96333337 输入到卷积神经网络得到尺度变换图像高层特征 <math id="M9"><msup><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mi mathvariant="bold-italic">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825540&type= 2.62466669 3.72533321 ；（3）将输入图像高层特征 <math id="M10"><mi mathvariant="bold-italic">y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825536&type= 1.77800000 3.47133350 和尺度变换图像高层特征 <math id="M11"><msup><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mi mathvariant="bold-italic">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825540&type= 2.62466669 3.72533321 进行拼接后输入到尺度融合模块，最终通过softmax激活函数得到遥感图像的场景分类结果。 由于随机数据增强方法效率低，并且容易产生很多不受控制的噪声，因此，本文提出的WSADAN网络采用一种尺度弱监督数据增强策略，即将原始图像根据尺度生成模块的最佳尺度参数，通过双线性重采样得到尺度变换图像，然后将尺度变换图像重新输入到预训练的基础网络模型中提取其特征信息。相比于随机数据增强，本文的尺度弱监督数据增强策略能够根据场景内容选择数据增广的参数。 在双线性重采样中有上采样和下采样两种情况。 公式（1） 公式（1） 所示为双线性下采样过程，如果对一幅图像进行 <math id="M12"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825483&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825482&type= 1.26999998 2.62466669 倍的下采样，则原始图像中 <math id="M13"><mi>s</mi><mo>×</mo><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825466&type= 7.02733374 2.62466669 窗口大小的像元变为一个像元，像元值为该窗口内像元的均值，图像尺寸会由原始的 <math id="M14"><mi>M</mi><mo>×</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825468&type= 9.90600014 2.70933342 变为 <math id="M15"><mo stretchy="false">(</mo><mi>M</mi><mo>/</mo><mi>s</mi><mo stretchy="false">)</mo><mo>×</mo><mo stretchy="false">(</mo><mi>N</mi><mo>/</mo><mi>s</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825470&type= 19.81200027 3.47133350 。用公式可以表示为： <math display="block" id="M16"><msub><mrow><mi>P</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mfrac bevelled="true"><mrow><msub><mo>∑</mo><mrow><mi>i</mi><mo>∈</mo><mi mathvariant="bold-italic">w</mi><mi mathvariant="bold-italic">i</mi><mi mathvariant="bold-italic">n</mi><mo stretchy="false">(</mo><mi>s</mi><mi>*</mi><mi>s</mi><mo stretchy="false">)</mo></mrow></msub><mrow><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><msup><mrow><mi>s</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825473&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825472&type= 29.37933159 8.04333401 其中， <math id="M17"><msub><mrow><mi>P</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825474&type= 3.38666677 3.72533321 表示双线性下采样后生成的像元值， <math id="M18"><mi mathvariant="bold-italic">w</mi><mi mathvariant="bold-italic">i</mi><mi mathvariant="bold-italic">n</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825476&type= 9.48266602 3.47133350 表示像元窗口， <math id="M19"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825478&type= 2.20133328 3.72533321 表示像元 <math id="M20"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825613&type= 1.10066664 2.62466669 的值， <math id="M21"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825483&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825482&type= 1.26999998 2.62466669 表示下采样倍数。 公式（2）所示为双线性上采样过程，通过在像元点之间插入新的像元使图像变大，插入的新像元值根据下列公式得到： <math display="block" id="M22"><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><mi>x</mi><mo>,</mo><mtext> </mtext><mi>x</mi><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub></mtd><mtd><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">12</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub></mtd><mtd><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">22</mn></mrow></msub></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><mi>y</mi></mtd></mtr><mtr><mtd><mi>y</mi><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr></mtable></mrow></mfenced></mrow><mrow><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825485&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825484&type= 67.05599976 16.25600052 …………………………………………（2） 其中， <math id="M23"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext>  </mtext><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825486&type= 12.19200039 4.74133301 、 <math id="M24"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext>  </mtext><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825489&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825488&type= 12.19200039 4.74133301 、 <math id="M25"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mtext>  </mtext><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825491&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825490&type= 12.19200039 4.74133301 、 <math id="M26"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mtext>  </mtext><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825492&type= 12.19200039 4.74133301 为已知像元值的四个角像元坐标， <math id="M27"><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825495&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825494&type= 4.65666676 4.48733330 、 <math id="M28"><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">12</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825497&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825496&type= 4.65666676 4.48733330 、 <math id="M29"><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825499&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825498&type= 4.65666676 4.48733330 、 <math id="M30"><msub><mrow><mi>Q</mi></mrow><mrow><mn mathvariant="normal">22</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825501&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825500&type= 4.65666676 4.48733330 分别为四个角的像元值， <math id="M31"><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mtext>  </mtext><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825502&type= 9.82133293 3.64066648 表示双线性下采样新插入的像元坐标， <math id="M32"><mi>f</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825505&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825504&type= 5.92666674 3.80999994 表示该点像元值大小。 2.2　尺度生成模块 2 在高分辨率遥感图像中，不同场景图像分类的最佳尺度大小不同。同一幅遥感图像在不同尺度下能够得到不同的空间特征信息，综合不同尺度的特征信息有助于提高遥感场景分类的精度。目前学者们对于多尺度图像生成方法主要有三种：构建金字塔的方式获取图像多个尺度的特征（例如， Zhao等，2016 Zhao等，2016 ）；不同上下文输入大小的多个神经网络模型获取图像多尺度的特征（例如，Langkvist等，2016）；尺度参数估计的方式得到最佳尺度组合（ Chen等，2019 Chen等，2019 ）。上述三种获取多尺度特征的方式一般对整个数据集，挑选同一种最优的尺度组合方案，没有考虑到不同类别场景图像对于不同尺度的适应性，而且不同数据集的最佳尺度组合方案需要精心设计和大量的实验选择最优方案。 针对上述不同场景图像的尺度差异问题，本文设计了一个尺度生成模块，结构如 表1 表1 所示。该模块通过对原始图像高层特征进行处理，提取出适合该图像的最佳尺度变换参数。尺度生成模块由一个全局平均池化层、两个全连接层和缩放函数组成，采用ReLU激活函数对第一个全连接层特征非线性变换，采用Sigmoid激活函数将第二个全连接层特征映射到0到1空间。通过全局平均池化层对原始图像高层特征每个通道值平均，由原来的 <math id="M33"><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn><mo>×</mo><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825507&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825506&type= 15.07066536 2.70933342 压缩成为 <math id="M34"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825508&type= 15.07066536 2.70933342 。压缩后的高层特征输入到全连接层中进行特征提取，特征提取过程为： <math display="block" id="M35"><mi mathvariant="bold-italic">t</mi><mo>=</mo><mi mathvariant="bold-italic">z</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">m</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">x</mi><mtext> </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="bold-italic">z</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825511&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825510&type= 31.07266808 3.64066648 其中 <math id="M36"><mi mathvariant="bold-italic">y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825536&type= 1.77800000 3.47133350 表示输入图像高层特征， <math id="M37"><mi mathvariant="bold-italic">z</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825514&type= 5.50333309 3.47133350 表示为全连接层， <math id="M38"><mi mathvariant="bold-italic">m</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">x</mi><mtext> </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825517&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825516&type= 15.07066536 3.47133350 相当于ReLU激活函数， <math id="M39"><mi mathvariant="bold-italic">t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825518&type= 1.26999998 2.62466669 表示为特征提取的结果。该特征提取过程可以描述为高层特征经过第一个全连接层后使用ReLU函数进行激活，然后再输入到第二个全连接层中。特征提取后通过激活函数Sigmoid映射到0到1的区间： <math display="block" id="M40"><mi>v</mi><mo>=</mo><mfrac bevelled="true"><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mi mathvariant="bold-italic">t</mi></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825521&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825520&type= 18.45733452 5.50333309 其中， <math id="M41"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825522&type= 1.43933344 2.62466669 表示生成的尺度变换参数。采用缩放函数把尺度变换参数线性缩放到对应的尺度，得到适合的尺度参数。这里采用缩放范围为 <math id="M42"><mo stretchy="false">[</mo><mn mathvariant="normal">0.5</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">2</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825525&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825524&type= 12.19200039 3.30200005 ，故缩放函数为： <math display="block" id="M43"><mi>u</mi><mo>=</mo><mi>a</mi><mi>v</mi><mo>+</mo><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825526&type= 15.83266735 2.62466669 其中 <math id="M44"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825529&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825528&type= 1.86266661 2.62466669 为1.5， <math id="M45"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825530&type= 1.69333339 2.62466669 为0.5， <math id="M46"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825532&type= 1.86266661 2.62466669 表示生成的尺度参数。 2 全局平均池化 输入：卷积深度特征（512×7×7） 输出：卷积特征代表（512×1×1） 2 压缩 输入：卷积特征代表（512×1×1） 输出：压缩卷积特征代表（512） 2 全连接层1 输入：压缩卷积特征代表（512） 输出：全连接层1特征 （128） 2 ReLU激活函数 输入：全连接层1特征 （128） 输出：激活全连接层1特征（128） 2 全连接层2 输入：激活全连接层1特征（128） 输出：全连接层2特征 （1） 2 Sigmoid激活函数 输入：全连接层2特征（1） 输出：尺度变换参数（1） 2 缩放函数： u=av+b 输入：尺度变换参数（1） 输出：尺度参数（1） 2.3　尺度融合模块 2 传统方法在多尺度特征融合时，一般将不同尺度卷积特征简单串联或相加，然后输入到分类层中，这种方式虽然易于操作，但是缺乏对多尺度特征的深层次信息挖掘。 为充分利用图像多个尺度的特征，本文设计了一个尺度融合模块，用于提升多尺度特征融合的表达能力。如 图3 图3 所示，该模块主要包括四个部分：批量标准化（Batch Normalization， BN）层、通道注意力层、1维卷积层和全局平均池化（Global Average Pooling， GAP）层。按通道拼接原始图像高层特征 <math id="M47"><mi mathvariant="bold-italic">y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825536&type= 1.77800000 3.47133350 （大小为 <math id="M48"><mi>N</mi><mo>×</mo><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825542&type= 23.62199974 2.70933342 ）与尺度变换图像高层特征 <math id="M49"><msup><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mi mathvariant="bold-italic">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825540&type= 2.62466669 3.72533321 （大小为 <math id="M50"><mi>N</mi><mo>×</mo><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825542&type= 23.62199974 2.70933342 ）得到组合特征 <math id="M51"><mi mathvariant="bold-italic">Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825545&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825544&type= 2.28600001 2.62466669 （大小为 <math id="M52"><mi>N</mi><mo>×</mo><mn mathvariant="normal">2</mn><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825546&type= 25.48466682 2.70933342 ），并输入至BN层，将来自不同尺度的特征变换到同一基准下。采用通道注意力机制对不同尺度所有特征通道赋予不同权重，权重值越大代表该特征相关度越高，进一步筛选出不同尺度中最重要的特征。通道注意力主要有挤压、激励和注意三个过程。挤压是把每个通道特征值都压缩成一个值，挤压函数如下所示： <math display="block" id="M53"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi><mi mathvariant="bold-italic">q</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced><mo>=</mo><mfrac bevelled="true"><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></msubsup><mrow><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></msubsup><mrow><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo stretchy="false">)</mo></mrow></mrow></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825549&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825548&type= 51.47733307 7.78933382 其中， <math id="M54"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825550&type= 2.53999996 2.62466669 表示输入图像特征的高， <math id="M55"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825552&type= 2.87866688 2.62466669 表示输入图像特征的宽， <math id="M56"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825555&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825554&type= 7.28133297 4.57200003 表示通道 <math id="M57"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825556&type= 1.43933344 2.62466669 像元的特征值， <math id="M58"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi><mi mathvariant="bold-italic">q</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825559&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825558&type= 4.23333359 3.72533321 表示压缩后的特征值。激励是通过全连接层和激活函数来得到每个通道的权重，激励函数如下所示： <math display="block" id="M59"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">e</mi><mi mathvariant="bold-italic">x</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi><mi mathvariant="bold-italic">q</mi></mrow></msub><mo>,</mo><mtext> </mtext><mi mathvariant="bold-italic">W</mi></mrow></mfenced><mo>=</mo><mi mathvariant="bold-italic">σ</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mi mathvariant="bold-italic">δ</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi><mi mathvariant="bold-italic">q</mi></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825561&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825560&type= 60.87533569 5.92666674 其中， <math id="M60"><mi mathvariant="bold-italic">σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825562&type= 2.62466669 2.62466669 表示Sigmoid激活函数， <math id="M61"><mi mathvariant="bold-italic">δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825564&type= 1.69333339 2.62466669 表示ReLU激活函数， <math id="M62"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825566&type= 4.23333359 3.72533321 和 <math id="M63"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825568&type= 4.23333359 3.72533321 表示两层全连接层的权重系数， <math id="M64"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825571&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825570&type= 2.87866688 3.72533321 和 <math id="M65"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825572&type= 2.87866688 3.72533321 表示两层全连接层的偏置系数， <math id="M66"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">e</mi><mi mathvariant="bold-italic">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825574&type= 4.31799984 3.72533321 表示通道权重系数。利用特征的每一个通道与通道权重相乘计算不同通道的注意力，注意函数如下所示： <math display="block" id="M67"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">e</mi><mi mathvariant="bold-italic">x</mi><mi>c</mi></mrow></msub></mrow></mfenced><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">e</mi><mi mathvariant="bold-italic">x</mi><mi>c</mi></mrow></msub><mo>·</mo><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825577&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825576&type= 30.64933395 5.16466665 其中， <math id="M68"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">e</mi><mi mathvariant="bold-italic">x</mi><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825578&type= 5.07999992 3.72533321 表示每个通道的权重系数， <math id="M69"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825580&type= 2.96333337 3.72533321 每个通道的特征值。 通过1维卷积联合所有通道特征，选择各尺度特征并加权融合，进一步挖掘多尺度特征之间的关联信息。最后，通过GAP层输入到全连接层进行场景类别的预测。 3　实验与分析 1 3.1　实验设置 2 3.1.1　基础模型 3 本文采用遥感影像场景分类中应用最为广泛的基础模型VGG16（ Simonyan等，2015 Simonyan等，2015 ）和ResNet50（ He等，2016 He等，2016 ）验证本文方法的有效性，这两种模型均曾获得ImageNet挑战赛的冠军。VGG16网络结构设计简洁，整个网络通过重复堆叠很多基础模块组成；ResNet50提出了一种残差模块，有效抑制了深层网络梯度消失问题，有效提升了特征的表达能力。由于深度卷积神经网络模型参数量较大，现有的遥感场景分类数据集相对较少不足以完全训练，所以本文采用迁移学习的方法（ He等，2019 He等，2019 ； Zeng等，2018 Zeng等，2018 ），基于在ImageNet数据集上预训练的VGG16和ResNet50网络对模型参数进行微调，这种方式可以缓解数据量小而导致的过拟合现象（ Zheng等，2015 Zheng等，2015 ）。 3.1.2　实验数据 3 为验证模型的有效性，本文采用具有代表性的RSSCN7（ Zou等，2015 Zou等，2015 ）、AID（Aerial Image Dataset）（ Xia等，2017 Xia等，2017 ）和NWPU（NWPU-RESISC45）（ Cheng等，2017 Cheng等，2017 ）三种遥感场景数据集进行试验。 RSSCN7数据集包含2800张遥感场景图像，包括草地、森林、农田、停车场、居住区、工业区、河流湖泊等7个典型场景类别。每个场景类别有400张图像，分别在4个不同尺度上采样100张，每张图像大小为400 × 400像素。由于季节变化和不同天气条件以及采样尺度的影响，造成该数据集下场景图像的复杂性和多样性。本文实验中训练数据比率分别设置为20%和50%。 AID（Aerial Image Dataset， AID）数据集是武汉大学2017年发布的大型场景数据集。数据集包含30个场景类别，每一个场景类别分别含有220到420张图像，每幅图像大小600×600，共计10000幅场景图像。AID数据集中的图像来自于不同传感器，数据集中图像的像素分辨率多种多样，大约在8 m到0.5 m之间。本文实验中该数据集训练数据比率设置为20%和50%。 NWPU（NWPU-RESISC45， NWPU）数据集是包含45个场景类别，每个类别由700幅图像组成，每张图像像素大小为256×256，共计31500幅场景图像。数据集中的图像来自100多个国家和地区，除了一些空间分辨率较低的特定类（如岛、湖、山、冰山），大多数场景类别的像素分辨率大约在30米到0.2米之间。本文实验中该数据集训练数据比率设置为10%和20%。 数据集 场景类别 数据量 像素大小 训练集比例 RSSCN7 7 2800 400×400 20%、50% AID 30 10000 600×600 20%、50% NWPU 45 31500 256×256 10%、20% 3.1.3　评价标准 3 全局精度（Overall Accuracy， OA）是模型在所有测试集数据上预测正确的个数与全部数据总数的比值。全局精度是衡量一个深度学习模型的性能核心指标。全局精度的定义如下： <math display="block" id="M70"><mi>O</mi><mi>A</mi><mo>=</mo><mtext> </mtext><mrow><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></msubsup><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mo>/</mo><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></msubsup><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825588&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825587&type= 35.22133255 5.33400011 其中， <math id="M71"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825590&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825589&type= 2.28600001 2.62466669 为数据类别数量， <math id="M72"><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825591&type= 3.64066648 3.72533321 是第 <math id="M73"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825613&type= 1.10066664 2.62466669 类预测正确的样本数， <math id="M74"><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825596&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825595&type= 3.21733332 3.72533321 是第 <math id="M75"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825613&type= 1.10066664 2.62466669 类所有的样本数。 标准差（Standard Deviation， STD）是所有数值与他们平均值之间差异的一种反映。通常情况下每次训练的网络模型性能都会有所差异，得到的全局精度和全局平均值精度也会不一样，所以要科学评估一个算法模型的可靠性需要多次实验，然后取其平均值并计算标准差。标准差的定义如下： <math display="block" id="M76"><mi>S</mi><mi>T</mi><mi>D</mi><mo>=</mo><mtext> </mtext><mroot><mrow><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup><mrow><mo stretchy="false">(</mo><mi>O</mi><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo>-</mo><mtext> </mtext><mover><mrow><mi>O</mi><mi>A</mi></mrow><mo>¯</mo></mover><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow><mi>N</mi></mrow></mfrac></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825600&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825599&type= 41.90999985 10.41399956 其中， <math id="M77"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825609&type= 2.53999996 2.62466669 表示实验的次数， <math id="M78"><mi>O</mi><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825603&type= 5.24933338 3.72533321 表示第 <math id="M79"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825613&type= 1.10066664 2.62466669 次实验的总体精度， <math id="M80"><mover><mrow><mi>O</mi><mi>A</mi></mrow><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825608&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825607&type= 4.57200003 3.21733332 表示 <math id="M81"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825609&type= 2.53999996 2.62466669 次实验的平均总体精度。 混淆矩阵（Confusion Matrix， CM）可以详细的描述各类别的精度及类别间的误分状况。混淆矩阵中，元素 <math id="M82"><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825611&type= 3.04800010 3.72533321 表示 <math id="M83"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825613&type= 1.10066664 2.62466669 类别的图像被分为 <math id="M84"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825616&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24825615&type= 0.84666669 3.47133350 类别的概率。 3.1.4　实验环境 3 本文实验采用Windows10服务器，配置Intel（R） Xeon（R） W-2133处理器、64G运行内存、NVIDIA GeForce RTX 2080 Ti显卡，基于Pytorch深度学习框架实现算法模型。优化器采用Adam（ Kingma等，2014 Kingma等，2014 ），学习率（learning rate）设置为1e-4，权重衰减（weight decay）系数设置为1e-5，批量大小（batch size）设置为8。 3.2　消融实验分析 2 为验证设计的尺度生成模块和尺度融合模块的有效性，本文在RSSCN7、AID和NWPU三个数据集上分别进行实验，以原始VGG16模型（Baseline-VGG16）为基准评估各模块的作用， 表3 表3 为不同模块在不同数据下的总体精度。 数据集 训练数据占比 Baseline-VGG16 WSADAN SGM WSADAN SGM+SFM 2 RSSCN7 20% 89.06±0.58 90.00±0.69 91.65±0.62 50% 91.86±0.51 92.75±0.53 94.07±0.49 2 AID 20% 89.86±0.19 91.13±0.15 92.78±0.16 50% 93.05±0.42 93.92±0.39 95.18±0.37 2 NWPU 10% 84.17±0.32 85.26±0.23 87.01±0.26 20% 88.31±0.48 89.02±0.37 90.44±0.40 本文方法只添加尺度生成模块（WSADAN SGM ）情况下，各数据集的总体精度都有提升。RSSCN7数据集20%和50%训练数据比率下精度分别提升了0.94%和0.89%，AID数据集20%和50%训练数据比率下精度分别提升了1.27%和0.87%，NWPU数据集10%和20%训练数据比率下精度分别提升了1.09%和0.71%。尺度生成模块通过生成最佳尺度图像对卷积神经网络进行数据增强从而提升了模型的鲁棒性。 本文方法在同时添加尺度生成模块和尺度融合模块情况下，WSADAN SGM+SFM 模型的总体精度提升效果明显。相比于WSADAN SGM ，RSSCN7数据集20%和50%训练数据比率下精度分别提升了1.65%和1.32%，AID数据集20%和50%训练数据比率下精度分别提升了1.65%和1.26%，NWPU数据集10%和20%训练数据比率下精度分别提升了1.75%和1.42%。添加尺度融合模块后，通道注意力对多尺度融合后特征进行过滤和筛选去除特征中包含的一些噪声，1维卷积对多尺度的特征进行深度融合并提取尺度间的特征信息，使得模型的总体精度明显提升。 对比不同训练集比例的总体精度，本文方法在训练数据较少的情况下精度提升更加明显。RSSCN7数据集中20%训练数据的总体精度提升了2.59%，50%训练数据的总体精度提升了2.21%；AID数据集中20%训练数据的总体精度提升了2.92%，50%训练数据的总体精度提升了2.13%；NWPU数据集中20%训练数据的总体精度提升了2.84%，50%训练数据的总体精度提升了2.13%。采用较少的训练数据精度提升更加明显可能原因是本文中采用的是弱监督数据增强的方式，在训练数据较少的情况下更加有效。 3.3　场景尺度变化分析 2 为更准确的验证本文方法对场景尺度变化的学习能力和适应能力，本文在RSSCN7数据集20%训练比例上进行对比实验，以原始VGG16模型（Baseline-VGG16）为基准，与本文提出的基于VGG16模型的方法WSADAN-VGG16进行对比分析。 图4 图4 展示了256尺度大小图像上训练出的模型在图像尺度变换到［0.5， 2］倍时，测试模型总体精度变化。由 图4 图4 可知，WSADAN-VGG16在图像所有尺度大小的总体精度均高于Baseline-VGG16，展现出更强的尺度适应能力。WSADAN-VGG16和Baseline-VGG16的精度随着图像尺度先增加后降低，在图像尺度为256时同时达到最大值，这是因为训练模型时采用的图像尺度为256×256，模型对于256尺度或接近256尺度的图像表现出更好的性能。 为更好的分析不同场景类型的尺寸变化特点和规律， 图5 图5 展示了RSSCN7测试数据中不同场景类别的尺度参数箱形图。其中，各场景类别的尺度参数都大于1且小于1.9，分布范围比较广泛，说明同一场景类别下不同影像的最佳尺度大小差距较大。除草地和牧场两个场景类别外，其他场景类别图像的尺度参数多数集中在1.3到1.6之间。 图6 图6 展示为草地和牧场两个类别的图像，草地的场景图像特征比较复杂，包含很多道路、树木和建筑物等非草地目标的地物类别，因此需要较大尺度参数以获取更加准确的细节特征。牧场场景图像地物类别比较简单，不需要获取太多细节信息，因此该类场景得到的尺度参数相对较小。 3.4　遥感影像分类算法对比 2 3.4.1　RSSCN7数据集实验 3 由于RSSCN7数据集从4个不同的尺度和角度采集的遥感场景图像，因此该数据集适合于评定本文提出方法的有效性。本文在RSSCN7数据集上对几种先进的方法进行了比较，实验结果如 表4 表4 所示。在20%和50%的训练数据集下，本文提出的WSADAN-VGG16模型总体精度分别为91.65%和94.07%，基于ResNet50的WSADAN-ResNet50模型总体精度分别达到92.69%和94.82%。本文方法与传统的CaffeNet、VGG-VD-16和GoogLeNet相比性能有大幅提升，主要是因为本文设计的弱监督尺度自适应增强方法可以缓解遥感图像中的尺度效应问题。Attention GANs（ Yu等，2020 Yu等，2020 ）采用多尺度池化的方式获取影像上下文信息，并设计了基于上下文聚合的特征融合体系结构，但是缺乏对融合特征筛选的过程。Deep Filter Banks（ Wu等，2016 Wu等，2016 ）、Two-stage deep feature fusion（ Liu等，2017 Liu等，2017 ）和Dual Attention-Aware Network（ Gao等，2020 Gao等，2020 ）都采用了多尺度特征融合的方法。Deep Filter Banks结合多列堆叠去噪稀疏自编码（SDSAE）和Fisher向量（FV），以分层的方式自动学习具有代表性和鉴别性的特征。Two-stage deep feature fusion的方法结合来自中间层和FC层的激活，生成一个新的具有有向无环图拓扑CNN，并将两个这样的拓扑CNN融合在一起。Dual Attention-Aware Network采用通道注意力和空间注意力机制，分别从通道和空间维度探讨语境依赖关系，最后将两个注意模块的输出集成为注意感知特征表示。本文方法相较于上述研究性能较优的原因可能是因为本文中设计的尺度融合模块，可以对不同尺度的特征进行筛选和深度融合。 2 方法 2 不同训练集比例下的总体精度（%） 20% 50% CaffeNet（Xia等，2017） 85.57±0.95 88.25±0.62 VGG-VD-16（Xia等，2017） 83.98±0.87 87.18±0.94 GoogLeNet（Xia等，2017） 82.55±1.11 85.84±0.92 Attention GANs（Yu等，2020） 83.47±0.63 87.32±0.54 Deep Filter Banks（Wu等，2016） - 90.4±0.6 Two-stage deep feature fusion（Liu等，2017） - 92.37±0.72 Dual Attention-Aware Network（Gao等，2020） 91.07±0.65 93.25±0.28 WSADAN-VGG16 （本文方法） 91.65±0.62 94.07±0.49 WSADAN-ResNet50 （本文方法） 92.69±0.48 94.82±0.45 图7 图7 展示了RSSCN7数据集20%训练比率下不同模型得到的混淆矩阵，其中 图7 图7 （a）和 图7 图7 （b）分别表示Baseline-VGG16和WSADAN-VGG16模型的混淆矩阵。WSADAN-VGG16在每一个场景类别中精度都比Baseline-VGG16要高，WSADAN-VGG16除工业这一个场景类别外，其他所有的场景类别精度都达到了90%以上。最容易混淆的草地、牧场和森林三个场景类别精度都分别达到了95%、90%和98%。 3.4.2　AID数据集实验 3 表5 表5 对比了AID数据集上本文方法与多种先进方法的总体精度。在20%和50%训练数据情况下，本文提出的基于VGG16模型的方法WSADAN-VGG16总体精度分别为92.78%和95.18%，基于ResNet50模型的方法WSADAN-ResNet50总体精度分别为93.73%和95.88%。本文方法与传统的网络模型CaffeNet、VGG-VD-16、GoogLeNet和ResNet-50相比性能提升明显。DTDCNN（ 施慧慧等，2021 施慧慧等，2021 ）、LCPP（ Sun等，2021 Sun等，2021 ）、MICP（ Qi等，2021 Qi等，2021 ）采用多尺度池化的方式获取影像多尺度信息。DTDCNN通过可变形卷积对不同尺度目标感受野自适应调整使得网络模型对遥感场景的几何形变更具有稳健性。LCPP采用多层次卷积金字塔语义融合框架，融合BOVW模型和卷积神经网络模型提取的多层次语义特征。MICP采用多级改进循环池方法，提取并融合生成不同层次下的环形池化特征。SAFF（ Cao等，2021 Cao等，2021 ）和MDFR（ Zheng等，2019 Zheng等，2019 ）采用多尺度特征融合方法，其中，SAFF模型采用一种强调复杂对象权重的基于自注意深度特征融合方法，MDFR采用基于区域特征选择和表示的多尺度深度特征表示方法。本文相较于上述方法性能表现更好的原因可能是弱监督数据增强的方式使得模型具有更强的鲁棒性。 2 方法 2 不同训练集比例下的总体精度（%） 20% 50% CaffeNet（Xia等，2017） 86.86±0.47 89.53±0.31 VGG-VD-16（Xia等，2017） 86.59±0.29 89.64±0.36 GoogLeNet（Xia等，2017） 83.44±0.40 86.39±0.55 ResNet-50（钱晓亮等，2018） 88.23±0.70 91.31±0.58 DTDCNN（施慧慧等，2021） - 89.26 LCPP（Sun等，2021） 90.96±0.33 93.12±0.28 MICP（Qi等，2021） 92.45±0.46 94.94±0.34 SAFF（Cao等，2021） 90.25±0.29 93.83±0.28 MDFR（Zhang等，2019） 90.62±0.27 93.37±0.29 WSADAN-VGG16 （本文方法） 92.78±0.16 95.18±0.37 WSADAN-ResNet50 （本文方法） 93.73±0.23 95.88±0.24 图8 图8 展示了AID数据集20%训练比率下不同模型得到的混淆矩阵，其中 图8 图8 （a）和 图8 图8 （b）分别表示Baseline-VGG16和WSADAN-VGG16得到的混淆矩阵。WSADAN-VGG16对于大部分类别的精度都达到了90%以上，其中提升较为明显的场景类别如体育中心、学校和广场类别。沙漠和体育馆的精度有所下降，原因是本文方法融合其他尺度特征时对尺度不敏感图像的特征表达可能引入无效信息，导致分类精度有所下降。沙漠最易混淆的类别是裸地，体育馆最易混淆的类别是体育场。 图9 图9 展示了上述几种易混淆类别的图像及其热力图，沙漠和裸地、体育馆和体育场图像非常相似，尺度信息无法提升模型对于这几种类别的判别力。 3.4.3　NWPU数据集实验 3 本文在NWPU数据集上进行了评估实验， 表6 表6 展示为总体精度对比结果表。本文基于VGG16和基于ResNet50的方法WSADAN-VGG16、WSADAN-ResNet50在NWPU数据集10%训练数据情况下的总体精度分别为87.01%和90.71%，在20%训练数据情况下的总体精度分别为90.44%和93.58%。与传统的网络模型CaffeNet、VGG-VD-16、GoogLeNet、ResNet-50相比，本文方法网络性能表现较优。DTDCNN（ 施慧慧等，2021 施慧慧等，2021 ）和MICP（ Qi等，2021 Qi等，2021 ）采用多尺度池化的方式获取影像多尺度特征，SAFF（ Cao等，2021 Cao等，2021 ）和MDFR（ Zheng等，2019 Zheng等，2019 ）采用多尺度特征融合的方式获取影像多尺度特征。本文方法相较于DTDCNN、SAFF和MDFR总体精度更高，模型表现更好，与MICP相比本文的WSADAN-VGG16方法总体精度相当，这可能是因为MICP方法中融合了尺度信息和旋转不变性信息。 2 方法 2 不同训练集比例下的总体精度（%） 10% 20% CaffeNet（Xia等，2017） 78.01±0.27 81.08±0.21 VGG-VD-16（Xia等，2017） 76.47±0.18 79.79±0.15 GoogLeNet（Xia等，2017） 76.19±0.38 78.48±0.26 ResNet-50（钱晓亮等，2018） - 84.39±0.29 DTDCNN（施慧慧等，2021） - 84.12 MICP（Qi等，2021） 87.54±0.31 90.49±0.28 SAFF（Cao等，2021） 84.38±0.19 87.86±0.14 MDFR（Zhang等，2019） 83.37±0.26 86.89±0.17 WSADAN-VGG16 （本文方法） 87.01±0.26 90.44±0.40 WSADAN-ResNet50 （本文方法） 90.71±0.23 92.63±0.19 图10 图10 展示了NWPU数据集10%训练比率下不同模型得到的混淆矩阵，其中 图10 图10 （a）和 图10 图10 （b）分别表示Baseline-VGG16和WSADAN-VGG16的混淆矩阵。WSADAN-VGG16较Baseline-VGG16精度提升明显的类别包括：棒球场、地面田径场、工业区、宫殿、铁路和稀疏住宅等场景类别。机场和立交桥分类总体精度有所下降，可能是因为在考虑到多尺度宏观特征时忽略了细节上的注意力信息，导致分类错误。机场最易混淆的类别是火车站，立交桥最易混淆的类别是高速公路。 图11 图11 展示了上述几种易混淆类别的图像及其热力图，可以看到机场和火车站建筑类型、颜色和纹理等比较相似，立交桥和高速公路具有一样的道路、车辆等地物信息。 4　结论 1 传统卷积神经网络具有固定感受野，很难获取遥感图像中不同尺度地物特征，进而影响遥感图像场景分类的精度。因此，本文提出了一种弱监督尺度自适应增强网络，该网络通过弱监督方式提升卷积特征对于不同尺度地物的表达能力。通过消融实验验证了本文提出的尺度生成模块和尺度融合模块的有效性，通过场景尺度变化分析验证了本文方法对于场景尺度变化具有一定的学习能力和适应能力。本文在RSSCN7、AID和NWPU三个数据集上的实验结果证明了提出模型性能优于其他解决尺度效应问题的遥感场景分类方法。本文方法相比多尺度池化和多尺度特征融合方法泛化能力更强，并且无需针对特定数据集做大量尺度探索实验。 本文提出的方法对于尺度不敏感地物和依赖于细节特征的场景类别效果不理想。在未来研究中，我们将探讨在提取多尺度特征的同时融合图像注意力机制进一步提升模型表达能力。 参考文献 （References） Alhichri H , Alajlan N , Bazi Y and Rabczuk T . 2018 . Multi-scale convolutional neural network for remote sensing scene classification // Proceedings of the 2018 IEEE International Conference on Electro/Information Technology (EIT) . Rochester, USA : IEEE: 1 - 5 [ DOI: 10.1109/EIT.2018.8500107 http://dx.doi.org/10.1109/EIT.2018.8500107 ] Multi-scale convolutional neural network for remote sensing scene classification Cao R , Fang L , Lu T and He N . 2021 . Self-attention-based deep feature fusion for remote sensing scene classification . IEEE Geoscience and Remote Sensing Letters , 18 ( 1 ): 43 - 47 [ DOI: 10.1109/LGRS.2020.2968550 http://dx.doi.org/10.1109/LGRS.2020.2968550 ] Self-attention-based deep feature fusion for remote sensing scene classification Chen L , Yang W , Xu K and Xu T . 2011 . Evaluation of local features for scene classification using VHR satellite images // Proceedings of 2011 Joint Urban Remote Sensing Event . Munich, Germany : IEEE: 385 - 388 [ DOI: 10.1109/JURSE.2011.5764800 http://dx.doi.org/10.1109/JURSE.2011.5764800 ] Evaluation of local features for scene classification using VHR satellite images Chen W , Li X , He H and Wang L . 2018 . Assessing different feature sets’effects on land cover classification in complex surface-mined landscapes by ZiYuan-3 satellite imagery . Remote Sensing , 10 ( 1 ): 23 [ DOI: 10.3390/rs10010023 http://dx.doi.org/10.3390/rs10010023 ] Assessing different feature sets’effects on land cover classification in complex surface-mined landscapes by ZiYuan-3 satellite imagery Chen Y , Ming D and Lv X . 2019 . Superpixel based land cover classification of VHR satellite image combining multi-scale CNN and scale parameter estimation . Earth Science Informatics , 12 ( 3 ): 341 - 363 [ DOI: 10.1007/s12145-019-00383-2 http://dx.doi.org/10.1007/s12145-019-00383-2 ] Superpixel based land cover classification of VHR satellite image combining multi-scale CNN and scale parameter estimation Cheng G , Guo L , Zhao T , Han J , Li H and Fang J . 2013 . Automatic landslide detection from remote-sensing imagery using a scene classification method based on BoVW and pLSA . International Journal of Remote Sensing , 34 ( 1 ): 45 - 59 [ DOI: 10.1080/01431161.2012.705443 http://dx.doi.org/10.1080/01431161.2012.705443 ] Automatic landslide detection from remote-sensing imagery using a scene classification method based on BoVW and pLSA Cheng G , Han J and Lu X . 2017 . Remote sensing image scene classification: Benchmark and state of the art . Proceedings of the IEEE , 105 ( 10 ): 1865 - 1883 [ DOI: 10.1109/JPROC.2017.2675998 http://dx.doi.org/10.1109/JPROC.2017.2675998 ] Remote sensing image scene classification: Benchmark and state of the art Gao Y , Shi J , Li J and Wang R . 2020 . Remote sensing scene classification with dual attention-aware network // Proceedings of the 2020 IEEE 5th International Conference on Image, Vision and Computing (ICIVC) . Beijing, China : IEEE: 171 - 175 [ DOI: 10.1109/ICIVC50857.2020.9177460 http://dx.doi.org/10.1109/ICIVC50857.2020.9177460 ] Remote sensing scene classification with dual attention-aware network Gu Y , Wang Y and Li Y . 2019 . A survey on deep learning-driven remote sensing image scene understanding: Scene classification, scene retrieval and scene-guided object detection . Applied Sciences , 9 ( 10 ): 2110 [ DOI: 10.3390/app9102110 http://dx.doi.org/10.3390/app9102110 ] A survey on deep learning-driven remote sensing image scene understanding: Scene classification, scene retrieval and scene-guided object detection Han X , Zhong Y , Cao L and Zhang L . 2017 . Pre-trained alexnet architecture with pyramid pooling and supervision for high spatial resolution remote sensing image scene classification . Remote Sensing , 9 ( 8 ): 848 [ DOI: 10.3390/rs9080848 http://dx.doi.org/10.3390/rs9080848 ] Pre-trained alexnet architecture with pyramid pooling and supervision for high spatial resolution remote sensing image scene classification He K , Zhang X , Ren S and Sun J . 2016 . Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition . Las Vegas, NV, USA : IEEE: 770 – 778 Deep residual learning for image recognition He N , Fang L , Li S , Plaza J and Plaza A . 2019 . Skip-connected covariance network for remote sensing scene classification . IEEE transactions on neural networks and learning systems , 31 ( 5 ): 1461 - 1474 [ DOI: 10.1109/TNNLS.2019.2920374 http://dx.doi.org/10.1109/TNNLS.2019.2920374 ] Skip-connected covariance network for remote sensing scene classification Kingma D P and Ba J . 2014 . Adam: A method for stochastic optimization . Adam: A method for stochastic optimization Längkvist M , Kiselev A , Alirezaie M and Loutfi A . 2016 . Classification and segmentation of satellite orthoimagery using convolutional neural networks . Remote Sensing , 8 ( 4 ): 329 [ DOI: 10.3390/rs8040329 http://dx.doi.org/10.3390/rs8040329 ] Classification and segmentation of satellite orthoimagery using convolutional neural networks Liu Q , Hang R , Song H , Zhu F , Plaza J and Plaza A . 2016 . Adaptive deep pyramid matching for remote sensing scene classification . Adaptive deep pyramid matching for remote sensing scene classification Liu Y , Liu Y and Ding L . 2017 . Scene classification based on two-stage deep feature fusion . IEEE Geoscience and Remote Sensing Letters , 15 ( 2 ): 183 - 186 [ DOI: 10.1109/LGRS.2017.2779469 http://dx.doi.org/10.1109/LGRS.2017.2779469 ] Scene classification based on two-stage deep feature fusion Luo B , Jiang S and Zhang L . 2013 . Indexing of remote sensing images with different resolutions by multiple features . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 6 ( 4 ): 1899 - 1912 [ DOI: 10.1109/JSTARS.2012.2228254 http://dx.doi.org/10.1109/JSTARS.2012.2228254 ] Indexing of remote sensing images with different resolutions by multiple features Lv Z , Li X , Zhang B , Wang W , Zhu Y , Hu J and Feng S . 2016 . Managing big city information based on WebVRGIS . IEEE access , 4 : 407 - 415 [ DOI: 10.1109/ACCESS.2016.2517076 http://dx.doi.org/10.1109/ACCESS.2016.2517076 ] Managing big city information based on WebVRGIS Ma X Y , Wang L M , Qi K L and Zheng G Z . 2021 . Remote Sensing Image Scene Classification Method Based on Multi-Scale Cyclic Attention Network . Earth Science , 46 ( 10 ): 3740 - 3752 Remote Sensing Image Scene Classification Method Based on Multi-Scale Cyclic Attention Network 马欣悦 , 王梨名 , 祁昆仑 , 郑贵洲 . 2021 . 基于多尺度循环注意力网络的遥感影像场景分类方法 . 地球科学 , 46 ( 10 ): 3740 - 3752 [ DOI: 10.3799/dqkx.2020.365 http://dx.doi.org/10.3799/dqkx.2020.365 ] 基于多尺度循环注意力网络的遥感影像场景分类方法 Martha T R , Kerle N , Van Westen C J , Jetten V and Kumar K V . 2011 . Segment optimization and data-driven thresholding for knowledge-based landslide detection by object-based image analysis . IEEE transactions on geoscience and remote sensing , 49 ( 12 ): 4928 - 4943 [ DOI: 10.1109/TGRS.2011.2151866 http://dx.doi.org/10.1109/TGRS.2011.2151866 ] Segment optimization and data-driven thresholding for knowledge-based landslide detection by object-based image analysis Qi K , Yang C , Guan Q , Wu H and Gong J . 2017 . A multiscale deeply described correlatons-based model for land-use scene classification . Remote Sensing , 9 ( 9 ): 917 [ DOI: 10.3390/rs9090917 http://dx.doi.org/10.3390/rs9090917 ] A multiscale deeply described correlatons-based model for land-use scene classification Qi K , Yang C , Hu C , Zhai H , Guan Q and Shen S . 2021 . A multi-level improved circle pooling for scene classification of high-resolution remote sensing imagery . Neurocomputing , 462 : 506 - 522 [ DOI: 10.1016/j.neucom.2021.08.022 http://dx.doi.org/10.1016/j.neucom.2021.08.022 ] A multi-level improved circle pooling for scene classification of high-resolution remote sensing imagery Qian X L , Li J , Cheng G , Yao X W , Zhao S N , Chen Y B and Jiang L Y . 2018 . Evaluation of the effect of feature extraction strategy on the performance of high-resolution remote sensing image scene classification . Journal of Remote Sensing , 22 ( 5 ): 758 – 776 Evaluation of the effect of feature extraction strategy on the performance of high-resolution remote sensing image scene classification 钱晓亮 , 李佳 , 程塨 , 姚西文 , 赵素娜 , 陈宜滨 , 姜利英 . 2018 . 特征提取策略对高分辨率遥感图像场景分类性能影响的评估 . 遥感学报 , 22 ( 5 ): 758 – 776 [ DOI: 10.11834/jrs.20188015 http://dx.doi.org/10.11834/jrs.20188015 ] 特征提取策略对高分辨率遥感图像场景分类性能影响的评估 Shi H H , Xu Y N , Teng W X , Wang N . 2021 . Scene classification of high resolution remote sensing imagery based on deep transfer deformable convolution neural networks . Acta Geodaetica et Cartographica Sinica . 50 ( 05 ): 652 - 663 Scene classification of high resolution remote sensing imagery based on deep transfer deformable convolution neural networks 施慧慧 , 徐雁南 , 滕文秀 , 王妮 . 2021 . 高分辨率遥感影像深度迁移可变形卷积的场景分类法 . 测绘学报 , 50 ( 05 ): 652 - 663 [ DOI: 10.11947/j.AGCS.2021.20200190 http://dx.doi.org/10.11947/j.AGCS.2021.20200190 ] 高分辨率遥感影像深度迁移可变形卷积的场景分类法 Simonyan K and Zisserman A . 2015 . Very deep convolutional networks for large-scale image recognition // Proceedings of the International Conference on Learning Representations . San Diego, CA, USA : IEEE: 7 – 9 Very deep convolutional networks for large-scale image recognition Sun X , Zhu Q and Qin Q . 2021 . A multi-level convolution pyramid semantic fusion framework for high-resolution remote sensing image scene classification and annotation . IEEE Access , 9 : 18195 - 18208 [ DOI: 10.1109/ACCESS.2021.3052977 http://dx.doi.org/10.1109/ACCESS.2021.3052977 ] A multi-level convolution pyramid semantic fusion framework for high-resolution remote sensing image scene classification and annotation Wu H , Liu B , Su W , Zhang W and Sun J . 2016 . Deep filter banks for land-use scene classification . IEEE Geoscience and Remote Sensing Letters , 13 ( 12 ): 1895 - 1899 [ DOI: 10.1109/LGRS.2016.2616440 http://dx.doi.org/10.1109/LGRS.2016.2616440 ] Deep filter banks for land-use scene classification Xia G S , Hu J , Hu F , Shi B , Bai X , Zhong Y and Lu X . 2017 . AID: A benchmark data set for performance evaluation of aerial scene classification . IEEE Transactions on Geoscience and Remote Sensing , 55 ( 7 ): 3965 - 3981 [ DOI: 10.1109/TGRS.2017.2685945 http://dx.doi.org/10.1109/TGRS.2017.2685945 ] AID: A benchmark data set for performance evaluation of aerial scene classification Yang Y and N Shawn . 2008 . Comparing sift descriptors and gabor texture features for classification of remote sensed imagery // Proceedings of the 15th IEEE International Conference on Image Processing . San Diego, California, USA : IEEE: 1852 – 1855 [ DOI: 10.1109/ICIP.2008.4712139 http://dx.doi.org/10.1109/ICIP.2008.4712139 ] Comparing sift descriptors and gabor texture features for classification of remote sensed imagery Yang Y and N Shawn . 2010 . Bag-of-visual-words and spatial extensions for land-use classification // Proceedings of the 18th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems . San Jose, California, USA : IEEE: 270 – 279 [ DOI: 10.1145/1869790.1869829 http://dx.doi.org/10.1145/1869790.1869829 ] Bag-of-visual-words and spatial extensions for land-use classification Yao Y Q ， Cheng G ， Xie X X and Han J W . 2021 . Optical remote sensing image object detection based on multiresolution feature fusion . National Remote Sensing Bulletin ， 25 （ 5 ）： 1124 - 1137 Optical remote sensing image object detection based on multiresolution feature fusion 姚艳清 ， 程塨 ， 谢星星 ， 韩军伟 . 2021 . 多分辨率特征融合的光学遥感图像目标检测 . 遥感学报 ， 25 （ 5 ）： 1124 - 1137 ［ DOI： 10.11834/jrs.20210505 http://dx.doi.org/10.11834/jrs.20210505 ］ 多分辨率特征融合的光学遥感图像目标检测 Yu D H , Zhang B M , Zhao C , Guo H T and L J . 2020 . Scene classification of remote sensing image using ensemble convolutional neural network . Journal of Remote Sensing（Chinese） ， 24 （ 6 ）： 717 - 727 . Scene classification of remote sensing image using ensemble convolutional neural network 余东行 ， 张保明 ， 赵传 ， 郭海涛 ， 卢俊 . 2020 . 联合卷积神经网络与集成学习的遥感影像场景分类 . 遥感学报 ， 24 （ 6 ）： 717 - 727 ［ DOI： 10.11834/jrs. 20208273 http://dx.doi.org/10.11834/jrs.20208273 ］ 联合卷积神经网络与集成学习的遥感影像场景分类 Yu Y , Li X and Liu F . 2020 . Attention GANs: Unsupervised deep feature learning for aerial scene classification . IEEE Transactions on Geoscience and Remote Sensing , 58 ( 1 ): 519 – 531 [ DOI: 10.1109/TGRS.2019.2937830 http://dx.doi.org/10.1109/TGRS.2019.2937830 ] Attention GANs: Unsupervised deep feature learning for aerial scene classification Zan L Y , Li B P , Lu K X , Chen Z C and Zhang B . 2021 . Intelligent detection of chemical plant based on poly FPN neural network model . National Remote Sensing Bulletin. （昝露洋, 李柏鹏, 卢凯旋, 陈正超, 张兵 . 2021. 基于Poly-FPN神经网络模型的化工厂智能检测. 遥感学报）[DOI: 10.11834/jrs.20210005] Intelligent detection of chemical plant based on poly FPN neural network model Zeng D , Chen S , Chen B and Li S . 2018 . Improving remote sensing scene classification by integrating global-context and local-object features . Remote Sensing , 10 ( 5 ): 734 [ DOI: 10.3390/rs10050734 http://dx.doi.org/10.3390/rs10050734 ] Improving remote sensing scene classification by integrating global-context and local-object features Zhang S Y . 2020 . High-Resolution remote sensing image land cover classification based on deep learning and Multi-Scale and Multi-Feature fusion . Zhejiang University. (张书瑜 . 2020. 基于深度学习和多尺度多特征融合的高分辨率遥感地表覆盖分类研究. 浙江大学) High-Resolution remote sensing image land cover classification based on deep learning and Multi-Scale and Multi-Feature fusion Zhang J , Zhang M , Shi L , Yan W and Pan B . 2019 . A multi-scale approach for remote sensing scene classification based on feature maps selection and region representation . Remote Sensing , 11 ( 21 ): 2504 [ DOI: 10.3390/rs11212504 http://dx.doi.org/10.3390/rs11212504 ] A multi-scale approach for remote sensing scene classification based on feature maps selection and region representation Zhao L , Tang P and Huo L . 2016 . Feature significance-based multibag-of-visual-words model for remote sensing image scene classification . Journal of Applied Remote Sensing , 10 ( 3 ): 035004 [ DOI: 10.1117/1.JRS.10.035004 http://dx.doi.org/10.1117/1.JRS.10.035004 ] Feature significance-based multibag-of-visual-words model for remote sensing image scene classification Zhao W and Du S . 2016 . Learning multiscale and deep representations for classifying remotely sensed imagery . ISPRS Journal of Photogrammetry and Remote Sensing , 113 : 155 - 165 [ DOI: 10.1016/j.isprsjprs.2016.01.004 http://dx.doi.org/10.1016/j.isprsjprs.2016.01.004 ] Learning multiscale and deep representations for classifying remotely sensed imagery Zheng X , Yuan Y and Lu X . 2019 . A deep scene representation for aerial scene classification . IEEE Transactions on Geoscience and Remote Sensing , 57 ( 7 ): 4799 - 4809 [ DOI: 10.1109/TGRS.2019.2893115 http://dx.doi.org/10.1109/TGRS.2019.2893115 ] A deep scene representation for aerial scene classification Zheng Y . 2015 . Methodologies for cross-domain data fusion: An overview . IEEE transactions on big data , 1 ( 1 ): 16 - 34 [ DOI: 10.1109/TBDATA.2015.2465959 http://dx.doi.org/10.1109/TBDATA.2015.2465959 ] Methodologies for cross-domain data fusion: An overview Zhong Y , Zhu Q and Zhang L . 2015 . Scene classification based on the multifeature fusion probabilistic topic model for high spatial resolution remote sensing imagery . IEEE Transactions on Geoscience and Remote Sensing , 53 ( 11 ): 6207 - 6222 [ DOI: 10.1109/TGRS.2015.2435801 http://dx.doi.org/10.1109/TGRS.2015.2435801 ] Scene classification based on the multifeature fusion probabilistic topic model for high spatial resolution remote sensing imagery Zhu Q , Zhong Y , Zhao B , Xia G S and Zhang L . 2016 . Bag-of-visual-words scene classifier with local and global features for high spatial resolution remote sensing imagery . IEEE Geoscience and Remote Sensing Letters , 13 ( 6 ): 747 - 751 [ DOI: 10.1109/LGRS.2015.2513443 http://dx.doi.org/10.1109/LGRS.2015.2513443 ] Bag-of-visual-words scene classifier with local and global features for high spatial resolution remote sensing imagery Zhu Q Q , Li Z , Zhang Y N , Li J L , Du Y Q , Guan Q F and Li D R . 2021 . Global-Local-Aware conditional random fields based building extraction for high spatial resolution remote sensing images . National Remote Sensing Bulletin ， 25 （ 7 ）： 1422 - 1433 . Global-Local-Aware conditional random fields based building extraction for high spatial resolution remote sensing images 朱祺琪 ， 李真 ， 张亚男 ， 李佳伦 ， 杜禹强 ， 关庆锋 ， 李德仁 。 2021 。 全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取 . 遥感学报 ， 25 （ 7 ）： 1422 - 1433 ［ DOI： 10.11834/jrs.20210360 http://dx.doi.org/10.11834/jrs.20210360 ］ 全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取 Zou Q , Ni L , Zhang T and Wang Q . 2015 . Deep learning based feature selection for remote sensing scene classification . IEEE Geoscience and Remote Sensing Letters , 12 ( 11 ): 2321 - 2325 [ DOI: 10.1109/LGRS.2015.2475299 http://dx.doi.org/10.1109/LGRS.2015.2475299 ] Deep learning based feature selection for remote sensing scene classification 10.11834/jrs.20221481 TP75 王梨名，祁昆仑，杨超，吴华意.XXXX.弱监督尺度自适应增强的高分辨率遥感影像场景分类.遥感学报，XX（XX）： 1-19 王梨名，祁昆仑，杨超，吴华意.XXXX.弱监督尺度自适应增强的高分辨率遥感影像场景分类.遥感学报，XX（XX）： 1-19 Wang Liming，Qi Kunlun，Yang Chao，Wu Huayi. XXXX. Weakly-supervised scale adaptation data augmentation for high-resolution remote sensing image scene classification. National Remote Sensing Bulletin， XX（XX）：1-19 Wang Liming，Qi Kunlun，Yang Chao，Wu Huayi. XXXX. Weakly-supervised scale adaptation data augmentation for high-resolution remote sensing image scene classification. National Remote Sensing Bulletin， XX（XX）：1-19 湖北省科技厅重大专项（编号：2020AAA004） Supported by Supported by Hubei Key Research, and Development Program in China (No. 2020AAA004) 2022-03-04 遥感学报