基于CNN-GCN双流网络的高分辨率遥感影像场景分类

基于CNN-GCN双流网络的高分辨率遥感影像场景分类 CNN-GCN-based dual-stream network for scene classification of remote sensing images 1 first-author 邓培芳， 1997年生， 女， 硕士研究生， 研究方向为深度学习与遥感场景分类。E-mail： dpf19970528@gmail.com 邓培芳， 1997年生， 女， 硕士研究生， 研究方向为深度学习与遥感场景分类。E-mail： dpf19970528@gmail.com dpf19970528@gmail.com 1 1 2 corresp 黄鸿， 1980年生， 男， 教授， 研究方向为无人机遥感、遥感信息处理、流形学习、稀疏表示等。E-mail： hhuang@cqu.edu.cn 黄鸿， 1980年生， 男， 教授， 研究方向为无人机遥感、遥感信息处理、流形学习、稀疏表示等。E-mail： hhuang@cqu.edu.cn hhuang@cqu.edu.cn 重庆大学 光电技术及系统教育部重点实验室, 重庆 400044 重庆大学 光电技术及系统教育部重点实验室, 重庆 400044 Key Laboratory of Optoelectronic Technology and Systems of the Education Ministry of China,Chongqing University, Chongqing 400044, China Key Laboratory of Optoelectronic Technology and Systems of the Education Ministry of China,Chongqing University, Chongqing 400044, China 重庆大学 煤矿灾害动力学与控制国家重点实验室, 重庆 400044 重庆大学 煤矿灾害动力学与控制国家重点实验室, 重庆 400044 State Key Laboratory of Coal Mine Disaster Dynamics and Control,Chongqing University, Chongqing 400044, China State Key Laboratory of Coal Mine Disaster Dynamics and Control,Chongqing University, Chongqing 400044, China 高分辨率遥感影像具有复杂的几何结构和空间布局，传统的卷积神经网络的方法仅能提取场景图像中的全局特征，忽略了上下文的关系，导致特征的表达能力受限，制约了分类精度提高。针对此问题，本文提出一个面向高分辨率遥感影像场景分类的CNN-GCN双流网络，该算法包含CNN流和GCN流两个模块。CNN流基于预训练DenseNet-121网络提取高分影像的全局特征；而GCN流采用由预训练VGGNet-16网络得到的卷积特征图构建邻接图，再通过GCN模型提取高分影像的上下文特征。最后，通过加权级联的方式有效地融合全局特征和上下文特征并利用线性分类器实现分类。本文选取AID、RSSCN7和NWPU-RESISC45共3个具有挑战性的数据集进行实验，得到的最高分类精度分别是97.14%、95.46%和94.12%，结果表明本文算法能够有效地表征场景并取得具有竞争力的分类结果。 Scene classification is an important research topic, which aims at assigning a semantic label to a given image. High-Spatial-Resolution (HSR) images contain abundant information of ground objects, such as geometric structure and spatial layout. Complex HSR images are difficult to interpret effectively. Extracting discriminative features is the key step to improve classification accuracy. Various methods for constructing discriminative representations, including handcrafted feature-based methods and deep learning-based methods, have been proposed. The former methods focus on designing different handcrafted features via professional knowledge and describing a scene through single feature or multifeature fusion. However, for a complex scene, handcrafted features show limited discriminative and generalization capabilities. Deep learning-based methods, due to the powerful capability of feature extraction, have made incredible progress in the field of scene classification. Compared with the former methods, Convolutional Neural Networks (CNNs) can automatically extract deep features from massive HSR images. Nevertheless, CNNs merely focus on global information, which makes it fail to explore the context relationship of HSR images. Recently, Graph Convolutional Networks (GCNs) have become an important branch of deep learning, and they have been adopted to model spatial relations hidden in HSR images via graph structure. In this paper, a novel architecture termed CNN-GCN-based Dual-Stream Network (CGDSN) is proposed for scene classification. The CGDSN method contains two modules: CNN and GCN streams. For the CNN stream, the pretrained DenseNet-121 is employed as the backbone to extract the global features of HSR images. In the GCN stream, VGGNet-16 that is pretrained well on ImageNet is introduced to generate feature maps of the last convolutional layer. Then, an average pooling is organized for downsampling before the construction of an adjacency matrix. Given that every image is represented by a graph, a GCN model is developed to demonstrate context relationships. Two graph convolutional layers of the GCN stream are followed by a global average pooling layer and a Fully Connected (FC) layer to form the context features of HSR images. Lastly, to fuse global and context features adequately, a weighted concatenation layer is constructed to integrate them, and an FC layer is introduced to predict scene categories. The AID, RSSCN7, and NWPU-RESISC45 data sets are chosen to verify the effectiveness of the CGDSN method. Experimental results illustrate that the proposed CGDSN algorithm outperforms some state-of-the-art methods in terms of Overall Accuracies (OAs). On the AID data set, the OAs reach 95.62% and 97.14% under the training ratios of 20% and 50%, respectively. On the RSSCN7 data set, the classification result obtained by the CGDSN method is 95.46% with 50% training samples. For the NWPU-RESISC45 data set, the classification accuracies achieved via the CGDSN method are 91.86% and 94.12% under the training ratios of 10% and 20%, respectively. The proposed CGDSN method can extract discriminative features and achieve competitive accuracies for scene classification. 高分辨率影像 遥感场景分类 图神经网络 卷积神经网络 特征融合 high-resolution image remote sensing scene classification graph neural network convolutional neural network feature fusion 1　引言 1 随着对地观测系统的逐步构建与完善，遥感数据的来源得到极大丰富（ 张兵，2018 张兵，2018 ； 孙伟伟 等，2020 孙伟伟 等，2020 ）。目前，海量的遥感影像被广泛应用于城市规划、土地利用、目标检测、农业规划等领域（ Zhang等，2018 Zhang等，2018 ； 张立福 等，2019 张立福 等，2019 ）。高分辨率遥感影像蕴含丰富的地物几何结构和空间布局信息，因此如何有效表达和解译高分影像逐步成为热点课题（ Zhang等，2015 Zhang等，2015 ； Cheng等，2017 Cheng等，2017 ）。场景分类作为高分影像解译的重要组成部分，旨在为每一幅场景图像分配固定的语义标签。 提取具有鉴别力的特征是场景分类的关键环节，现存的方法主要可分为两类：基于手工设计特征的方法和基于深度学习的方法（ 杨州 等，2018 杨州 等，2018 ； 余东行 等，2020 余东行 等，2020 ）。早期的研究多数是基于手工特征的方法，研究者利用专业知识针对特定的任务设计特定的描述子，包括颜色特征、纹理特征等。虽然利用单一特征或者多种特征融合（ 黄鸿 等，2020 黄鸿 等，2020 ）能够在简单场景的分类中取得不错的分类结果，但由于低阶特征的表达能力有限，对于不同场景的泛化能力较差，因此在复杂场景中的分类精度仍然较低。 深度学习能够从海量数据中逐步提取深度特征，近年来在模式识别领域取得巨大成功。针对于场景分类，卷积神经网络CNN（Convolutional Neural Network）作为最具代表性的深度模型，已经被研究学者广泛采用并应用于高分遥感影像场景分类任务中，且取得了明显的精度提升效果（ Chaib等，2017 Chaib等，2017 ）。 Zhu等（2018） Zhu等（2018） 构建的自适应深度稀疏语义模型ADSSM（Adaptive Deep Sparse Semantic Modeling）通过结合稀疏主题模型和卷积神经网络来有效地描述高分场景。 Lu等（2019） Lu等（2019） 所提出的特征聚合卷积神经网络FACNN（Feature Aggregation CNN）将卷积特征编码模块嵌入CNN模型以实现特征学习、聚合、分类一体化，充分利用标签信息，进而提高分类精度。Xu等（2020）设计了双流特征聚合深度神经网络TFADNN（Two-stream Feature Aggregation Deep Neural Network），通过融合鉴别特征和通用特征，进一步提高特征的鉴别能力。 He等（2020） He等（2020） 提出的跳跃连接协方差网络SCCov（Skip-connected Covariance）将跳跃连接和协方差池化引入CNN网络以融合多分辨率特征图并充分挖掘其中的二阶信息。虽然上述方法已经取得较好的分类结果，但是均未考虑利用高分辨率遥感影像中存在的地物空间模式以提取上下文特征。 作为一种全新的数据表达方式，图能够捕捉并描述数据间的复杂关系，并被应用于各类遥感影像的分析任务中。 Kang等（2021） Kang等（2021） 设计了面向多标签遥感图像分类和检索任务的图关系网络GRN（Graph Relation Network），在学习嵌入空间时有效地保持复杂多标签遥感图像之间的语义关系。 Hong等（2021） Hong等（2021） 构建了一个端到端的融合网络FuNet（Fusion Network），通过不同的策略融合miniGCN流提取的样本关系特征和CNN流提取的空谱特征，增强特征的多样性，进一步提升高光谱图像分类的精度。针对于遥感场景分类任务， Wang等（2018） Wang等（2018） 利用自适应图嵌入学习潜在关系框架LRAGE（Learning Latent Relationships with Adaptive Graph Embedding），将自适应图嵌入到特征和标签的约束联合空间中，有效地描述场景图像之间的潜在关系，提高场景分类精度。但是，随着高分辨率遥感数据的急剧增长，传统图学习无法捕获日益复杂的数据结构关系，研究者逐步将图卷积神经网络GCN（Graph Convolutional Network）引入场景分类。由于每幅场景地物的空间分布各不相同，利用GCN能够提取并学习场景的上下文关系。 Liang等（2020） Liang等（2020） 联合CNN提取的全局视觉特征和GCN提取的目标位置特征，进一步提升了场景分类精度。但是该算法中，邻接图节点的获取依赖于额外数据集（DOTA数据集）训练的目标检测模型进行检测，且需要提前定义直升机、飞机、桥梁等地物目标类别，使得模型的可扩展性受限。此外，最终分类模型的精度还受到目标检测模型性能的影响。 针对上述问题，本文设计了一个端到端的CNN-GCN双流网络CGDSN（CNN-GCN based dual stream network）应用于高空间分辨率遥感影像场景分类。该算法由CNN流和GCN流组成，分别用于提取全局特征和上下文特征。CNN流的网络框架是基于DenseNet-121模型；GCN流则是利用GCN模型聚合邻接图中的节点信息，进而学习到上下文关系。本文选用3个具有挑战性的公开数据集（AID、RSSCN7和NWPU-RESISC45）展开实验，均取得了具有竞争力的结果。这说明CGDSN算法能充分地挖掘并融合高分影像中的全局信息和上下文信息，形成更具鉴别力的特征表达。 2　CNN-GCN双流网络 1 尽管传统的CNN的算法已经取得不错的分类效果，但是未能充分挖掘高分辨率遥感影像蕴含的地物几何结构以及空间分布信息。因此，本文所提算法聚焦于结合场景图像的全局信息和上下文信息，算法的整体框架如 图1 图1 所示。CGDSN算法包括两个模块：CNN流和GCN流。CNN流基于DenseNet-121模型构建，用于获取全局特征；GCN流基于预训练VGGNet-16的卷积特征图构造邻接图，并通过GCN网络提取场景图像的上下文特征。 2.1　CNN流 2 卷积神经网络利用层级结构，能够很好地提取遥感图像的全局特征来表达抽象语义信息，因而CGDSN算法基于CNN模型设计了CNN流。目前，各种CNN模型被不断开发和改进，比如VGGNet、ResNet、DenseNet等，并一直活跃于机器学习领域。本文所提网络中的CNN流具有很强的普适性，各种CNN模型均可适用。由于DenseNet是在遥感数据上表现较好的模型之一，因而本文所提算法中的CNN流将DenseNet-121作为主干网络展开实验。 借鉴ResNet的构造思想，DenseNet引入密集连接机制，进一步缓解了梯度消失的问题并提高了特征的利用率（ Huang等，2017 Huang等，2017 ）。DenseNet-121中的连接模式使得前面所有层提取的高分场景特征均可有效地传递到后续层，仅需较少的参数就能提取更多的复杂全局特征，可以更准确、高效地训练模型。如 图2 图2 所示，DenseNet-121包含4个Dense Block，每个Dense Block包含多组1×1和3×3卷积，且每两个Dense Block之间都有一个用于降低特征图尺寸的转化层（Transition Layer）。因此，第 l +1层的输出特征图 f l +1 是基于前面所有层的特征图（即 f 0 ，…， f l ），可表示为 <math display="block" id="M1"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="normal">H</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><mtext>  </mtext><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext>  </mtext><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213507&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213505&type= 39.53932953 5.92666674 式中，［ f 0 ， f 1 ，…， f l ］表示第0，1，…， l 层输出的特征图按通道维度级联； <math id="M2"><msub><mrow><mi mathvariant="normal">H</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213514&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213512&type= 10.92199993 4.57200003 表示一种非线性转化，比如卷积操作、池化操作、批正则化等。 由 图2 图2 可知，在CNN流的末端引入了一个全局平均池化GAP（Global Average Pooling）层和两个全连接FC（Fully Connected）层，分别用于处理最后一个Dense Block输出的特征图和增加模型的非线性，最终由CNN流提取到维度为1024的全局特征 F CNN <math id="M3"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213550&type= 2.03200006 2.62466669 R 1024 。 2.2　GCN流 2 虽然CNN流利用预训练DenseNet-121网络提取了全局特征，但是未能捕捉高分影像中的空间结构信息。鉴于图能够描述复杂的数据关系，本文通过图表达单张场景的内蕴结构，以此捕获场景中复杂地物之间蕴含的上下文关系。基于此，CGDSN算法中设计了GCN流，引入GCN使得各个节点间的信息在图中传递，进而学习图中各节点间的邻接信息，以挖掘场景上下文关系，其结构如 图3 图3 所示。由 图3 图3 可知，GCN流利用预训练VGGNet-16模型的最后一个卷积层得到特征图，再通过平均池化下采样，输出大小为14×14×512的特征图 F VGG ，并以此为基础构造邻接图 G （ V ， E ， A ）。 假定特征图 F VGG 每一个局部特征 x i <math id="M4"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213620&type= 2.03200006 2.62466669 R 512 作为邻接图 G （ V ， E ， A ）的一个节点，因此所有的局部特征组成邻接图 G （ V ， E ， A ）中的节点集合 V <math id="M5"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213620&type= 2.03200006 2.62466669 R n ×512 。在邻接图 G （ V ， E ， A ）中，特征图 F VGG 上的任意两个局部特征 x i 和 x j 是通过边连接的，而所有节点之间的相互连接是通过邻接矩阵 A <math id="M6"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213550&type= 2.03200006 2.62466669 R n × n 定义的，用以计算局部特征之间的欧氏距离。对于边集和 E ，当 x i 是 x j 的近邻或者 x j 是 x i 的近邻时， x i 和 x j 之间存在边，且邻接矩阵 A <math id="M7"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213550&type= 2.03200006 2.62466669 R n × n 中边的权重 a ij 计算公式如下 <math display="block" id="M8"><msub><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi mathvariant="bold">N</mi></mrow><mrow><mi>k</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced><mtext> </mtext><mi mathvariant="normal">或</mi><mtext> </mtext><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>∈</mo><msub><mrow><mi mathvariant="bold">N</mi></mrow><mrow><mi>k</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">否</mi><mi mathvariant="normal">则</mi></mtd></mtr></mtable></mrow></mfenced><mtext> </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213560&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213557&type= 52.57799911 11.51466751 式中， <math id="M9"><msub><mrow><mi mathvariant="bold">N</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213562&type= 9.39799976 4.57200003 表示节点 x i 的 k 近邻（ k =10）。 在GCN流中，邻接图构造完成后，输入到GCN网络中学习高分场景图像的上下文关系，通过多层图卷积实现邻域高阶特征的聚合，具体的模型结构如 图3 图3 所示。由 图3 图3 可知，GCN流中包括两个图卷积层、一个GAP层以及一个FC层。在图卷积层（ Kipf和Welling，2017 Kipf和Welling，2017 ）中，为提高模型训练的稳定性，采用自连接的邻接矩阵 Ã ，表达式如下 <math display="block" id="M10"><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>=</mo><mi mathvariant="bold-italic">A</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213568&type= 15.57866764 4.48733330 式中， I n 代表单位阵。 图卷积层通过不断聚合邻接节点实现邻域关系的传递，且第 m 层的传导方程定义如下 <math display="block" id="M11"><msup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mfenced separators="|"><mrow><mi>m</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></msup><mo>=</mo><mi>σ</mi><mfenced separators="|"><mrow><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></msup><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></msup><msup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mfenced separators="|"><mrow><mi>m</mi></mrow></mfenced></mrow></msup><msup><mrow><mi mathvariant="bold-italic">ω</mi></mrow><mrow><mfenced separators="|"><mrow><mi>m</mi></mrow></mfenced></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213572&type= 42.75666428 8.80533314 式中， h （ m ） 和 h （ m +1） 分别表示第 m 层的输入和输出（ h （ 0 ） = V ）， ω （ m ） 表示训练的权重参数。 <math id="M12"><mi>σ</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213582&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213579&type= 6.43466663 3.47133350 表示激活函数，在本文所提算法中，选用收敛速度较快的 <math id="M13"><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213588&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213586&type= 12.53066730 3.47133350 。此外，为实现归一化，式中引入度矩阵 <math id="M14"><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213600&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213597&type= 2.62466669 3.38666677 ， <math id="M15"><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213600&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213597&type= 2.62466669 3.38666677 对角上的每一个元素的计算公式为 <math display="block" id="M16"><msub><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub><mo>=</mo><msub><mo>∑</mo><mrow><mi>j</mi></mrow></msub><mrow><msub><mrow><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213607&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213604&type= 16.84866714 5.07999992 在GCN流中，引入GAP层聚合所有节点特征，并通过FC层进一步压缩上下文特征，最终通过GCN流提取到维度大小为512的上下文特征 F GCN <math id="M17"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213620&type= 2.03200006 2.62466669 R 512 。 2.3　双流特征融合 2 在本文所提双流网络中，为了有效地融合CNN流提取的全局特征 F CNN <math id="M18"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213620&type= 2.03200006 2.62466669 R 1024 和GCN流提取的上下文特征 F GCN <math id="M19"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213620&type= 2.03200006 2.62466669 R 512 ，引入加权级联的融合策略。那么，融合后的特征 F fusion 可表示为 <math display="block" id="M20"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi></mrow></msub><mo>,</mo><mtext> </mtext><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213628&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22213625&type= 31.49600029 5.24933338 式中， α 表示权重系数，用于平衡双流的重要程度以及数量级的差异。 通过 式（6） 式（6） 得到双流网络的融合特征 F fusion 后，输入Softmax分类层，预测每一类的概率，进而为每一幅遥感场景图像赋予相应的语义标签。 3　实验分析与讨论 1 3.1　数据集 2 为充分地评估所提CGDSN框架的有效性，本文选取3个规模不一的遥感场景分类数据集（AID、RSSCN7及NWPU-RESISC45数据集）组织实验。 如 图4 图4 所示，RSSCN7数据集（ Zou等，2015 Zou等，2015 ）是由武汉大学于2015年提出并公开的数据集，共包含2800张遥感影像，每张影像大小为400×400，平均分为7个典型的场景类别：草地、田、工业区、河流湖泊、森林、住宅以及停车场，每个类别具有400张遥感影像，分别在4种不同尺度上采样（ 图4 图4 中按行从上到下采样比例依次为1∶700、1∶1300、1∶2600以及1∶5200），每种尺度100幅影像。该数据集的来源是谷歌地球，采集的场景图像涵盖不同季节、不同天气条件，且具有多尺度、多角度的特点。 如 图5 图5 所示，AID数据集（ Xia等，2017 Xia等，2017 ）是由武汉大学构建的大规模航拍数据集，共包含10000张遥感影像，每张影像大小为600×600，分为密集住宅区、停车场、游乐场、池塘、港口等30个场景类别。每个类别包括220—420张遥感影像，空间分辨率为0.5—8 m。该数据集影像来源于谷歌地球，由不同的远程成像传感器获得，涵盖不同的国家和地区，影像采集的时间和季节各不相同，因此增加了AID数据集的类内差异性。 如 图6 图6 所示，NWPU-RESISC45数据集（ Cheng等，2017 Cheng等，2017 ）是西北工业大学于2017年公开的大规模数据集，共包含31500张遥感影像，每张影像大小为256×256，平均分为机场、沙漠、云、河流、火车站、船只等45个场景类别，每个类别700张遥感影像。该数据集来源于谷歌地球，涵盖全球100多个国家和地区，且在空间分辨率、视角、目标姿态、光照等方面均具有较大差异。因此，该数据集具有类间相似性高、类内差异性大的特点。 3.2　实验设置 2 本文实验开展的硬件环境为：Windows10操作系统、i5-8500 CPU、GeForce RTX TM 2070 GPU以及32 GB内存。本文所提出的CGDSN算法由PyTorch框架实现，其中GCN流采用图神经网络公开库Pytorch Geometric（PYG）搭建。CNN流采用的预训练DenseNet-121网络模型通过torchvision下载，该模型参数是在ImageNet大规模数据集训练得到。GCN流的卷积特征图是由MatConvNet中的预训练VGGNet-16模型获取。 本文模型优化中，双流网络参数优化采用独立训练策略，即CNN流的训练过程中，冻结GCN流的网络参数，同时利用随机梯度下降不断更新CNN流参数直至模型收敛，而GCN流的训练是通过Adam优化器不断地训练模型。由于硬件条件的限制，实验中批次大小设为20。在模型训练前，CNN流和GCN流遥感影像大小分别重新调整至288×288和448×448，对于NWPU-RESISC45数据集而言，CNN流输入图像尺寸为原图大小（256×256）。此外，CNN流采用如下数据增强策略，包括：水平/垂直翻转、随机旋转、亮度变化、对比度变化、饱和度变化以及色度变化。 在CGDSN算法的验证实验中，采用总体分类精度OA（Overall Accuracy）和混淆矩阵作为性能评估指标。为了增加实验结果的可靠性，所有的实验均重复5次，且每次实验均按一定比例随机划分训练集和测试集。AID数据集选用20%和50%训练样本，RSSCN7数据集选用50%训练样本，NWPU-RESISC45数据集选用10%和20%训练样本。 3.3　参数分析 2 在本文的实验中，双流网络的特征融合系数 α 用于平衡CNN流和GCN流的重要程度，其值将对CGDSN模型的性能产生重要影响。因此，本小节组织实验在3个数据集上对融合系数 α 重点进行评估，并选取最佳参数值。 在AID数据集的实验中，随机选取10%的样本作为训练集，其余90%的样本作为测试集， α 取值区间设置为｛0.15，0.2，…，0.45，0.5｝，其结果如 图7（a） 图7（a） 所示。随着融合系数 α 的增加，CGDSN算法的分类精度呈现先上升后略有下降的趋势，当 α =0.3时取得最佳分类精度。对于RSSCN7数据集，随机选取20%的样本作为训练集进行实验， α 取值的变化范围为｛0.05，0.1，…，0.4，0.45｝，其结果如 图7（b） 图7（b） 所示。随着融合系数 α 的增加，CGDSN算法的分类精度呈现上升趋势，到达峰值后缓慢下降，当 α =0.35时取得最佳分类精度。 在NWPU-RESISC45数据集上，选用10%训练样本，且 α 取值区间设置为｛0.05，0.1，…，0.4，0.45｝，其结果如 图7（c） 图7（c） 所示。融合系数 α 不断增加，分类精度随之提高，且逐步到达峰值，随后开始逐渐下降，其中峰值出现在 α 取值为0.25的时候。 随着融合系数 α 的变化，CGDSN算法的分类精度在3个数据集上的变化趋势一致，这是由于当融合系数 α 过小时，会损失较多的遥感影像中蕴含的上下文信息，影响分类精度；当融合系数 α 过大时，融合得到的影像全局信息减少，导致分类精度下降。综合考虑平衡CNN流和GCN流的重要程度以及所得特征数据的数量级差异，在本文后续的实验中分别选取 α =0.3、 α =0.35以及 α =0.25作为AID、RSSCN7以及NWPU-RESISC45数据集的融合系数。 1,2,3; 3.4　消融实验 2 在高分辨率遥感影像场景分类的相关研究中，使用预训练模型的FC层特征表达场景是一种常用的方法（ Xia等，2017 Xia等，2017 ），并且经常被当作场景分类方法对比的基准。在本文所提CGDSN算法中，GCN流中邻接图的构建是以预训练模型（VGGNet-16）为基础的。 为验证所提算法中GCN流的有效性，在本小节组织实验将其与FC层特征进行对比。在实验中，AID和RSSCN7数据集均分别选取20%和50%样本作为训练集，而NWPU-RESISC45数据集选取10%和20%的训练样本，其余的作为测试集。 图8 图8 为对比结果图， 图8 图8 中FC表示预训练VGGNet-16模型的FC层，网络和参数设置同文献（ Xia等，2017 Xia等，2017 ； Cheng等，2017 Cheng等，2017 ），而GCN流表示仅利用CGDSN算法的GCN流，在基于预训练VGGNet-16卷积特征图实现邻接图的构建后，引入两个GCN层，一个GAP层和一个FC层。从 图8 图8 中实验结果不难得知，GCN流的分类精度在各种实验条件下均优于FC层特征。对于NWPU-RESISC45数据集，在10%和20%训练样本下，GCN流的精度提升分别提高了2.56%和3.6%；对于AID数据集，GCN流在20%和50%训练样本下分别提高了2.1%和2.38%；对于RSSCN7数据集，GCN流的精度提升更加明显，在20%和50%训练样本下分别提高了4.96%和4.98%。这表明相较于直接使用FC层特征，GCN流通过预训练VGGNet-16卷积特征构造邻接图能够更有效地表征遥感场景，进而提高分类精度。 为进一步验证所提双流网络中CNN流和GCN流的有效性，本小节在3个数据集上分别展开详细的消融实验，研究CNN流和GCN流对CGDSN模型的分类精度产生的影响程度。实验中，AID和RSSCN7数据集均选取两种训练集与测试集的比例（10%∶90%和20%∶80%），而NWPU-RESISC45数据集则选取5%和10%的训练样本，在CNN流、GCN流以及CGDSN算法上进行比较。 图9 图9 为所提方法的消融实验结果，其中GCN流的含义和网络设置同 图8 图8 ，CNN流表示仅利用CGDSN算法的CNN流，具体框架是在DenseNet-121的基础上增加了一个GAP层和两个FC层，CGDSN即表示双流（GCN流和CNN流）融合网络。 由 图9 图9 可得，CNN流在3个数据集上均取得较好的分类精度，这是因为预训练DenseNet-121模型拥有强大的特征提取能力，能够充分地挖掘高分辨率遥感影像中的全局信息。同时，本文所提的CGDSN算法的分类精度要高于CNN流和GCN流，并且在3个数据集下均取得了最高的分类精度。相较于CNN流的分类结果，AID数据集和RSSCN7数据集在10%的训练样本下分别提高了1.11%和1.57%。这表明CGDSN算法能够有效地提取并融合高分辨率遥感影像中的全局信息和上下文信息，使得特征表达更加具有鉴别力，进一步提高场景分类的精度。 3.5　混淆矩阵结果分析 2 混淆矩阵作为场景分类领域常用的一种呈现算法性能的可视化手段，能够直观简明地衡量分类模型的混淆程度。由于NWPU-RESISC45数据集类别过多，本文仅在AID和RSSCN7数据集上分析CGDSN算法的错分情况。 在本文混淆矩阵中，对角线上的数值为所有正确的预测结果，剩余的数值皆为模型误判导致的错误的预测结果，并且矩阵的每一行表示真实类别，而矩阵的每一列表示模型的预测标签。 本文所提CGDSN算法在AID数据集上（20%训练样本）获得的混淆矩阵如 图10（a） 图10（a） 所示，在棒球场和山两种类别中，利用CGDSN算法得到的分类精度均达到100%，并且对于沙滩、农田、停车场、港口、稀疏住宅区、储罐以及高架桥等类别也表现出优异的分类性能，均达到98%以上。此外，对于度假村、广场、中心区等地物目标高度相似的易混淆场景，CGDSN算法亦取得较好的分类效果（80%以上）。这是由于CGDSN算法中GCN流通过构造邻接图，能够很好地聚合并学习遥感影像中地物目标的上下文关系，缓解AID数据集中由于类间相似性高产生的影响，进而实现分类精度的提升。 在RSSCN7数据集中，随机选取50%的样本作为训练数据，剩余的样本作为测试数据，得到如 图10（b） 图10（b） 所示的混淆矩阵。在混淆矩阵中，所有类别的分类精度均达到93%以上，其中森林类别的预测精度高达100%。为探明发生混淆的原因，针对混淆度高的类别（草地—田、工业区—停车场）分别给出两张预测错误的样本，更直观地呈现类别间的混淆情况。观察 图10（b） 图10（b） 中预测错误的样本可得，草地和田的地物几何结构相似，工业区和停车场的地物类型和空间模式相似，导致预测时容易发生混淆，但本文所提CGDSN算法的分类精度仍能达到93%。这说明所提双流网络模型能够有效利用遥感影像的全局信息和上下文信息，获得更具鉴别力的特征，进而能够适应多角度、多尺度的RSSCN7数据集，并取得较好的分类效果。 3.6　算法性能对比与讨论 2 为充分地验证本文算法在AID、RSSCN7和NWPU-RESISC45 3个数据集上的有效性，本小节将CGDSN算法与一些最新的场景分类算法进行比较，分别如 表1 表1 — 表3 表3 所示。需要说明的是，所有对比算法均采用了相同的实验条件。 注： 黑体为本文方法。 2 分类方法 2 训练比率 20% 50% VGG-VD-16（Xia等，2017） 86.59±0.29 89.64±0.36 ResNet-152（钱晓亮 等，2018） 89.13±0.91 92.19±0.37 Two-stage deep feature fusion（Liu等，2018） — 94.65±0.33 D-CNN with VGGNet-16（Cheng等，2018） 90.82±0.16 96.89±0.10 CTFCNN（Huang和Xu，2019） — 94.91±0.24 FACNN（Lu等，2019） — 95.45±0.11 MBCNet（张桐 等，2020） 93.40±0.13 95.56±0.29 TFADNN（Xu等，2020） 93.21±0.32 95.64±0.16 SCCov（He等，2020） 93.12±0.25 96.10±0.16 MF 2 Net（Xu等，2020） 93.82±0.26 95.93±0.23 Combined CNN and GCN（Liang等，2020） 94.93±0.31 96.89±0.10 Attention CNN + H-GCN（Gao等，2021） 93.06±0.26 95.78±0.37 CGDSN 95.62±0.20 97.14±0.19 注： 黑体为本文方法。 分类方法 训练比率50% VGG-VD-16（Xia等，2017） 87.18±0.94 Two-stage deep feature fusion（Liu等，2018） 92.37±0.72 Deep filter banks（Wu等，2016） 90.40±0.60 Hierarchical feature coding（Zhao等，2019） 91.20±0.73 TEX-Net-LF（VGG-M） （Anwer等，2018） 91.25±0.58 TEX-Net-LF（ResNet） （Anwer等，2018） 94.00±0.57 VGG19+WSPM-CRC（Liu等，2016） 91.31 Resnet + Hybrid-KCRC （linear） （Liu等，2016） 92.89 LCNN-BFF（Shi等，2020） 94.64±0.21 Attention CNN + H-GCN（Gao等，2021） 95.50±0.53 CGDSN 95.46±0.18 注： 黑体为本文方法。 2 分类方法 2 训练比率 10% 20% VGGNet-16（Cheng等，2017） 76.47±0.18 79.79±0.15 Fine-tuned VGGNet-16（Cheng等，2017） 87.15±0.45 90.36±0.18 ResNet-152（钱晓亮等，2018） — 85.45±0.56 D-CNN with VGGNet-16（Cheng等，2018） 89.22±0.50 91.89±0.22 ECNN（余东行等，2020） 87.21 89.93 TFADNN（Xu等，2020） 87.78±0.11 90.86±0.24 LCNN-BFF（Shi等，2020） 86.53±0.15 91.73±0.17 SCCov（He等，2020） 89.30±0.35 92.10±0.25 MF 2 Net（Xu等，2020） 90.17±0.25 92.73±0.21 Combined CNN and GCN（Liang等，2020） 90.75±0.21 92.87±0.13 Attention CNN + H-GCN（Gao等，2021） 91.39±0.19 93.62±0.28 CGDSN 91.86±0.11 94.12±0.11 表1 表1 中展示了一些最新的算法在AID数据集上的分类效果。VGG-VD-16（ Xia等，2017 Xia等，2017 ）和ResNet-152（ 钱晓亮 等，2018 钱晓亮 等，2018 ）均是作为方法比较的基准。Two-stage deep feature fusion（ Liu等，2018 Liu等，2018 ）融合多个CNN模型提取的深度特征以获取更具鉴别力的表达。D-CNN with VGGNet-16（ Cheng等，2018 Cheng等，2018 ）通过修改正则化项进一步提升模型的鉴别能力。TFADNN（Xu等，2020）结合鉴别特征流和通用特征流以提高模型的泛化能力。CTFCNN（ Huang和Xu，2019 Huang和Xu，2019 ）、SCCov（ He等，2020 He等，2020 ）、MBCNet（ 张桐 等，2020 张桐 等，2020 ）和MF 2 Net（Xu等，2020）提取多层特征并互补融合。Combined CNN和GCN（ Liang等，2020 Liang等，2020 ）同样是融合了基于CNN和GCN两个分支提取的特征，但是与本文所提方法中邻接图的构建方式不一样，且它依赖于额外数据集去训练目标检测模型。Attention CNN + H-GCN（ Gao等，2021 Gao等，2021 ）亦是联合CNN和GCN特征，与本文的不同之处在于图的构建是基于语义类别，且应用高阶图卷积神经研究场景类别之间的依赖关系。相较于上述的方法，本文所提CGDSN算法取得了最好的分类效果。在AID数据集上，总体分类精度在50%和20%训练样本下分别达到97.14%和95.62%。这是因为CGDSN算法有效地结合了CNN流学习的全局视觉特征以及GCN流学习的上下文特征，进一步提高了特征的鉴别能力。 1;2; RSSCN7数据集的图像具有多尺度、多角度的特点，比较具有挑战性，因此把它作为CGDSN算法性能评估的第2个数据集。在RSSCN7数据集上，各种算法的分类结果比较如 表2 表2 所示。VGG-VD-16（ Xia等，2017 Xia等，2017 ）是作为方法比较的基准，Hierarchical feature coding（ Zhao等，2019 Zhao等，2019 ）是基于特征编码的方法。VGG19+WSPM-CRC（Liu等，2016）和Resnet + Hybrid-KCRC（linear）（Liu等，2016）都是基于协作表达的方法。此外，Two-stage deep feature fusion（ Liu等，2018 Liu等，2018 ）、TEX-Net-LF（VGG-M）（ Anwer等，2018 Anwer等，2018 ）、TEX-Net-LF（ResNet）（ Anwer等，2018 Anwer等，2018 ）以及LCNN-BFF（ Shi等，2020 Shi等，2020 ）均是利用了多特征融合。Attention CNN + H-GCN（ Gao等，2021 Gao等，2021 ）是结合CNN特征和GCN特征的方法。由 表2 表2 可知，针对RSSCN7数据集，所提CGDSN算法在利用50%训练样本的情况下获得了分类精度95.46%。尽管最好的分类精度比所提算法略好（高0.04%），但是CGDSN算法在RSSCN7数据集上标准差更小，表现出更好的鲁棒性能。这说明本文所提算法能够很好地揭示高分场景图像丰富的几何结构和空间布局。 NWPU-RESISC45数据集是一个具有挑战性的大规模数据集，图像数量高达31500张，且类间相似性和类内差异性高，因此把它作为CGDSN算法性能评估的第3个数据集。 表3 表3 中列出各种算法在NWPU-RESISC45数据集上分类精度的比较结果。 VGGNet-16（ Cheng等，2017 Cheng等，2017 ）、Fine-tuned VGGNet-16（ Cheng等，2017 Cheng等，2017 ）以及ResNet-152（ 钱晓亮 等，2018 钱晓亮 等，2018 ）是作为方法比较的基准。D-CNN with VGGNet-16（ Cheng等，2018 Cheng等，2018 ）通过增加正则化项有效地缓解类间相似性及类内差异性高的问题，进一步提升分类性能。TFADNN（Xu等，2020）在预训练CNN提取的鉴别特征的基础上融入全局表达，进而提高分类精度。ECNN（ 余东行 等，2020 余东行 等，2020 ）则是利用多个CNN模型提取的深度特征。SCCov（ He等，2020 He等，2020 ）、LCNN-BFF（ Shi等，2020 Shi等，2020 ）和MF 2 Net（Xu等，2020）提取多层特征并互补融合。Combined CNN and GCN（ Liang等，2020 Liang等，2020 ）和Attention CNN + H-GCN（ Gao等，2021 Gao等，2021 ）是基于CNN和GCN的方法。由 表3 表3 可知，对于NWPU-RESISC45数据集，所提CGDSN算法在利用20%训练样本的情况下获得了最高的分类精度94.12%。这说明本文所提算法能够充分地挖掘场景的上下文关系，提高特征的鉴别能力。 鉴于大部分基于深度学习的场景分类方法均采用预训练模型（如ResNet，DenseNet等），因此为进一步评估CGDSN算法的时间代价，本文在RSSCN7数据集上对比不同模型的运行时间。其中，运行时间的含义是一个批次大小为20的样本量正向传播的时间，实验结果如 图11 图11 所示。 由 图11 图11 可得，随着网络模型深度的增加，正向传播所需的时间也不断增加。这是因为模型越深，结构越复杂，相同样本量下运行时间更长。如图所示，尽管本文所提CGDSN算法的运行时间高于Mobilenet_v2，ResNet-50等轻量网络，但相较于深度网络DenseNet-169的时间代价具有明显优势。这说明CGDSN算法在保证特征鉴别能力更好的情况下，仍具备一定的时间优势。此外，CGDSN算法中GCN流所用的时间远小于CNN流的DenseNet-121，这是由于本文所选用的GCN类型为快速GCN，计算速度更快。 图11 图11 中双流融合得到的CGDSN算法的时间代价相较于CNN流的DenseNet-121和GCN流略有提高，这表明算法结合全局特征和上下文特征以后，分类精度得到明显提高，但时间代价却没有过多增加。 3.7　模型的泛化能力分析 2 为全面地说明所提CGDSN算法的优越性，本小节对CGDSN算法的泛化能力进行分析。 本文所提双流模型中，CNN流的主干网络DenseNet-121和GCN流用于构建邻接图的VGGNet-16均是预训练网络，将在大规模自然图像数据集ImageNet上训练的模型迁移至高分辨率遥感场景图像。不同于自然图像，遥感图像大都拍摄自鸟瞰视角，且具有更为复杂的地物分布和空间布局信息。本文选用了3个特点迥异的高分场景数据集，RSSCN7数据集的特点是多尺度，多角度，AID数据集具有类间相似性高类内差异性大的特点，NWPU-RESISC45数据集不仅数据规模大，而且类内差异性大。尽管如此，本文CGDSN算法利用预训练模型在3个数据集上均取得了具有竞争力的结果，表现出较好的分类性能。由此可见，CGDSN算法能够很好地适应从自然图像迁移的预训练模型。 鉴于CGDSN算法较好的泛化性能，模型不仅可以应用于高分辨率遥感场景分类，亦可用于其他场景分类任务，如：Place365场景分类，交通场景分类等。未来的工作将围绕此展开，并在多个不同类型的真实场景数据开展实验，以进一步提高模型的可扩展性。 4　结论 1 传统的CNN算法仅能获得高分辨率遥感影像的全局表达，忽略了场景中存在的空间几何关系，无法获得具有高鉴别力的特征表达。鉴于此，本文提出一个面向高分辨率遥感影像的CNN-GCN双流网络。CGDSN算法包括两个组成部分，分别为CNN流和GCN流。CNN流将预训练DenseNet-121模型提取的特征作为高分场景的全局表达；GCN流中邻接图的构建基于预训练VGGNet-16的卷积特征图，再利用GCN模型学习高分影像蕴含的空间模式，以获取上下文特征。CGDSN算法有效地融合了上述的两种特征，相较于一些现有的算法，在场景分类精度上取得令人满意的结果。本文实验中，在AID、RSSCN7以及NWPU-RESISC45数据集利用CGDSN算法得到最高的分类精度分别是97.14%、95.46%以及94.12%。 由于该算法学习了高分辨率遥感影像的全局特征和上下文特征，未考虑关键区域的特征，因此下一步工作将引入注意力机制以提取关键区域特征，进一步提高特征的鉴别能力，从而提高场景分类的精度。 参考文献（References） Anwer R M , Khan F S , van de Weijer J , Molinier M and Laaksonen J . 2018 . Binary patterns encoded convolutional neural networks for texture recognition and remote sensing scene classification . ISPRS Journal of Photogrammetry and Remote Sensing , 138 : 74 - 85 [ DOI: 10.1016/j.isprsjprs.2018.01.023 http://dx.doi.org/10.1016/j.isprsjprs.2018.01.023 ] Binary patterns encoded convolutional neural networks for texture recognition and remote sensing scene classification Chaib S , Liu H , Gu Y F and Yao H X . 2017 . Deep feature fusion for VHR remote sensing scene classification . IEEE Transactions on Geoscience and Remote Sensing , 55 ( 8 ): 4775 - 4784 [ DOI: 10.1109/TGRS.2017.2700322 http://dx.doi.org/10.1109/TGRS.2017.2700322 ] Deep feature fusion for VHR remote sensing scene classification Cheng G , Han J W and Lu X Q . 2017 . Remote sensing image scene classification: benchmark and state of the art . Proceedings of the IEEE , 105 ( 10 ): 1865 - 1883 [ DOI: 10.1109/JPROC.2017.2675998 http://dx.doi.org/10.1109/JPROC.2017.2675998 ] Remote sensing image scene classification: benchmark and state of the art Cheng G , Yang C Y , Yao X W , Guo L and Han J W . 2018 . When deep learning meets metric learning: remote sensing image scene classification via learning discriminative CNNs . IEEE Transactions on Geoscience and Remote Sensing , 56 ( 5 ): 2811 - 2821 [ DOI: 10.1109/TGRS.2017.2783902 http://dx.doi.org/10.1109/TGRS.2017.2783902 ] When deep learning meets metric learning: remote sensing image scene classification via learning discriminative CNNs Gao Y , Shi J , Li J and Wang R Y . 2021 . Remote sensing scene classification based on high-order graph convolutional network . European Journal of Remote Sensing , 54 ( Sup1 ): 141 - 155 [ DOI: 10.1080/22797254.2020.1868273 http://dx.doi.org/10.1080/22797254.2020.1868273 ] Remote sensing scene classification based on high-order graph convolutional network He N J , Fang L Y , Li S T , Plaza J and Plaza A . 2020 . Skip-connected covariance network for remote sensing scene classification . IEEE Transactions on Neural Networks and Learning Systems , 31 ( 5 ): 1461 - 1474 [ DOI: 10.1109/TNNLS.2019.2920374 http://dx.doi.org/10.1109/TNNLS.2019.2920374 ] Skip-connected covariance network for remote sensing scene classification Hong D F , Gao L R , Yao J , Zhang B , Plaza A and Chanussot J . 2021 . Graph convolutional networks for hyperspectral image classification . IEEE Transactions on Geoscience and Remote Sensing , 59 ( 7 ): 5966 - 5978 [ DOI: 10.1109/TGRS.2020.3015157 http://dx.doi.org/10.1109/TGRS.2020.3015157 ] Graph convolutional networks for hyperspectral image classification Huang G , Liu Z , Van Der Maaten L and Weinberger K Q . 2017 . Densely connected convolutional networks // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : IEEE : 2261 - 2269 [ DOI: 10.1109/CVPR.2017.243 http://dx.doi.org/10.1109/CVPR.2017.243 ] Densely connected convolutional networks Huang H and Xu K J . 2019 . Combing triple-part features of convolutional neural networks for scene classification in remote sensing . Remote Sensing , 11 ( 14 ): 1687 [ DOI: 10.3390/rs11141687 http://dx.doi.org/10.3390/rs11141687 ] Combing triple-part features of convolutional neural networks for scene classification in remote sensing Huang H , Xu K J and Shi G Y . 2020 . Scene classification of high-resolution remote sensing image by multi-scale and multi-feature fusion . Acta Electronica Sinica , 48 ( 9 ): 1824 - 1833 Scene classification of high-resolution remote sensing image by multi-scale and multi-feature fusion 黄鸿 , 徐科杰 , 石光耀 . 2020 . 联合多尺度多特征的高分遥感图像场景分类 . 电子学报 , 48 ( 9 ): 1824- 1833 [ DOI: 10.3969/j.issn.0372-2112.2020.09.021 http://dx.doi.org/10.3969/j.issn.0372-2112.2020.09.021 ] 联合多尺度多特征的高分遥感图像场景分类 Kang J , Fernandez-Beltran R , Hong D F , Chanussot J and Plaza A . 2021 . Graph relation network: modeling relations between scenes for multilabel remote-sensing image classification and retrieval . IEEE Transactions on Geoscience and Remote Sensing , 59 ( 5 ): 4355 - 4369 [ DOI: 10.1109/TGRS.2020.3016020 http://dx.doi.org/10.1109/TGRS.2020.3016020 ] Graph relation network: modeling relations between scenes for multilabel remote-sensing image classification and retrieval Kipf T N and Welling M . 2017 . Semi-supervised classification with graph convolutional networks // Proceedings of 2017 International Conference on Learning Representations . Toulon, France : [s. n.] Semi-supervised classification with graph convolutional networks Liang J L , Deng Y F and Zeng D . 2020 . A deep neural network combined CNN and GCN for remote sensing scene classification . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 13 : 4325 - 4338 [ DOI: 10.1109/JSTARS.2020.3011333 http://dx.doi.org/10.1109/JSTARS.2020.3011333 ] A deep neural network combined CNN and GCN for remote sensing scene classification Liu B D , Meng J , Xie W Y , Shao S , Li Y and Wang Y J . 2019 . Weighted spatial pyramid matching collaborative representation for remote-sensing-image scene classification . Remote Sensing , 11 ( 5 ): 518 [ DOI: 10.3390/rs11050518 http://dx.doi.org/10.3390/rs11050518 ] Weighted spatial pyramid matching collaborative representation for remote-sensing-image scene classification Liu B D , Xie W Y , Meng J , Li Y and Wang Y J . 2018 . Hybrid collaborative representation for remote-sensing image scene classification . Remote Sensing , 10 ( 12 ): 1934 [ DOI: 10.3390/rs10121934 http://dx.doi.org/10.3390/rs10121934 ] Hybrid collaborative representation for remote-sensing image scene classification Lu X Q , Sun H and Zheng X T . 2019 . A feature aggregation convolutional neural network for remote sensing scene classification . IEEE Transactions on Geoscience and Remote Sensing , 57 ( 10 ): 7894 - 7906 [ DOI: 10.1109/TGRS.2019.2917161 http://dx.doi.org/10.1109/TGRS.2019.2917161 ] A feature aggregation convolutional neural network for remote sensing scene classification Qian X L , Li J , Cheng G , Yao X W , Zhao S N , Chen Y B and Jiang L Y . 2018 . Evaluation of the effect of feature extraction strategy on the performance of high-resolution remote sensing image scene classification . Journal of Remote Sensing , 22 ( 5 ): 758 - 776 Evaluation of the effect of feature extraction strategy on the performance of high-resolution remote sensing image scene classification 钱晓亮 , 李佳 , 程塨 , 姚西文 , 赵素娜 , 陈宜滨 , 姜利英 . 2018 . 特征提取策略对高分辨率遥感图像场景分类性能影响的评估 . 遥感学报 , 22 ( 5 ): 758- 776 [ DOI: 10.11834/jrs.20188015 http://dx.doi.org/10.11834/jrs.20188015 ] 特征提取策略对高分辨率遥感图像场景分类性能影响的评估 Shi C P , Wang T and Wang L G . 2020 . Branch feature fusion convolution network for remote sensing scene classification . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 13 : 5194 - 5210 [ DOI: 10.1109/JSTARS.2020.3018307 http://dx.doi.org/10.1109/JSTARS.2020.3018307 ] Branch feature fusion convolution network for remote sensing scene classification Sun W W , Yang G , Chen C , Chang M H , Huang K , Meng X Z and Liu L Y . 2020 . Development status and literature analysis of China’s earth observation remote sensing satellites . Journal of Remote Sensing , 24 ( 5 ): 479 - 510 Development status and literature analysis of China’s earth observation remote sensing satellites 孙伟伟 , 杨刚 , 陈超 , 常明会 , 黄可 , 孟祥珍 , 刘良云 . 2020 . 中国地球观测遥感卫星发展现状及文献分析 . 遥感学报 , 24 ( 5 ): 479- 510 [ DOI: 10.11834/jrs.20209464 http://dx.doi.org/10.11834/jrs.20209464 ] 中国地球观测遥感卫星发展现状及文献分析 Wang Y B , Zhang L Q , Tong X H , Nie F P , Huang H Y and Mei J . 2018 . LRAGE: learning latent relationships with adaptive graph embedding for aerial scene classification . IEEE Transactions on Geoscience and Remote Sensing , 56 ( 2 ): 621 - 634 [ DOI: 10.1109/LGRS.2017.2752217 http://dx.doi.org/10.1109/LGRS.2017.2752217 ] LRAGE: learning latent relationships with adaptive graph embedding for aerial scene classification Wu H , Liu B Z , Su W H , Zhang W C and Sun J G . 2016 . Deep filter banks for land-use scene classification . IEEE Geoscience and Remote Sensing Letters , 13 ( 12 ): 1895 - 1899 [ DOI: 10.1109/LGRS.2016.2616440 http://dx.doi.org/10.1109/LGRS.2016.2616440 ] Deep filter banks for land-use scene classification Xia G S , Hu J W , Hu F , Shi B G , Bai X , Zhong Y F , Zhang L P and Lu X Q . 2017 . AID: A benchmark data set for performance evaluation of aerial scene classification . IEEE Transactions on Geoscience and Remote Sensing , 55 ( 7 ): 3965 - 3981 [ DOI: 10.1109/TGRS.2017.2685945 http://dx.doi.org/10.1109/TGRS.2017.2685945 ] AID: A benchmark data set for performance evaluation of aerial scene classification Xu K J , Huang H , Deng P F and Shi G Y . 2020a . Two-stream feature aggregation deep neural network for scene classification of remote sensing images . Information Sciences , 539 : 250 - 268 [ DOI: 10.1016/j.ins.2020.06.011 http://dx.doi.org/10.1016/j.ins.2020.06.011 ] Two-stream feature aggregation deep neural network for scene classification of remote sensing images Xu K J , Huang H , Li Y and Shi G Y . 2020b . Multilayer feature fusion network for scene classification in remote sensing . IEEE Geoscience and Remote Sensing Letters , 17 ( 11 ): 1894 - 1898 [ DOI: 10.1109/LGRS.2019.2960026 http://dx.doi.org/10.1109/LGRS.2019.2960026 ] Multilayer feature fusion network for scene classification in remote sensing Yang Z , Mu X D , Wang S Y and Ma C H . 2018 . Scene classification of remote sensing images based on multiscale features fusion . Optics and Precision Engineering , 26 ( 12 ): 3099 - 3107 Scene classification of remote sensing images based on multiscale features fusion 杨州 , 慕晓冬 , 王舒洋 , 马晨晖 . 2018 . 基于多尺度特征融合的遥感图像场景分类 . 光学精密工程 , 26 ( 12 ): 3099- 3107 [ DOI: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099 ] 基于多尺度特征融合的遥感图像场景分类 Yu D H , Zhang B M , Zhao C , Guo H T and Lu J . 2020 . Scene classification of remote sensing image using ensemble convolutional neural network . Journal of Remote Sensing , 24 ( 6 ): 717 - 727 Scene classification of remote sensing image using ensemble convolutional neural network 余东行 , 张保明 , 赵传 , 郭海涛 , 卢俊 . 2020 . 联合卷积神经网络与集成学习的遥感影像场景分类 . 遥感学报 , 24 ( 6 ): 717- 727 [ DOI: 10.11834/jrs.20208273 http://dx.doi.org/10.11834/jrs.20208273 ] 联合卷积神经网络与集成学习的遥感影像场景分类 Zhang B . 2018 . Remotely sensed big data era and intelligent information extraction . Geomatics and Information Science of Wuhan University , 43 ( 12 ): 1861 - 1871 Remotely sensed big data era and intelligent information extraction 张兵 . 2018 . 遥感大数据时代与智能信息提取 . 武汉大学学报(信息科学版) , 43 ( 12 ): 1861- 1871 [ DOI: 10.13203/j.whugis20180172 http://dx.doi.org/10.13203/j.whugis20180172 ] 遥感大数据时代与智能信息提取 Zhang F , Du B and Zhang L P . 2015 . Saliency-guided unsupervised feature learning for scene classification . IEEE Transactions on Geoscience and Remote Sensing , 53 ( 4 ): 2175 - 2184 [ DOI: 10.1109/TGRS.2014.2357078 http://dx.doi.org/10.1109/TGRS.2014.2357078 ] Saliency-guided unsupervised feature learning for scene classification Zhang L F , Peng M Y , Sun X J , Cen Y and Tong Q X . 2019 . Progress and bibliometric analysis of remote sensing data fusion methods ( 1992-2018 ). Journal of Remote Sensing , 23 ( 4 ): 603 - 619 Progress and bibliometric analysis of remote sensing data fusion methods 张立福 , 彭明媛 , 孙雪剑 , 岑奕 , 童庆禧 . 2019 . 遥感数据融合研究进展与文献定量分析(1992—2018) . 遥感学报 , 23 ( 4 ): 603- 619 [ DOI: 10.11834/jrs.20199073 http://dx.doi.org/10.11834/jrs.20199073 ] 遥感数据融合研究进展与文献定量分析(1992—2018) Zhang L F , Zhang Q , Du B , Huang X , Tang Y Y and Tao D C . 2018 . Simultaneous spectral-spatial feature selection and extraction for hyperspectral images . IEEE Transactions on Cybernetics , 48 ( 1 ): 16 - 28 [ DOI: 10.1109/TCYB.2016.2605044 http://dx.doi.org/10.1109/TCYB.2016.2605044 ] Simultaneous spectral-spatial feature selection and extraction for hyperspectral images Zhang T , Zheng E R , Shen J G and Gao A T . 2020 . Remote sensing image scene classification based on deep multi-branch feature fusion network . Acta Photonica Sinica , 49 ( 5 ): 0510002 Remote sensing image scene classification based on deep multi-branch feature fusion network 张桐 , 郑恩让 , 沈钧戈 , 高安同 . 2020 . 基于深度多分支特征融合网络的光学遥感场景分类 . 光子学报 , 49 ( 5 ): 0510002 [ DOI: 10.3788/gzxb20204905.0510002 http://dx.doi.org/10.3788/gzxb20204905.0510002 ] 基于深度多分支特征融合网络的光学遥感场景分类 Zhao F A , Mu X D , Yang Z and Yi Z X . 2019 . Hierarchical feature coding model for high-resolution satellite scene classification . Journal of Applied Remote Sensing , 13 ( 1 ): 016520 [ DOI: 10.1117/1.JRS.13.016520 http://dx.doi.org/10.1117/1.JRS.13.016520 ] Hierarchical feature coding model for high-resolution satellite scene classification Zhu Q Q , Zhong Y F , Zhang L P and Li D R . 2018 . Adaptive deep sparse semantic modeling framework for high spatial resolution image scene classification . IEEE Transactions on Geoscience and Remote Sensing , 56 ( 10 ): 6180 - 6195 [ DOI: 10.1109/TGRS.2018.2833293 http://dx.doi.org/10.1109/TGRS.2018.2833293 ] Adaptive deep sparse semantic modeling framework for high spatial resolution image scene classification Zou Q , Ni L H , Zhang T and Wang Q . 2015 . Deep learning based feature selection for remote sensing scene classification . IEEE Geoscience and Remote Sensing Letters , 12 ( 11 ): 2321 - 2325 [ DOI: 10.1109/LGRS.2015.2475299 http://dx.doi.org/10.1109/LGRS.2015.2475299 ] Deep learning based feature selection for remote sensing scene classification 10.11834/jrs.20210587 1007-4619（2021）11-2270-13 邓培芳，徐科杰，黄鸿.2021.基于CNN-GCN双流网络的高分辨率遥感影像场景分类.遥感学报，25（11）： 2270-2282 邓培芳，徐科杰，黄鸿.2021.基于CNN-GCN双流网络的高分辨率遥感影像场景分类.遥感学报，25（11）： 2270-2282 Deng P F，Xu K J and Huang H. 2021. CNN-GCN-based dual-stream network for scene classification of remote sensing images. National Remote Sensing Bulletin， 25（11）：2270-2282 Deng P F，Xu K J and Huang H. 2021. CNN-GCN-based dual-stream network for scene classification of remote sensing images. National Remote Sensing Bulletin， 25（11）：2270-2282 国家自然科学基金（编号：42071302）；中央高校基本科研业务费（编号：2020CDCGTM002）；重庆市基础研究与前沿探索项目（编号：cstc2018jcyjAX0093）；重庆市留学人员回国创业创新支持计划（编号：cx2019144）；重庆市研究生科研创新项目（编号：CYB19039） Supported by National Natural Science Foundation of China (No. 42071302); Fundamental Research Funds for the Central Universities (No. 2020CDCGTM002); Basic and Frontier Research Programmes of Chongqing (No. cstc2018jcyjAX0093); Innovation Program for Chongqing Overseas Returnees (No. cx2019144); Graduate Research and Innovation Foundation of Chongqing (No. CYB19039) 2021-01-07 2021-11-07 2021-11-26 2021-05-08 遥感学报 11 25