结合深度学习的高光谱与多源遥感数据融合分类

结合深度学习的高光谱与多源遥感数据融合分类 Deep fusion of hyperspectral images and multi-source remote sensing data for classification with convolutional neural network 1 2 first-author 赵伍迪， 1992年生， 女， 博士研究生， 研究方向为高光谱数据分类。E-mail：zhaowd@radi.ac.cn 赵伍迪， 1992年生， 女， 博士研究生， 研究方向为高光谱数据分类。E-mail：zhaowd@radi.ac.cn zhaowd@radi.ac.cn 1 corresp 李山山， 1979年生， 副研究员， 研究方向为高光谱图像处理。E-mail： lishanshan@aircas.ac.cn 李山山， 1979年生， 副研究员， 研究方向为高光谱图像处理。E-mail： lishanshan@aircas.ac.cn lishanshan@aircas.ac.cn 1 3 1 中国遥感卫星地面站 中国科学院空天信息创新研究院, 北京 100094 中国遥感卫星地面站 中国科学院空天信息创新研究院, 北京 100094 China Remote Sensing Satellite Ground Station, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China China Remote Sensing Satellite Ground Station, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China 电子电气与通信工程学院 中国科学院大学, 北京 100049 电子电气与通信工程学院 中国科学院大学, 北京 100049 School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China 中科院数字地球重点实验室 中国科学院空天信息创新研究院, 北京 100094 中科院数字地球重点实验室 中国科学院空天信息创新研究院, 北京 100094 Key Laboratory of Digital Earth Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China Key Laboratory of Digital Earth Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China 高光谱数据具有丰富的光谱特征，但是其空间分辨率相对较低。一些遥感数据具有与高光谱数据互补的优势，例如提供更精细的空间信息的高空间分辨率数据和具有高度信息的激光雷达LiDAR（Light Detection and Ranging ）数据。通过将高光谱数据与多源遥感数据进行融合，可以弥补高光谱数据空间分辨率相对较低，空间特征不够丰富的缺点。近年来，基于深度学习的方法已经在遥感数据分类研究中取得了一定的进展。然而，由于深度网络的特征提取过程是一个自主的过程，往往无法精确的获取最有利于遥感数据分类的特征；同时，深度学习方法具有复杂的网络结构和大量的参数，往往会在分类训练过程中造成参数拟合困难。以上这些因素会导致分类效果不佳。针对这些问题，本文提出了一种将卷积神经网络CNN（Convolutional Neural Network）和纹理特征相结合的多源遥感数据特征级融合分类框架。该方法共3个步骤，首先，对高光谱数据或多源遥感数据提取纹理特征；然后，构造CNN，分别将原始高光谱遥感数据、原始多源遥感数据和第一步中获得的纹理特征作为深度网络的输入进行深度特征提取；最后，将分别提取到的深度特征拼接，并利用Softmax分类器进行分类。为了验证本文提出方法的分类效果，本文在休斯顿和塞特福德矿地区公开数据集上进行实验，并将该分类框架与支持向量机分类方法、像素级融合分类方法和特征级融合分类方法进行对比。由此可以分析得出，本文提出的基于深度学习的融合分类方法可以获得较高的分类精度。 Hyperspectral images (HSIs) have abundant spectral characteristics. However, their spatial resolution is relatively low. Some remote sensing data have complementary advantages with HSIs, such as the LiDAR, which can provide elevation information, and the high spatial resolution data, which have precise spatial information. The combination of HSIs with the multi-source remote sensing data for fusion classification can make up the deficiency of tits relatively low spatial resolution. In recent years, deep learning-based methods have been investigated for hyperspectral remote sensing classification and have made breakthroughs. Meanwhile, the feature extraction process of the deep network is an independent process. Therefore, it may not obtain the most beneficial features for classification accurately and may influence the classification accuracy. At the same time, the techniques may not perform well when using limited training samples in HSIs because of massive parameters and complex network structure. Aiming at this problem, the frequently used traditional features of remote sensing data for classification are discussed in this paper. A new deep learning-based feature level data fusion classification framework that integrates traditional textural features into Convolutional Neural Network (CNN) approach (T-F-CNN) is proposed for the accurate fusion classification of HSIs and multi-source remote sensing data. The proposed method can be implemented in three steps. First, the traditional features are extracted from the HSIs or the multi-source remote sensing data. Second, CNN are built. The original HSIs, the original multi-source remote sensing data, and the traditional features, which are obtained in the first step, are inputted into the CNN of the deep feature extraction. Finally, the deep features obtained in the second step are concatenated in a concatenate layer of CNN, and SoftMax is used to generate classification maps at the end of the framework.Result The proposed classification scheme is tested on two data sets, namely, Houston and Thetford Mines Area data sets. The proposed T-F-CNN is compared with the pixel-level methods, such as Support Vector Machines (SVM) with the Radial Basis Function (RBF) (T-P-SVM), the CNN fusion method (P-CNN), and the CNN with traditional features (T-P-CNN); and the feature-level methods, such as CNN fusion method (F-CNN) and CNN method combined with original traditional features (T’-F-CNN). On both data sets, the proposed method shows a higher classification accuracy than other methods. Meanwhile, when the training samples reach a minimum number, the proposed method could provide the highest overall classification accuracy. The results obtained by the proposed method on the two real hyperspectral data sets demonstrate that the classification accuracy can be improved. Furthermore, the proposed T-F-CNN method outperforms some traditional deep learning methods and exhibits higher computing efficiency than a few advanced deep learning techniques. 卷积神经网络 高光谱数据 高分辨率数据 激光雷达数据 图像融合 传统特征 分类 Convolutional Neural Network (CNN) hyperspectral image Light Detection and Ranging (LiDAR) high spatial resolution remote sensing data data fusion Gray Level Co-occurrence Matrix (GLCM) classification 1　引言 1 20世纪80年代初期成像光谱概念的出现，使光学遥感进入了高光谱遥感阶段（ 童庆禧 等，2006 童庆禧 等，2006 ）。成像光谱仪能用窄而连续的光谱通道对地物持续遥感成像，光谱通道数多达数十甚至数百个以上，这使得高光谱遥感可以探测到宽波段遥感中不能够被探测的特征。但是由于高光谱图像相对较低的空间分辨率使得数据的空间特征不够丰富，不能全面地反映目标的特征。因此在对地物进行分类时，可以引入具有互补优势的多源遥感数据辅助高光谱遥感分类。现如今，随着对地观测平台、遥感传感器种类的日益丰富，针对同一地区的各种遥感影像数据（多时相、多光谱波段、多传感器、多观测平台和多分辨率等）源源不断地产生，可以提供具有不同优势和互补性的遥感数据。例如高空间分辨率数据可以提供丰富的空间信息；激光雷达LiDAR（Light Detection and Ranging）是能实时获取地形表面三维空间信息。这些数据对高光谱数据来说都是很好的补充，综合使用这些数据可以提高数据来源的完整性和可靠性，以及目标检测和识别的准确性。因此高光谱数据分类领域的一个重要的研究方向就是如何实现多源遥感数据的有效融合。 依据融合在处理流程中的位置和信息抽象程度，多源遥感数据融合可分为3个层次：像素级、特征级和决策级。其中特征级融合是指融合前先对遥感图像数据进行特征提取，产生特征矢量，再进行特征融合。该方法是将特征进行有意义的组合，具有较高的可信度和准确性（Pohl和van Genderen，1998）。 在特征级融合中，特征提取十分重要。高光谱数据具有丰富的光谱信息，在高光谱分类中，常见的光谱特征提取方法包括主成分分析、最小噪声分离等，具体如 表1 表1 所示。而对于与高光谱数据融合的其他遥感数据来说，由于其往往具有更丰富的空间信息，因此多提取它们的空间特征，例如纹理特征、空间相关性特征以及形态学特征等。图像的纹理特征描述了在图像中反复出现的局部模式和它们的排列规则，反映了宏观上灰度变化的一些规律（梅安新 等，2001； 阮秋琦，2001 阮秋琦，2001 ）。如 表1 表1 所示，可以采用如灰度共生矩阵GLCM（Gray Level Co-occurrence Matrix）、Gabor滤波、马尔可夫随机模型及数学形态学滤波等方式进行提取。通过结合这些特征，可以获得明显高于单一数据分类的精度。这一方面，已有研究者进行了大量的研究，如 Merentitis等（2014） Merentitis等（2014） 用随机森林法对高光谱和LiDAR图像提取的不同特征进行了分类。 Man等（2015） Man等（2015） 探究了融合LiDAR和高光谱数据的特征在城市土地使用分类中的表现，特别是LiDAR的强度和高度信息对影子区域的使用分类的贡献。 Mahmood等（2013） Mahmood等（2013） 提出了基于背景上下文信息的高光谱图像和高分辨率彩色图像协同分类的方法，进行亚像素分类制图。 申鑫等（2015） 申鑫等（2015） 对高分辨率影像进行基于边缘检测的多尺度分割，对高光谱影像进行特征变量提取，在预分类结果中加入单木冠幅信息进行分类，取得了较好的分类精度。 Kaufman等（2015） Kaufman等（2015） 针对机载高光谱和高分辨率图像的目标识别分类问题，充分利用了空—谱联合的特征，与单独使用光谱特征、空间特征以及像素层融合方法相比更具优势。 特征类型 典型方法 参考文献 5 光谱特征 主成分分析PCA（Principal Components Analysis） Zubko等，2007 最小噪声分离变换MNF（Minimum Noise Fraction Rotation） Yang等，2016 光谱吸收指数SAI（Spectral Absorption Index） 王晋年 等，1996 独立成分分析ICA（Independent Component Analysis） 梁亮 等，2010 小波变换（Wavelet Transform） 丰明博 等，2014 4 空间特征 灰度共生矩阵GLCM（Gray Level Co-occurrence Matrix） Dian等，2015 Gabor滤波 Shen和Jia，2011 马尔可夫随机场模型MRF（Markov Random Fields） Zhang等，2011 数学形态学（Morphological Profile） Fauvel等，2008；Ghamisi等，2014 由于多源遥感数据成像方式的不同，它们的内在关系较为复杂，传统方法难以综合地利用这些特征，造成了传统的特征级融合分类方法表现出一些不足。如高光谱遥感数据蕴含的信息十分复杂，并且具有非线性特点，传统特征提取方法破坏了图像中原有的空谱结构，难以综合地提取这些特征，从而忽略了大量隐含的、有效的信息。此外，高光谱数据的特征数量多，如果再结合多源遥感数据的特征，会导致特征规模更加巨大。因此，探寻更适合的面向高光谱数据与多源遥感数据的特征提取和分类方法是数据融合分类的一个重要的研究方向。 近年来，基于深度学习的方法在计算机视觉领域的研究中被广泛应用，并且展现出了优秀的特征提取能力，因此一些研究者开始将其引入高光谱数据分类的研究中。 Hu等（2015） Hu等（2015） 使用卷积神经网络CNN（Convolutional Neural Network）直接对高光谱图像在光谱域进行分类。 Chen等（2016） Chen等（2016） 构建了CNN分别提取高光谱遥感数据的光谱特征、空间特征和空谱特征，实现分类。 Yue等（2016） Yue等（2016） 构建了结合堆栈自编码和CNN的深度网络来提取高光谱数据的光谱与空间信息用于分类。随着深度学习在高光谱数据分类上的研究日益深入，开始出现了将高光谱数据传统特征与深度学习相结合的分类方法。 Zhao等（2019） Zhao等（2019） 提出了一种将高光谱数据纹理特征与深度学习相结合的高光谱数据分类方法，该方法通过将高光谱数据的纹理特征矢量直接与通过CNN提取的高光谱数据的深度光谱特征连接，并用于分类，得到了较好的分类精度，并且在较少的训练样本的情况下仍能保持较高的分类精度。 Gao等（2018） Gao等（2018） 将从高光谱数据提取的各类特征作为CNN的输入，进一步提取深度特征，通过拼接后用于分类，该方法利用了深度网络增强了特征提取效果，并且充分利用了光谱和空间信息，显著提高了分类精度。 在此基础上，一些研究者开始尝试将深度学习用于高光谱数据与多源遥感数据融合分类。 Chen等（2017） Chen等（2017） 提出了利用CNN提取高光谱数据的光谱空间特征以及LiDAR数据的高程特征，并将其融合分类。这些基于深度学习的方法充分展现出了其优异的特征提取能力，可以通过深层网络提取到更抽象的、更具有全局性的特征，与传统方法相比具有更强大的特征学习和特征表达能力；多个卷积层和池化层的结构，可以从高光谱数据中提取出对多种变形具有高度不变性的非线性特征；并且深度学习可以从具有复杂关系的多源数据中自主地提取具有可分性的特征。 本文提出了一种将CNN与传统纹理特征相结合的高光谱数据与多源遥感数据融合分类框架，利用深度学习的方法进行多源遥感数据融合，面向分类挖掘多种数据源的传统及深度特征集合，并在此基础上实现地物分类。与前述的深度学习融合分类方法的不同之处在于，该方法将多源数据中具有更高可分性的传统纹理特征整合到深度学习框架中，该方法的优点在于可以在一定程度上减少深度网络需要拟合的参数数量，使得其能够在训练样本数量有限的情况下依然保持较好的分类精度。 2　研究方法或原理 1 2.1　方法框架 2 本文提出的融合分类方法的流程图如 图1 图1 所示。该特征级的融合分类方法（Texture-Feature-level-CNN）将遥感数据传统纹理特征与CNN相结合，在本文中简称为T-F-CNN。该方法具体分为3个步骤：（1）对高光谱数据或多源遥感数据提取传统纹理特征。（2）构造CNN框架，分别对高光谱遥感数据、多源遥感数据和步骤（1）中获得的传统纹理特征进行深度特征提取。该CNN框架具有3个输入端，并分别使用独立的网络对这些输入进行处理。（3）将分别提取到的深度特征等权拼接，并用于分类。特别是在步骤（1）中需要根据实验中使用的数据集的实际情况对高光谱和多源数据的纹理特征进行选择后输入深度学习框架，如果融合的多源遥感数据为高空间分辨率或多光谱影像，由于它们的空间分辨率较高，则选择提取它们的纹理特征，如果为LiDAR数据，则仍选择高光谱数据纹理特征，这个选择过程在 图1 图1 中蓝色虚线表示。 注： 虚线表示根据数据集中各数据的空间特点在高光谱数据的纹理特征和多源遥感数据的纹理特征中选择其一。 2.2　纹理特征提取 2 GLCM是一种计算图像纹理特征的简单、有效的方法（ Mirzapour和Ghassemian，2015 Mirzapour和Ghassemian，2015 ； Imani和Ghassemian，2016 Imani和Ghassemian，2016 ）。因此本文中利用从原始高光谱数据或多源遥感数据主成分变换后的第一主成分计算得到的GLCM，分别在0°，90°，45°和135°等4个方向上提取纹理特征。 同质性（homogeneity）：反映图像的纹理相似性，值越高，局部区域越相似，具有较小的灰度差异。 <math display="block" id="M1"><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>N</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mfrac><mrow><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187733&type= 29.12533188 9.05933285 对比度（contrast）：反映图像的清晰度和纹理深浅的程度。 <math display="block" id="M2"><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>N</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi></mrow></msub></mrow><msup><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187756&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187747&type= 28.19400024 8.72066593 角二阶矩ASM（Angular Second Moment）：反映了图像灰度分布均匀程度和纹理粗细程度。它是GLCM各元素的平方和，又被称为能量。 <math display="block" id="M3"><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>N</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><msubsup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187766&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187760&type= 16.76399994 8.72066593 熵（entropy）：是图像包含信息量的随机性度量。当GLCM中所有值均相等或者像素值表现出最大的随机性时，熵最大，图像越复杂。 <math display="block" id="M4"><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>N</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi></mrow></msub></mrow><mfenced separators="|"><mrow><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187775&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187770&type= 31.58066559 8.72066593 对于整幅影像来说，同一方向 θ 上的4个纹理特征组合成了一个 M × N ×4的三维矩阵 <math id="M5"><msub><mrow><mi>t</mi></mrow><mrow><mi>θ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187779&type= 2.11666679 3.72533321 ，其中 M × N 表示影像的大小，如 式（5） 式（5） 所示。 <math display="block" id="M6"><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187794&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187788&type= 23.87599945 5.24933338 本文中某像素4个方向的纹理特征组成了一个 M × N ×16的三维矩阵 <math id="M7"><mi mathvariant="bold-italic">T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187798&type= 2.20133328 2.62466669 ，如 式（6） 式（6） 所示。 <math display="block" id="M8"><mi mathvariant="bold-italic">T</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187819&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187813&type= 27.60133362 6.18066692 2.3　结合纹理特征的卷积神经网络 2 本文中的T-F-CNN方法的主要构建模块包括输入层、卷积层、池化层、拼接层和全连接层。考虑到输入网络的原始数据的固定的邻域较小且训练样本数量有限，本文中的深度网络只分别使用3个卷积层和池化层。下面对本文中深度网络主要的层进行详细描述。 2.3.1　输入层 3 本文中的网络有3个独立的输入层，分别用于输入原始高光谱数据、原始多源遥感数据和纹理特征 <math id="M9"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187825&type= 2.11666679 2.62466669 。 2.3.2　卷积层 3 卷积层的主要功能是从由输入层输入的三维 K × K × L 的原始像素信息中提取局部特征，其中 K 表示输入网络的原始数据的固定的邻域大小， L 表示输入数据的维度。通常，一个卷积层包括多个具有不同作用的卷积核，能够从同一个区域提取不同的特征。每个卷积层具有一个 W × W × B 的三维的卷积操作，其中 W × W 是卷积核的大小， B 代表了卷积核的数量。位于第 i 层的特征提取层，在第 j 个特征中第 x 个隐含层单元的连接值 <math id="M10"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>x</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187841&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187836&type= 2.62466669 4.06400013 可以如 式（7） 式（7） 表示。 <math display="block" id="M11"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>x</mi></mrow></msubsup><mo>=</mo><mi>g</mi><mfenced separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>+</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>p</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>m</mi></mrow><mrow><mi>p</mi></mrow></msubsup><msubsup><mrow><mi>v</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></mfenced><mi>m</mi></mrow><mrow><mi>x</mi><mo>+</mo><mi>p</mi></mrow></msubsup></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187851&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187844&type= 38.35400009 10.66800022 式中， m 指代与前一层中连接的特征个数， <math id="M12"><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>m</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187861&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187854&type= 4.82600021 4.06400013 是与第 m 个特征中第 p 个神经元连接的权重， P i 是卷积核的大小， b ij 为该第 i 层中第 j 个特征的偏置。 g （·）是激活函数。 2.3.3　池化层 3 通过卷积获取的图像的特征规模十分庞大，使用这些特征进行图像分类，会产生很大的计算量，因此需要使用池化层进行二次提取，这样可以大大减少需要训练的参数数量。对于池化层来说，输入和输出的特征个数并没有发生变化，只是输出的每一个特征的尺寸变小了。假设池化层连接的区域大小为 N ×1，以最大值池化为例，其计算方式如 式（8） 式（8） 所示。 <math display="block" id="M13"><msub><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow></msub><msubsup><mrow><mo>=</mo></mrow><mrow><mi>N</mi><mo>×</mo><mn mathvariant="normal">1</mn></mrow><mrow><mtext>  </mtext><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mtext>  </mtext></mrow></msubsup><mtext> </mtext><mfenced separators="|"><mrow><msubsup><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>n</mi><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mi>u</mi><mfenced separators="|"><mrow><mi>n</mi><mo>,</mo><mtext> </mtext><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187870&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187864&type= 32.42733002 4.82600021 式中， N 和 n 不同， N 代表池化层与卷积层提取到的特征连接的区域， n 是池化层池化的窗口大小。 u （ n ，1）是函数窗口， a j 是该区域元素中的最大值。 经过几个卷积层和池化层，就可以从原始高光谱数据、原始多源遥感数据和纹理特征 <math id="M14"><mi mathvariant="bold-italic">T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187876&type= 2.20133328 2.62466669 中分别提取到高光谱数据的深度空谱特征 <math id="M15"><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187891&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187886&type= 8.97466660 3.72533321 、多源遥感数据的深度特征 <math id="M16"><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187902&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187896&type= 9.31333351 3.72533321 和经过深度特征提取的纹理特征 <math id="M17"><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187915&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187908&type= 11.59933376 3.72533321 。 2.3.4　拼接层 3 高光谱数据的深度空谱特征 <math id="M18"><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187919&type= 8.97466660 3.72533321 、多源遥感数据的深度特征 <math id="M19"><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187933&type= 9.31333351 3.72533321 和经过深度特征提取的纹理特征 <math id="M20"><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187945&type= 11.59933376 3.72533321 拼接后得到特征向量 <math id="M21"><mi>D</mi><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188018&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188014&type= 4.74133301 2.62466669 。 <math display="block" id="M22"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">F</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>,</mo><mtext> </mtext><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi></mrow></msub><mo>,</mo><mtext> </mtext><mi mathvariant="bold-italic">D</mi><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187967&type= 45.80466461 5.24933338 2.3.5　全连接层 3 全连接层的作用是将学习到的特征 <math id="M23"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187987&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187982&type= 4.99533367 2.62466669 映射到样本标签上。在全连接层的末端连接了一个Softmax分类器。输入的特征属于类别 c 的概率表示如 式（10） 式（10） 所示。 <math display="block" id="M24"><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>a</mi></mrow><mrow><msub><mrow/><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>n</mi><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mi>u</mi><mo stretchy="false">(</mo><mi>n</mi><mo>,</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20187993&type= 28.19400024 4.99533367 <math display="block" id="M25"><mi>p</mi><mo stretchy="false">(</mo><mi>y</mi><mo>=</mo><mi>c</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msup><mrow><mi>e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">θ</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi>F</mi></mrow></msup></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></munderover></mstyle><mrow><msup><mrow><mi>e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">θ</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi>F</mi></mrow></msup></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188010&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188005&type= 26.41600037 14.73200035 式中， θ 1 ， θ 2 ，…， θ c 是模型参数， y = 1，…， c ，…， C 代表特征 <math id="M26"><mi>D</mi><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188018&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188014&type= 4.74133301 2.62466669 对应的目标真实值。 包括卷积层和池化层在内的CNN模型的所有层中的参数，都使用反向传播算法进行训练。在反向传播算法中，利用梯度下降算法使模型的损失函数达到最小值，从而对模型的权重和偏差进行调整，并且模型的精度可以随着迭代提高。 3　数据结果处理与分析 1 本文提出的融合分类框架在两个数据集上进行了测试。实验的目的包括：（1）为本文提出的算法中的参数提供经验值；（2）在算法有效性和算法效率上评价本文提出的融合分类框架。为充分验证本文算法的有效性，将提出的方法T-F-CNN与另外5种方法进行比。这些方法可以分为像素级融合分类（P）和特征级融合分类（F）。其中像素级融合分类方法包括基于SVM的方法T-F-SVM和基于CNN的方法P-CNN和T-P-CNN。特征级融合分类方法为基于CNN的方法F-CNN（ Chen等，2017 Chen等，2017 ）和T’-F-CNN。其中F-CNN为不使用传统特征的方法。T’-F-CNN为使用传统纹理特征，但是纹理特征不经过深度特征提取。上述方法中的T指使用纹理特征且该特征经过CNN提取深度特征的方法，T’指使用纹理特征且该特征不经过CNN提取深度特征的方法。具体算法流程如 表2 表2 所示。本文通过总体精度OA（Overall Accuracy）来评价分类结果。 注： 虚线表示根据数据集中各数据的空间特点在高光谱数据的纹理特征和多源遥感数据的纹理特征中选择其一。 类型 名称 处理流程 3 像素级 T-P-SVM http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=middle 147.44699097 65.95532990 P-CNN http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=middle 147.44699097 65.95532990 T-P-CNN http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=middle 147.44699097 65.95532990 2 特征级 F-CNN（Chen等，2017） http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=middle 147.44699097 65.95532990 T’-F-CNN http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188030&type=middle 147.44699097 65.95532990 3.1　实验数据描述 2 本次实验中采用了两组真实的高光谱与多源遥感数据集来验证本文提出方法的有效性。 （1）第1组是美国休斯顿地区数据集，本数据集包括同时同地获取的高光谱数据和机载LiDAR数据。其中高光谱传感器为CASI（Compact Spectrographic imager），包含144个光谱波段，波谱范围为380—1050 nm，光谱分辨率为4.8 nm。本数据集高光谱数据与LiDAR数据的空间分辨率一致，均为2.5 m。休斯顿数据集的高光谱数据假彩色合成图像、LiDAR数据图像和相应的地面真实值如 图2 图2 所示。本数据集的有标签样本部分为官方提供的，其分布图如 图2（c） 图2（c） 所示，由于数量较少，又参照现有文献（ Man等，2015 Man等，2015 ）中的有标签样本分布图，通过目视解译的方法人工添加了有标签样本，其分布图如 图2（d） 图2（d） 所示。将两者混合作为本数据集的有标签样本集合，如 表3 表3 中所示。训练样本和测试样本按一定比例从中随机产生，之间没有任何重叠，地物类型分为15类。数据集的地物类型和有标签的样本数量如 表3 表3 所示。由于本数据集的高光谱数据空间分辨率较高，且相对于LiDAR数据来说具有更丰富的纹理细节，因此本数据集的纹理特征选取为高光谱数据的纹理特征。 1,2;3,4;5; 3 休斯顿地区 2 塞特福德矿地区 地物类别 原始样本数量/个 目视解译添加样本数量/个 地物类别 样本数量/个 健康草坪 198 597 道路 112457 非健康草坪 190 724 树木 27700 合成草坪 192 664 红色屋顶 46578 树木 188 504 灰色屋顶 53520 土壤 186 840 混凝土屋顶 97826 水体 182 118 植被 185329 居民区 196 558 裸土 44738 商业区 191 1034 — — 道路 193 935 — — 高速公路 191 1046 — — 铁道 181 1138 — — 停车场1 192 829 — — 停车场2 184 175 — — 网球场 181 229 — — 塑胶跑道 187 465 — — （2）第2组是加拿大魁北克省塞特福德矿地区（Thetford Mines Area）数据集。本数据集包括同时同地获取的长波红外高光谱数据和航空高空间分辨率数据，其中长波红外高光谱数据包含82个波段，波谱范围为780—1150 μm，光谱分辨率为6 μm，已经进行辐射校正。高空间分辨率数据空间分辨率为0.1 m，高光谱数据空间分辨率为1 m，并重采样至0.1 m，使两个数据的空间分辨率保持一致。训练样本和测试样本之间没有任何重叠，地物类型为7类。数据集的地物类型和有标签的样本数量如 表3 表3 所示。该数据集的高光谱数据假彩色合成图像、高空间分辨率数据图像和相应的地面真实值如 图3 图3 所示。由于本数据集中高空间分辨率数据具有更丰富的空间信息，因此本数据集的纹理特征选取为高空间分辨率数据的纹理特征。 1,2,3;4; 3.2　参数设置 2 基于GLCM的纹理特征的计算包括3个参数，分别是灰度级、统计距离和窗口大小 k 。灰度级决定了GLCM的计算规模，本文中将灰度级统一设置为64，将统计距离统一设置为1。 纹理特征提取的窗口大小是影响分类结果的重要因素，因此在本文中首先对窗口大小 k 进行讨论。对休斯顿数据集和塞特福德矿地区数据集分别随机选取几个不同数量的训练样本组合来训练本文提出的分类框架。休斯顿数据集分别选取了每类15%、12%、9%的训练样本，塞特福德矿地区数据集分别选取了每类0.5%、0.4%、0.3%的训练样本。对两个数据依次以13×13、27×27和41×41的窗口大小计算GLCM。分类精度如 图4 图4 中所示。通过比较分类精度可以发现，两个数据的分类精度在13×13时相对较低，但是当窗口大小为41×41时，分类精度与27×27时相比并没有明显提升，甚至还略有降低。因此，为了既保证分类精度又减小计算量，本文中将两个数据的窗口大小都设置为27×27。本文使用的高光谱数据和高空间分辨率数据的空间分辨率都相对较高，而对于分辨率较低的数据，由于其一个像素所包含的地物范围较大，在设置窗口大小时可以考虑较小的窗口大小。反之，对于分辨率更高的数据，可以选用较大的窗口大小。 1,2; 由于本文中的实验数据的训练样本规模较小，本文中的CNN框架仅包含3个卷积层。如训练样本数量较多，可以尝试更复杂的网络结构，即更多的网络层数和更多的卷积核数量。各数据集所需的CNN具体框架构造如 表4 表4 所示。模型的初始学习率被设置为0.005，并使用随机梯度下降法SGD（Stochastic Gradient Descent ）来寻找最优。休斯顿数据集和塞特福德矿地区数据集的迭代次数分别设置为270和350。 数据集 卷积层1 池化层1 卷积层2 池化层2 卷积层3 池化层3 3 休斯顿数据集 高光谱 5×5×32 4×4 5×5×64 4×4 6×6×128 4×4 LiDAR数据 4×4×32 2×2 5×5×64 2×2 3×3×128 2×2 纹理特征 4×4×32 2×2 5×5×64 2×2 3×3×128 2×2 3 塞特福德矿地区数据集 高光谱 5×5×32 4×4 6×6×64 4×4 6×6×128 4×4 高分数据 4×4×32 2×2 5×5×64 2×2 3×3×128 2×2 纹理特征 4×4×32 2×2 5×5×64 2×2 3×3×128 2×2 在基于SVM方法的对比实验中，核参数是依据 Li（2018） Li（2018） 和 Kumar等（2015） Kumar等（2015） 的研究设置的。在指数级增长序列中采用交叉验证的网格搜寻法选取惩罚参数 C 和径向基核函数参数 γ （ C = 2 -4 ， 2 -2 ， …， 2 3 ， γ =2 -4 ， 2 -3 ， …， 2 3 ）的最佳参数组合。最终T-P-SVM方法的参数设置为 C =8， γ =0.0625。 3.3　实验结果与分析 2 为了比较不同训练样本数量下的分类精度，并验证本文提出的分类网络对训练样本数量的较少（每类约100个）的需求。本次实验从休斯顿数据集中依次随机选择了每类15%、12%、9%和6%的有标签样本，从塞特福德矿地区数据中依次随机选择了每类0.5%、0.4%、0.3%、0.2%和0.1%的有标签样本用于融合分类网络的训练。之后计算分结果的总体精度，具体的分类精度统计如 表5 表5 和 表6 表6 所示，其中 表5 表5 统计了休斯顿数据集的分类精度， 表6 表6 统计了塞特福德矿地区数据的分类精度。 图5 图5 展示出了随着训练样本数量变化的分类总体精度的变化趋势，更直观的表现各个分类方法的分类结果的差异。 图6 图6 和 图7 图7 分别为休斯顿数据集和塞特福德矿地区数据集的分类结果图。 2 每类训练样本比例/% 6 评价方法 T-P-SVM P-CNN T-P-CNN F-CNN T’-F-CNN T-F-CNN 15 93.76 96.97 98.97 97.66 99.01 99.21 12 92.65 96.04 98.15 96.8 98.44 98.96 9 91.08 94.34 95.49 94.54 96.27 97.7 6 87.69 91.48 93.64 92.93 94.26 96.35 2 每类训练样本比例/% 6 评价方法 T-P-SVM P-CNN T-P-CNN F-CNN T’-F-CNN T-F-CNN 0.5 92.54 95.88 97.54 96.19 98.10 98.95 0.4 91.58 94.67 96.34 94.94 97.27 97.79 0.3 89.75 92.90 93.88 93.21 95.10 96.03 0.2 86.87 90.26 92.24 91.67 93.26 94.95 0.1 82.94 86.76 89.11 89.01 91.15 93.02 1,2;3; 1,2,3,4,5,6;7; 1;2; 在 图5 图5 中可以发现，通过对比使用SVM的像素级融合分类T-P-SVM与结合CNN的像素级融合分类T-P-CNN，可以发现T-P-SVM的分类精度在两个数据的所有样本数量上都表现的相对较低。可见结合CNN的融合分类方法可以更好的结合复杂的多源遥感数据的特征，使得它们能更好的对分类结果做出贡献。 将像素级的融合分类方法与特征级的融合分类方法相比较，可以发现在本实验中，对于休斯顿数据集和塞特福德矿地区数据集来说，特征级的融合分类方法的分类精度均高于像素级的融合分类方法。以休斯顿数据集每类6%的训练样本的实验来说，F-CNN的分类精度比P-CNN高1.45%，而T-F-CNN比T-P-CNN高2.17%。而塞特福德矿地区数据集的分类精度提高大多在2%左右。这说明对原始数据分别提取深度特征再将特征融合的方法更有利于使复杂的多源遥感数据中的特征协同用于分类。 如 图5 图5 所示，通过将结合纹理特征的分类方法与未结合的方法比较，可以发现，在本实验的两个数据集中，结合GLCM纹理特征的方法（T-P-CNN和T-F-CNN）的分类精度相应的都高于未结合GLCM纹理特征的方法（P-CNN和F-CNN）。可见纹理特征相对于从原始数据中获得的深度特征来说并不是冗余的，而且它对于目标地物来说有很强的可分性。此外，随着训练样本数量的减少，其他分类方法的分类精度显示出较大的下降趋势。而与此同时，本文所提出的T-F-CNN方法的分类精度下降的幅度相对较小。尤其是对于塞特福德矿地区数据集来说，在训练样本数量相对充足时，各种结合CNN的融合分类方法的分类精度都比较接近，并处于一个较高的精度下，而当训练样本数量达到本实验的最小值时，T-F-CNN方法的分类精度明显地高于其他几种分类方法。 在 图5 图5 中可以发现，本文的实验中，对于结合CNN与传统纹理特征的方法T-F-CNN和T’-F-CNN来说，前者在两个数据集的所有训练样本数量下均表现出较高的分类精度。除塞特福德矿地区数据集每类训练样本数量为0.1%和0.2%的实验OA分别提高了1.78%和1.69%外，其他实验中提高幅度大约在1%以下。由这个稳定的升高可以看出，深度网络的特征提取过程能够将纹理特征进一步抽象，并且，对纹理特征进行深度特征提取，可以在一定程度上提高数据的可分性。 3.4　计算效率与时间消耗 2 本文涉及的深度学习网络是一个多输入的卷积神经网络，因此该算法的时间复杂度和空间复杂度可以按照 式（11） 式（11） 和 式（12） 式（12） 来计算。 <math display="block" id="M27"><mi mathvariant="normal">T</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mtext> </mtext><mo>~</mo><mtext> </mtext><mi>O</mi><mfenced separators="|"><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>l</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>D</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>M</mi></mrow><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>⋅</mo><msubsup><mrow><mi>K</mi></mrow><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>⋅</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188367&type= 48.93733215 9.31333351 <math display="block" id="M28"><mi mathvariant="normal">S</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mtext> </mtext><mo>~</mo><mtext> </mtext><mi>O</mi><mfenced separators="|"><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>l</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>D</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>K</mi></mrow><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>⋅</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188375&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188372&type= 42.16400146 9.31333351 式中， D 代表卷积层数， l 为第 l 个卷积层， K l 为 l 层卷积核的尺寸， C l 为 l 层卷积核个数。时间复杂度决定了模型的训练、预测时间，空间复杂度决定了模型的参数量。 表7 表7 中展示出的是本次实验中各分类方法在不同数据集最小训练样本数量下的运行时间。本次实验的运行环境是3.2 GHz CPU和GeForce GTX TITAN X GPU，使用Caffe框架和Matlab编程。通过对时间消耗的统计可以发现，基于CNN的方法需要消耗比基于SVM的方法更长的训练时间，这是由于CNN网络的参数较多，而对于测试阶段来说，基于CNN的方法消耗的时间与SVM方法相差不大。在对于基于CNN的分类方法的时间消耗的比较中可以发现，像素级的T-P-CNN方法的时间消耗是本实验各分类方法中最多的。而本文提出的T-F-CNN方法可以在休斯顿数据集和塞特福德矿地区数据集上比像素级的T-P-CNN分别节省57.83%和55.18%的运行时间。特征级的其他方法T-CNN和T’-F-CNN的运行时间比T-P-CNN略低，但是幅度不大。这种运行时间的降低是由于较少的输入信息数量和较少的卷积核数量。 2 方法 运行时间/s 训练/测试 休斯顿 塞特福德矿地区 T-P-SVM 21.32/2.08 18.35/1.66 P-CNN 783.60/15.42 299.42/5.97 T-P-CNN 3158.16/63.43 2645.74/7.97 F-CNN 996.12/18.18 334.57/5.95 T’-F-CNN 1013.97/18.81 372.76/7.47 T-F-CNN 1331.65/32.13 1136.54/26.68 4　结论 1 本文提出了一种将CNN与传统纹理特征相结合的分类框架。该框架将高光谱数据的深度空谱特征、多源遥感数据（LiDAR数据和高空间分辨率数据）的深度特征和经过深度特征提取的纹理特征相结合，并用于分类。并且，这种传统纹理特征的获取过程是非监督的，不受有标签样本数量的影响。因此，分类算法对训练样本数量的要求降低了。本实验通过在高光谱数据与高分数据以及高光谱数据与LiDAR数据上进行实验，由分类结果可以发现本文提出的T-F-CNN方法可以提高分类精度， 并且在训练样本有限时，该方法的分类精度优于一些传统的高光谱数据与多源遥感数据融合分类方法和基于深度学习的融合分类方法。 综上所述，本文的主要贡献有：（1）提出了一个基于CNN的深度融合分类框架，该框架能够将高光谱数据或多源遥感数据的传统纹理特征整合至深度学习网络中将其进行融合分类；（2）该方法在训练样本有限的情况下仍然具有较好的分类精度。 参考文献（References） Cao Q , Ma A L , Zhong Y F , Zhao J , Zhao B , and Zhang L P . 2019 . Urban classification by multi-feature fusion of hyperspectral image and LiDAR data . Journal of Remote Sensing , 23 ( 5 ): 892 - 903 . Urban classification by multi-feature fusion of hyperspectral image and LiDAR data 曹琼 , 马爱龙 , 钟燕飞 , 赵济 , 赵贝 , 张良培 . 2019 . 高光谱-LiDAR多级融合城区地表覆盖分类 . 遥感学报 , 23 ( 5 ): 892- 903 [ DOI: 10.11834/jrs.20197512 http://dx.doi.org/10.11834/jrs.20197512 ] 高光谱-LiDAR多级融合城区地表覆盖分类 Chen Y S , Jiang H L , Li C Y , Jia X P and Ghamisi P . 2016 . Deep feature extraction and classification of hyperspectral images based on convolutional neural networks . IEEE Transactions on Geoscience and Remote Sensing , 54 ( 10 ): 6232 - 6251 [ DOI: 10.1109/TGRS.2016.2584107 http://dx.doi.org/10.1109/TGRS.2016.2584107 ] Deep feature extraction and classification of hyperspectral images based on convolutional neural networks Chen Y S , Li C Y , Ghamisi P , Jia X P and Gu Y F . 2017 . Deep fusion of remote sensing data for accurate classification . IEEE Geoscience and Remote Sensing Letters , 14 ( 8 ): 1253 - 1257 [ DOI: 10.1109/LGRS.2017.2704625 http://dx.doi.org/10.1109/LGRS.2017.2704625 ] Deep fusion of remote sensing data for accurate classification Cui B G , Wu Y N , Zhong Y , Zhong L W and Lu Y . 2019 . Hyperspectral image rolling guidance recursive filtering and classification . Journal of Remote Sensing , 23 ( 3 ): 431 - 442 Hyperspectral image rolling guidance recursive filtering and classification 崔宾阁 , 吴亚男 , 钟勇 , 钟利伟 , 路燕 . 2019 . 高光谱图像滚动引导递归滤波与地物分类 . 遥感学报 , 23 ( 3 ): 431- 442 [ DOI: 10.11834/jrs.20197510 http://dx.doi.org/10.11834/jrs.20197510 ] 高光谱图像滚动引导递归滤波与地物分类 Dai Q L , Luo B , Zhen C , and Wang L G . 2020 . Regional multiscale Markov random field for remote sensing image classification . Journal of Remote Sensing , 24 ( 3 ): 245 - 253 Regional multiscale Markov random field for remote sensing image classification 代沁伶 , 罗斌 , 郑晨 , 王雷光 . 2020 . 区域多尺度马尔可夫随机场的遥感影像分类 . 遥感学报 , 24 ( 3 ): 245- 253 [ DOI: 10.11834/jrs.202018287 http://dx.doi.org/10.11834/jrs.202018287 ] 区域多尺度马尔可夫随机场的遥感影像分类 Dian Y Y , Li Z Y and Pang Y . 2015 . Spectral and texture features combined for forest tree species classification with airborne hyperspectral imagery . Journal of the Indian Society of Remote Sensing , 43 ( 1 ): 101 - 107 [ DOI: 10.1007/s12524-014-0392-6 http://dx.doi.org/10.1007/s12524-014-0392-6 ] Spectral and texture features combined for forest tree species classification with airborne hyperspectral imagery Fauvel M , Benediktsson J A , Chanussot J and Sveinsson J R . 2008 . Spectral and Spatial Classification of Hyperspectral Data Using SVMs and Morphological Profiles . IEEE Transactions Geoscience and Remote Sensing , 46 ( 11 ): 3804 - 3814 [ DOI: 10.1109/TGRS.2008. 922034 http://dx.doi.org/10.1109/TGRS.2008.922034 ] Spectral and Spatial Classification of Hyperspectral Data Using SVMs and Morphological Profiles Feng M B , Liu X and Zhao D . 2014 . A fusion method of hyperspectral and multispectral images based on projection and wavelet transformation . Acta Geodaetica et Cartographica Sinica , 43 ( 2 ): 158 - 163 A fusion method of hyperspectral and multispectral images based on projection and wavelet transformation 丰明博 , 刘学 , 赵冬 . 2014 . 多/高光谱遥感图像的投影和小波融合算法 . 测绘学报 , 43 ( 2 ): 158- 163 [ DOI: 10.13485/j.cnki.11-2089.2014.0023 http://dx.doi.org/10.13485/j.cnki.11-2089.2014.0023 ] 多/高光谱遥感图像的投影和小波融合算法 Ghamisi P , Benediktsson J , Cavallaro G and Plaza A . 2014 . Automatic Framework for Spectral-Spatial Classification based on Supervised Feature Extraction and Morphological Attribute Profiles . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 7 ( 6 ): 2147 - 2160 [ DOI: 10.1109/JSTARS.2014.2298876 http://dx.doi.org/10.1109/JSTARS.2014.2298876 ] Automatic Framework for Spectral-Spatial Classification based on Supervised Feature Extraction and Morphological Attribute Profiles Gao Q S , Lim S and Jia X P . 2018 . Hyperspectral image classification using convolutional neural networks and multiple feature learning . Remote Sensing , 10 ( 2 ): 299 [ DOI: 10.3390/rs10020299 http://dx.doi.org/10.3390/rs10020299 ] Hyperspectral image classification using convolutional neural networks and multiple feature learning Hu W , Huang Y Y , Wei L , Zhang F and Li H C . 2015 . Deep convolutional neural networks for hyperspectral image classification . Journal of Sensors , 2015 : 258619 [ DOI: 10.1155/2015/258619 http://dx.doi.org/10.1155/2015/258619 ] Deep convolutional neural networks for hyperspectral image classification Imani M and Ghassemian H . 2016 . GLCM , Gabor, and morphology profiles fusion for hyperspectral image classification// Proceedings of the 2016 24th Iranian Conference on Electrical Engineering . Shiraz, Iran : IEEE , 460 - 465 [ DOI: 10.1109/IranianCEE.2016.7585566 http://dx.doi.org/10.1109/IranianCEE.2016.7585566 ] GLCM Kaufman J R , Eismann M T and Celenk M . 2015 . Assessment of spatial-spectral feature-level fusion for hyperspectral target detection . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 8 ( 6 ): 2534 - 2544 [ DOI: 10.1109/jstars.2015.2420651 http://dx.doi.org/10.1109/jstars.2015.2420651 ] Assessment of spatial-spectral feature-level fusion for hyperspectral target detection Kumar B and Dikshit O . 2015 . Spectral–Spatial Classification of Hyperspectral Imagery Based on Moment Invariants . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 8 ( 6 ): 2457 - 2463 [ DOI: 10.1109/ JSTARS. 2015.2446611 http://dx.doi.org/10.1109/JSTARS.2015.2446611 ] Spectral–Spatial Classification of Hyperspectral Imagery Based on Moment Invariants Liang L , Yang M H and Li Y F . 2010 . Hyperspectral remote sensing image classification based on ICA and SVM algorithm . Spectroscopy and Spectral Analysis , 30 ( 10 ): 2724 - 2728 Hyperspectral remote sensing image classification based on ICA and SVM algorithm 梁亮 , 杨敏华 , 李英芳 . 2010 . 基于ICA与SVM算法的高光谱遥感影像分类 . 光谱学与光谱分析 , 30 ( 10 ): 2724 - 2728 ) [DOI: 10.3964/j.issn.1000-0593(201010- 2724 - 05 ] 基于ICA与SVM算法的高光谱遥感影像分类 Li J , Xi B , Li Y , Du Q and Wang K . 2018 . Hyperspectral Classification Based on Texture Feature Enhancement and Deep Belief Networks . Remote Sensing , 10 ( 3 ): 396 - 416 [ DOI: 10.3390/rs10030396 http://dx.doi.org/10.3390/rs10030396 ] Hyperspectral Classification Based on Texture Feature Enhancement and Deep Belief Networks Mahmood Z , Akhter M A , Thoonen G and Scheunders P . 2013 . Contextual subpixel mapping of hyperspectral images making use of a high resolution color image . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 6 ( 2 ): 779 - 791 [ DOI: 10.1109/jstars.2012.2236539 http://dx.doi.org/10.1109/jstars.2012.2236539 ] Contextual subpixel mapping of hyperspectral images making use of a high resolution color image Man Q X , Dong P L and Guo H D . 2015 . Pixel- and feature-level fusion of hyperspectral and lidar data for urban land-use classification . International Journal of Remote Sensing , 36 ( 6 ): 1618 - 1644 [ DOI: 10.1080/01431161.2015.1015657 http://dx.doi.org/10.1080/01431161.2015.1015657 ] Pixel- and feature-level fusion of hyperspectral and lidar data for urban land-use classification Mei A X , Peng W L , Qin Q M and Liu H P . 2001 . Beijing : Higher Education Press . 梅安新 , 彭望琭 , 秦其明 , 刘慧平 . 2001 . 遥感导论 . 北京 : 高等教育出版社 遥感导论 Merentitis A , Debes C and Heremans R . 2014 . Ensemble learning in hyperspectral image classification: toward selecting a favorable bias-variance tradeoff . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 7 ( 4 ): 1089 - 1102 [ DOI: 10.1109/jstars.2013.2295513 http://dx.doi.org/10.1109/jstars.2013.2295513 ] Ensemble learning in hyperspectral image classification: toward selecting a favorable bias-variance tradeoff Mirzapour F and Ghassemian H . 2015 . Improving hyperspectral image classification by combining spectral, texture, and shape features . International Journal of Remote Sensing , 36 ( 4 ): 1070 - 1096 [ DOI: 10.1080/01431161.2015.1007251 http://dx.doi.org/10.1080/01431161.2015.1007251 ] Improving hyperspectral image classification by combining spectral, texture, and shape features Pohl C and van Genderen J L . 1998 . Review article multisensor image fusion in remote sensing: concepts, methods and applications . International Journal of Remote Sensing , 19 ( 5 ): 823 - 854 [ DOI: 10.1080/014311698215748 http://dx.doi.org/10.1080/014311698215748 ] Review article multisensor image fusion in remote sensing: concepts, methods and applications Ruan Q Q . 2001 . Digital Image Processing . Beijing : Publishing House of Electronics Industry Digital Image Processing 阮秋琦 . 2001 . 数字图像处理学 . 北京 : 电子工业出版社 数字图像处理学 Shen L L and Jia S . 2011 . Three-dimensional Gabor wavelets for pixel-based hyperspectral imagery classification . IEEE Transactions on Geoscience and Remote Sensing , 49 ( 12 ): 5039 - 5046 [ DOI: 10.1109/TGRS.2011.2157166 http://dx.doi.org/10.1109/TGRS.2011.2157166 ] Three-dimensional Gabor wavelets for pixel-based hyperspectral imagery classification Shen X , Cao L , Xu T and She G H . 2015 . Classification of Pinus massoniana and secondary deciduous tree species in northern subtropical region based on high resolution and hyperspectral remotely sensed data . Chinese Journal of Plant Ecology , 39 ( 12 ): 1125 - 1135 Classification of Pinus massoniana and secondary deciduous tree species in northern subtropical region based on high resolution and hyperspectral remotely sensed data 申鑫 , 曹林 , 徐婷 , 佘光辉 . 2015 . 基于高分辨率与高光谱遥感影像的北亚热带马尾松及次生落叶树种的分类 . 植物生态学报 , 39 ( 12 ): 1125- 1135 [ DOI: 10.17521/cjpe.2015.0109 http://dx.doi.org/10.17521/cjpe.2015.0109 ] 基于高分辨率与高光谱遥感影像的北亚热带马尾松及次生落叶树种的分类 Tong Q X , Zhang B and Zheng L F . 2006 . Hyperspectral Remote Sensing . Beijing : Higher Education Press Hyperspectral Remote Sensing 童庆禧 , 张兵 , 郑兰芬 . 2006 . 高光谱遥感: 原理、技术与应用 . 北京 : 高等教育出版社 高光谱遥感: 原理、技术与应用 Wang J N , Zheng L F and Tong Q X . 1996 . The spectral absorption identification model and mineral mapping by imaging spectrometer data . Remote Sensing of Environment China , 11 ( 1 ): 20 - 31 The spectral absorption identification model and mineral mapping by imaging spectrometer data 王晋年 , 郑兰芬 . 童庆禧 . 1996 . 成象光谱图象光谱吸收鉴别模型与矿物填图研究. 环境遥感 , 11 ( 1 ): 20 - 31 童庆禧 Wei X P , Yu X C , Zhang P Q , Zhi L , and Yang F . 2020 . CNN with local binary patterns for hyperspectral images classification . Journal of Remote Sensing , 24 ( 8 ): 1000 - 1009 CNN with local binary patterns for hyperspectral images classification 魏祥坡 , 余旭初 , 张鹏强 , 职露 , 杨帆 . 2020 . 联合局部二值模式的CNN高光谱图像分类 . 遥感学报 , 24 ( 8 ): 1000- 1009 [ DOI: 10.11834/jrs.20208333 http://dx.doi.org/10.11834/jrs.20208333 ] 联合局部二值模式的CNN高光谱图像分类 Wu F Y , Wang X , Ding J W , Du P J , and Tan K . 2020 . Improved cascade forest deep learning model for hyperspectral imagery classification . Journal of Remote Sensing , 24 ( 4 ): 439 - 453 Improved cascade forest deep learning model for hyperspectral imagery classification 武复宇 , 王雪 , 丁建伟 , 杜培军 , 谭琨 . 2020 . 高光谱遥感影像多级联森林深度网络分类算法 . 遥感学报 , 24 ( 4 ): 439- 453 [ DOI: 10.11834/jrs.20209190 http://dx.doi.org/10.11834/jrs.20209190 ] 高光谱遥感影像多级联森林深度网络分类算法 Yang M D , Huang K S , Yang Y F , Lu L Y , Feng Z Y and Tsai H P . 2016 . Hyperspectral image classification using fast and adaptive bidimensional empirical mode decomposition with minimum noise fraction . IEEE Geoscience and Remote Sensing Letters , 13 ( 12 ): 1950 - 1954 [ DOI: 10.1109/LGRS.2016.2618930 http://dx.doi.org/10.1109/LGRS.2016.2618930 ] Hyperspectral image classification using fast and adaptive bidimensional empirical mode decomposition with minimum noise fraction Yue J , Mao S J and Li M . 2016 . A deep learning framework for hyperspectral image classification using spatial pyramid pooling . Remote Sensing Letters , 7 ( 9 ): 875 - 884 [ DOI: 10.1080/2150704X.2016.1193793 http://dx.doi.org/10.1080/2150704X.2016.1193793 ] A deep learning framework for hyperspectral image classification using spatial pyramid pooling Zhang B , Li S S , Jia X P , Gao L R and Peng M . 2011 . Adaptive markov random field approach for classification of hyperspectral imagery . IEEE Geoscience and Remote Sensing Letters , 8 ( 5 ): 973 - 977 [ DOI: 10.1109/LGRS.2011.2145353 http://dx.doi.org/10.1109/LGRS.2011.2145353 ] Adaptive markov random field approach for classification of hyperspectral imagery Zhao W D , Li S S , Li A , Zhang B and Li Y . 2019 . Hyperspectral images classification with convolutional neural network and textural feature using limited training samples . Remote Sensing Letters , 10 ( 5 ): 449 - 458 [ DOI: 10.1080/2150704X.2019.1569274 http://dx.doi.org/10.1080/2150704X.2019.1569274 ] Hyperspectral images classification with convolutional neural network and textural feature using limited training samples Zubko V , Kaufman Y J , Burg R I and Martins J V . 2007 . Principal component analysis of remote sensing of aerosols over oceans . IEEE Transactions on Geoscience and Remote Sensing , 45 ( 3 ): 730 - 745 [ DOI: 10.1109/TGRS.2006.888138 http://dx.doi.org/10.1109/TGRS.2006.888138 ] Principal component analysis of remote sensing of aerosols over oceans 感谢高光谱图像分析小组和美国国家科学基金会资助的休斯顿大学机载激光测绘中心（NCALM）提供了本研究中使用的数据集，感谢Telops Inc. 获取并提供本研究中使用的数据集。并感谢IEEE GRSS数据融合技术委员会组织了2013年和2014年的数据融合竞赛！ 10.11834/jrs.20219117 1007-4619（2021）07-1489-14 赵伍迪，李山山，李安，张兵，陈俊.2021.结合深度学习的高光谱与多源遥感数据融合分类.遥感学报，25（7）： 1489-1502 赵伍迪，李山山，李安，张兵，陈俊.2021.结合深度学习的高光谱与多源遥感数据融合分类.遥感学报，25（7）： 1489-1502 Zhao W D，Li S S，Li A，Zhang B and Chen J. 2021. Deep fusion of hyperspectral images and multi-source remote sensing data for classification with convolutional neural network. National Remote Sensing Bulletin， 25（7）：1489-1502 Zhao W D，Li S S，Li A，Zhang B and Chen J. 2021. Deep fusion of hyperspectral images and multi-source remote sensing data for classification with convolutional neural network. National Remote Sensing Bulletin， 25（7）：1489-1502 国家重点研发计划（编号：2016YFB0502502）； 国家自然科学基金（编号：91638201）； 中国科学院遥感与数字地球研究所集成课题项目（编号：Y6JD260057） Supported by National Key Research and Development Program (No. 2016YFB0502502); National Natural Science Foundation of China (No. 91638201); Integrated Project of Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences (No. Y6JD260057) 2019-04-30 2021-07-07 2021-09-18 2019-09-29 遥感学报 7 25