深度递归残差网络的遥感图像空谱融合

深度递归残差网络的遥感图像空谱融合 Pan-sharpening by deep recursive residual network 1 2 first-author 王芬，1994年生，女，硕士研究生，研究方向为遥感图像处理、深度学习。E-mail：wangfen@radi.ac.cn 王芬，1994年生，女，硕士研究生，研究方向为遥感图像处理、深度学习。E-mail：wangfen@radi.ac.cn wangfen@radi.ac.cn 1 corresp 郭擎，1980年生，女，研究员，研究方向为遥感图像处理、遥感信息提取与应用、深度学习。E-mail：guoqing@aircas.ac.cn 郭擎，1980年生，女，研究员，研究方向为遥感图像处理、遥感信息提取与应用、深度学习。E-mail：guoqing@aircas.ac.cn guoqing@aircas.ac.cn 1 中国科学院空天信息创新研究院, 北京 100094 中国科学院空天信息创新研究院, 北京 100094 Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China 中国科学院大学 电子电气与通讯工程学院, 北京 100049 中国科学院大学 电子电气与通讯工程学院, 北京 100049 School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China 为了充分利用多光谱图像的光谱信息和全色图像的空间信息，本文提出一种基于深度递归残差网络的遥感图像空谱融合方法。方法将残差网络和递归网络相结合，利用残差网络学习低空间分辨率多光谱图像与高空间分辨率多光谱图像之间的残差，同时结合全局残差和局部残差，加快网络的收敛速度，解决深层次网络容易出现的梯度消失和梯度爆炸问题；利用递归神经网络在不增加权重参数、减轻过拟合的情况下通过提高网络层数来提高精度，得到更好的图像融合效果。为了验证本文方法的有效性，应用遥感图像进行模拟实验、真实实验和泛化实验，实验结果与传统方法和现有深度学习方法进行对比分析。主观视觉和客观定量评价表明，本文方法很好地改善了传统方法存在的光谱失真现象，并且较现有深度学习方法学习到更深层次丰富的图像特征，更好地保留了图像的空谱信息，同时泛化实验也说明本文的网络具有较好的泛化能力。 Pan-sharpening is a task in the field of remote sensing data fusion, in which multispectral (MS) images with rich spectral information but low spatial resolution and panchromatic (PAN) images with rich spatial details but only grey information are fused to yield images with high spatial and spectral resolution. Traditional Component Substitution (CS) methods replace a particular component of the MS image transformation with a PAN image, and then inversely transforms it to obtain the final fused image. The traditional MultiResolution Analysis (MRA) methods first extract spatial structures from the PAN image by using MRA transforms, and then the extracted spatial structure information is injected into the up-sampled MS images to obtain the fused image. The whole fusing process of the CS and MRA methods can be described as linear functions. However, the performance of such linear models are limited by their linearity, which often has spectral distortion. In recent years, many advanced nonlinear deep learning models have been proposed. However, those existing deep learning fusion models are relatively simple and pose difficultly in learn in-depth features. To overcome the shortcomings of the current models, we propose a deep recursive residual network that is specifically designed for the pan-sharpening task. Considering that the low-resolution input image and the high-resolution output image have high similarity, learning the relationship between input and output is highly redundant and difficult. If the sparse residual features between input and output are learned directly, then the network convergence can be significantly improved. Thus, the residual learning introduces the network structure, in which the introduced residuals include global residuals and local residuals. Such a structure is conducive to learning and not prone to overfitting. Moreover, the residual network can solve the problem of deep network gradient disappearance and gradient explosion well. Recursive network improves accuracy by increasing the number of network layers without increasing weight parameters. Specifically, as we use the residual network globally, recursive learning is introduced into residual learning by constructing recursive blocks structure, whereas multiple local residual units are stacked together in the recursive block. Through such an end-to-end network design, a better image fusion effect is obtained. Given that no ideal fusion result has been used as a label, we made a data set according to Wald’s protocol using the original MS as the ideal fused image, downsampling and then upsampling the MS as the MS of the network input, and the downsampled PAN as the PAN of the network input. To comprehensively analyze our experimental results, we performed a large number of simulation experiments and real experiments on the 4-band GaoFen-1 data and 8-band WorldView-2 data with abundant feature types. We then generalized them to 4-band GeoEye data and 8-band WorldView-3 data. Experimental results are compared with traditional methods and the existing deep learning methods. The subjective visual analysis and objective evaluation indicators show that the proposed method reduces the spectral distortion phenomenon of traditional methods and preserves the spectrum of an image better than the existing deep learning method does. The deep network designed in this paper has learned more in-depth and more luxurious image features and has achieved better fusion effects than existing methods. It uses a residual network to solve profound network gradient disappearance, gradient explosion, and degradation problems. In addition, the weight parameters are reduced by the design of the recurrent recursive block, and the network speed is improved. The generalization experiment shows that our network has a good generalization ability. 遥感图像融合 空谱融合 深度学习 卷积神经网络 残差网络 递归神经网络 remote sensing image fusion space spectrum fusion deep learning convolutional neural network residual network recursive network 1　引言 1 在遥感领域，随着成像系统和卫星技术的发展，发射的卫星数量越来越多，获得的卫星图像数据也越来越多。目前常见的光学卫星通常会提供两种类型的遥感图像：光谱信息丰富但空间分辨率低的多光谱图像MS （Multispectral Image）和空间细节丰富但只有灰度信息的全色图像PAN （Panchromatic Image）。为了获得空谱分辨率都高的图像，就需要将MS和PAN进行融合得到高空间分辨率的MS图像。 现有传统图像融合的方法有很多，主要有成分替换法（ Choi等，2011 Choi等，2011 ）和多分辨率分析法（ Mallat，1989 Mallat，1989 ；Le Pennec和Mallat，2000；Michea和Vani，2017； 王峰和程咏梅，2017 王峰和程咏梅，2017 ）两大类，当然另外还有基于模型优化的方法、混合法（ Ehlers，1991 Ehlers，1991 ）、变分法（ Socolinsky和Wolff，2002 Socolinsky和Wolff，2002 ； Piella，2009 Piella，2009 ； 许欣 等，2011 许欣 等，2011 ）和稀疏表示法（Tan，2016）等。 （1）成分替换法是最传统的融合方法，主要包括亮度—色度—饱和度变换法IHS （Intensity-Hue-Saturation）（ Koutsias等，2000 Koutsias等，2000 ）、主成分分析法PCA （Principle Component Analysis）（Chavez和Kwarteng，1989）、施密特正交化方法GS （Gram-Schmidt）（ Laben和Brower，2000 Laben和Brower，2000 ）和Brovery变换等。由于MS的某一分量被认为是全部的空间信息，但实际上还含有一定的光谱信息，所以简单地用PAN替换掉这些分量得到的融合结果往往会存在光谱失真现象。 （2）多分辨率分析的融合方法主要有小波变换法和多尺度几何分析法等，其融合过程在不同尺度、不同空间分辨率、不同分解层上分别进行，可以获得明显改善的融合效果，同时还具有使用场合广的特点。 由于MS和PAN通道覆盖的带宽很多时候不能保证在不同类型的传感器之间完全重叠。因此，用线性模型来模拟图像融合的过程就存在一定程度的局限性，为了保持这些观测图像的光谱保真度，就需要高度非线性函数进行模拟。随着深度学习的发展，卷积神经网络CNN（Convolutional Neural Network）已应用到图像融合的研究工作中，依赖其映射过程中的非线性特点取得了较好的融合效果（ Easley等，2008 Easley等，2008 ； Azarang和Ghassemian，2017 Azarang和Ghassemian，2017 ）。比如， Zhong等（2016） Zhong等（2016） 提出了一个结合超分辨率卷积神经网络SRCNN（CNN Based Super-Resolution）模型和GS变换的图像融合方法，该方法虽然取得了良好的融合效果，但却不是端到端的映射过程，没有完全脱离传统的图像融合方法。为了将融合过程建模为端到端的映射， Masi等（2016） Masi等（2016） 提出一种名为PNN（CNN-based Pan-sharpening）的网络，所使用的网络也遵循SRCNN模型，但直接学习低分辨率图像和高分辨率图像之间的关系，冗余度高，学习会比较困难。 Rao等（2017） Rao等（2017） 提出了一种基于残差卷积神经网络的图像融合方法，直接学习输入与输出之间的残差，即只学习高空间分辨率MS比低空间分辨率MS多的这一部分比较稀疏的特征，提高了网络的收敛速度，不过该方法仅包含3个卷积层。由于浅层网络很难学习到深层次丰富的地物特征，数据量增多时还会出现欠拟合， Wei等（2017） Wei等（2017） 提出了另一项将残差学习引入到图像融合的网络DRPNN（Deep Residual Pan-sharpening Neural Network），共包含11个卷积层。该方法采用7×7的大卷积核，训练过程中会增加网络参数，产生较大的网络模型，使得进一步测试困难。 针对以上图像融合中存在的问题，本文提出一种深层端到端的遥感图像空谱融合网络—深度递归残差网络DRRPN（Deep Recursive Residual Pan-sharpening Network）。利用残差网络解决深层次网络容易出现的梯度消失和梯度爆炸问题，加快网络的收敛速度。本文除了利用一般网络中的全局残差外，还引入了一种增强的局部残差，更加有利于学习。而且，深层次网络在训练过程中会引入更多的网络参数，产生更大的网络模型以及内存消耗，本文利用递归神经网络中参数共享的特点，在减少网络参数、减轻过拟合的同时加深网络层数，充分学习图像的深层次特征，提高图像融合的效果，且不会产生很大的内存消耗。 2　深度递归残差网络模型 1 本文的深度递归残差网络模型如 图1 图1 所示，该网络在输入到输出这一恒等分支使用全局残差，在残差分支，通过构造递归块结构将递归学习引入到残差学习中，同时，在递归块中多个局部残差单元堆叠在一起。 2.1　残差网络 2 随着网络层数的增加，梯度在反向传播的过程中往往会出现消失或爆炸现象，同时深层次网络也可能会出现难以收敛、性能下降的问题。本文利用残差网络解决以上问题，残差网络模型的数据传递过程如 图2 图2 所示，网络输入即恒等分支为 <math id="M1"><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195755&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195750&type= 2.37066650 3.72533321 ，残差分支输出为 <math id="M2"><mi>F</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195766&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195761&type= 8.04333401 5.16466665 ，最终输出为残差分支与恒等分支之和： <math id="M3"><mi>F</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfenced><mo>+</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195772&type= 14.81666565 5.16466665 。数据前向传递的过程为 <math display="block" id="M4"><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>F</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfenced><mo>+</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195791&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195785&type= 29.29466629 5.16466665 式中， <math id="M5"><msub><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195796&type= 3.04800010 3.72533321 为权重参数。残差网络中恒等分支的存在，使得梯度在后向传播过程中不需要经过那么多层，避免出现梯度更新信息以指数形式衰减或增加，所以残差网络可以很好地解决梯度消失和梯度爆炸的问题。 传统图像融合可以用数学公式概括为以下线性模型： <math display="block" id="M6"><mi mathvariant="normal">M</mi><msub><mrow><mover accent="true"><mi mathvariant="normal">S</mi><mo>̂</mo></mover></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">M</mi><msub><mrow><mover><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195821&type= 24.55333328 4.65666676 式中， <math id="M7"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195875&type= 1.69333339 2.62466669 表示波段数， <math id="M8"><mi mathvariant="normal">M</mi><msub><mrow><mover><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195849&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195844&type= 5.84200001 4.48733330 表示上采样到与PAN具有相同空间分辨率的MS图像， <math id="M9"><mi mathvariant="normal">M</mi><msub><mrow><mover accent="true"><mi mathvariant="normal">S</mi><mo>̂</mo></mover></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195890&type= 5.84200001 4.65666676 表示融合图像， <math id="M10"><msub><mrow><mi>D</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195898&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195896&type= 3.55599999 3.72533321 表示MS图像第 <math id="M11"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195875&type= 1.69333339 2.62466669 个波段空间细节信息的补充。由于 <math id="M12"><mi mathvariant="normal">M</mi><msub><mrow><mover><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195888&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195882&type= 5.84200001 4.48733330 和 <math id="M13"><mi mathvariant="normal">M</mi><msub><mrow><mover accent="true"><mi mathvariant="normal">S</mi><mo>̂</mo></mover></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195890&type= 5.84200001 4.65666676 在很大程度共享低频信息，如果只学习空间分布稀疏的高频残差信息 <math id="M14"><msub><mrow><mi>D</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195898&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195896&type= 3.55599999 3.72533321 ，这样就可以更快更容易地寻找到网络中权重项与偏置项｛ W ，b ｝的最优分配，允许添加更多的层到网络中，并可加快网络收敛速度，提高网络性能。所以本文在输入到输出这一恒等分支采用了残差学习，称之为全局残差学习。此外，非常深的网络可能会出现性能下降，原因可能是经过很多层之后，大量的图像细节信息丢失了。为了解决这一问题，参考 Tai等（2017） Tai等（2017） 在解决超分辨率重建问题中引入的一种增强残差单元结构，也称为多路径模式局部残差学习，本文设计了局部残差单元，如 图1 图1 绿色虚线框所示。与链模式相比，这种多路径模式有利于学习，不易发生过拟合。 2.2　递归神经网络 2 深层次网络需要更多的网络参数以及更大的内存空间，往往使得模型运行起来较慢也较困难。本文利用递归神经网络解决以上问题，递归神经网络的网络节点按其连接顺序对输入信息进行递归，每个节点都可以有数据输入，对于第 <math id="M15"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196215&type= 1.10066664 2.62466669 阶层的节点，其系统状态的计算方式为 <math display="block" id="M16"><msup><mrow><mi>h</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msup><mo>=</mo><mi>f</mi><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msubsup><mrow><mi>h</mi></mrow><mrow><mi>c</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msubsup><mo>+</mo><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>x</mi><mo>+</mo><mi>b</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195914&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195911&type= 39.03133011 4.65666676 式中， <math id="M17"><msup><mrow><mi>h</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195921&type= 3.89466691 3.04800010 、 <math id="M18"><msubsup><mrow><mi>h</mi></mrow><mrow><mi>c</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195933&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195929&type= 3.97933316 3.72533321 为该节点和其所有父节点的系统状态， <math id="M19"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195942&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195938&type= 1.69333339 2.62466669 为该节点的输入， <math id="M20"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195954&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195949&type= 1.10066664 3.47133350 为激活函数， <math id="M21"><mi mathvariant="bold-italic">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195964&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195959&type= 2.62466669 2.62466669 、 <math id="M22"><mi mathvariant="bold-italic">W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195973&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195969&type= 3.04800010 2.62466669 和 <math id="M23"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195979&type= 1.69333339 2.62466669 为权重参数。权重参数与节点的阶层无关，即递归神经网络所有节点的权重是共享的。利用递归神经网络中参数共享的特点，在不增加网络参数、减轻过拟合的同时增加网络层数，学习到深层次丰富的图像特征。 递归神经网络是由专门处理序列数据的链状结构循环神经网络（ 图3（a） 图3（a） ）扩展到树状结构的（ 图3（b） 图3（b） ），当递归神经网络的结构退化为线性序列结构（ 图3（c） 图3（c） ）时，递归神经网络就等价于简单循环网络。本文引入 图3（c） 图3（c） 的递归神经网络退化结构，而且让其 <math id="M24"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><mo>⋯</mo><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195992&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195987&type= 34.45933533 3.72533321 ，即局部残差单元的恒等分支共享同一个输入，这样不仅将丰富的图像细节传输到后面的层，而且还有助于训练过程中的梯度反向传播。在这一整个递归块（ 图1 图1 红色虚线框）中，包括10个局部残差单元（ 图1 图1 绿色虚线框），每个局部残差单元对应的卷积层（ 图1 图1 绿色层和红色层）共享权值。 2.3　深度递归残差网络结构 2 本文的深度递归残差网络结构中，MS和PAN一起作为输入 <math id="M25"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mi>M</mi><mi>S</mi><mo>,</mo><mi>P</mi><mi>A</mi><mi>N</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196001&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20195997&type= 24.46866608 4.14866638 输入网络，在卷积层之前执行批归一化BN（Batch Normalization）和激活函数，本文采取的激活函数为ReLU（Rectified Linear Unit）。为了节省计算，在递归块前引入一个卷积层得到 <math id="M26"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196157&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196153&type= 3.80999994 3.72533321 （ Liang和Hu，2015 Liang和Hu，2015 ），这一过程可以表示为 <math display="block" id="M27"><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mi>B</mi><mi>N</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196020&type= 20.23533440 5.24933338 <math display="block" id="M28"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi>L</mi><mi>U</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196036&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196029&type= 24.29933357 5.24933338 <math display="block" id="M29"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="normal">*</mi><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196041&type= 25.73866653 3.80999994 式中， BN 可以解决收敛速度较慢、梯度爆炸等无法训练的情况；ReLU在函数中引入非线性： <math id="M30"><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">U</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mfenced><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><mn mathvariant="normal">0</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196054&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196052&type= 36.91466904 5.24933338 。本文在整个网络中的每一个卷积层之前都引入BN和ReLU，如 图1 图1 中第一个卷积层中表示的那样。*代表三维卷积， <math id="M31"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196059&type= 4.06400013 3.72533321 表示权重参数， <math id="M32"><msub><mrow><mi>b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196072&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196069&type= 2.87866688 3.72533321 表示偏置项。 1,2,3;4; 在递归块中多个局部残差单元堆叠， <math id="M33"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196150&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196144&type= 3.64066648 3.72533321 输入第一个局部残差网络单元，经过两次卷积，得到的结果与 <math id="M34"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196157&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196153&type= 3.80999994 3.72533321 相加作为下一个局部残差单元的输入，省略BN和ReLU，整个递归块中局部残差单元的学习过程可以表示为 <math display="block" id="M35"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi></mrow></msub><mo>=</mo><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi></mrow></msub><mi mathvariant="normal">*</mi><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi></mrow></msub></mrow></mfenced><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">10</mn><mo>;</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196168&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196162&type= 55.11800003 5.24933338 式中， i =1时， <math id="M36"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196179&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196175&type= 12.02266598 3.72533321 。 <math display="block" id="M37"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="normal">*</mi><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi></mrow></msub><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">10</mn><mo>;</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196186&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196183&type= 62.99200058 5.24933338 <math display="block" id="M38"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">10</mn><mo>.</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196195&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196192&type= 45.21200180 4.31799984 式中， <math id="M39"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196215&type= 1.10066664 2.62466669 表示局部残差块的循环次数， <math id="M40"><msub><mrow><mi>E</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196212&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196207&type= 3.04800010 3.72533321 表示经过第 <math id="M41"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196215&type= 1.10066664 2.62466669 次循环后的结果 <math id="M42"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196228&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196221&type= 7.61999989 3.72533321 与 <math id="M43"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196230&type= 3.80999994 3.72533321 之和。 最后得到 <math id="M44"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196245&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196241&type= 4.57200003 3.72533321 ，经过一次卷积操作得到bands+1个通道的输出 <math id="M45"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">22</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196250&type= 4.82600021 3.72533321 ， <math id="M46"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">22</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196263&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196259&type= 4.82600021 3.72533321 与网络输入数据相加再经过卷积得到最终bands个通道的输出 <math id="M47"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">23</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196271&type= 4.82600021 3.72533321 ，然后用 <math id="M48"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">23</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196282&type= 4.82600021 3.72533321 与地面真实值比较，通过约束损失函数最优化 <math id="M49"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">23</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196295&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196291&type= 4.82600021 3.72533321 ，整个过程中使用随机梯度下降SGD（Stochastic Gradient Descent）和反向传播BP（Back Propagation）来学习｛ W ，b ｝。损失函数表示为 <math display="block" id="M50"><mi>L</mi><mi mathvariant="normal">o</mi><mi>s</mi><mi>s</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">23</mn></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196298&type= 31.32666588 7.70466709 式中， <math id="M51"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mn mathvariant="normal">23</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196309&type= 4.82600021 3.72533321 表示网络最后一层输出结果， <math id="M52"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196318&type= 3.13266683 3.72533321 表示地面真实值。 3　实验与分析 1 3.1　实验设置 2 3.1.1　数据集 3 由于没有理想的融合结果作为标签，本文根据Wald协议（ Wald等，1997 Wald等，1997 ）制作数据集，用原始的MS作为理想的融合图像，下采样再上采样的MS作为网络输入的MS，下采样的PAN作为网络输入的PAN，这样网络输入MS、PAN与理想的融合图像之间的关系和真实融合关系保持一致，数据集制作过程如 图4 图4 所示。在本次实验中，分别使用了包含农田，森林，河流，各种建筑物和裸地等地物的WorldView-2（WV-2）和GaoFen-1（GF-1）的影像数据进行8波段和4波段实验。WV-2的MS图像分辨率为1.6 m，全色图像的分辨率为0.4 m，将下采样再上采样的1.6 m分辨率的MS和经过4倍下采样的1.6 m分辨率的PAN作为网络输入图像，原始的1.6 m分辨率的MS图像作为理想的图像。同样地，GF-1的MS图像分辨率为8 m，全色图像的分辨率为2 m，将下采样再上采样的8 m分辨率的MS和经过4倍下采样的8 m分辨率的PAN作为网络输入图像，原始的8 m分辨率的MS图像作为理想的图像。 网络训练采用32×32的小块作为网络输入，8波段的训练使用100864个数据，4波段的训练使用104960个数据。因为本文的训练数据是根据Wald协议制作而来的，即得到的是模拟数据，为了更加全面地分析融合结果，本文还测试了真实图像，其中模拟的测试实验采用200×200的块作为网络输入，真实的测试实验采用800×800的块作为网络输入。考虑到个别测试图像的特殊性，4波段和8波段的模拟实验都测试了200张图片，真实实验都测试了50张图片，保证测试结果可以客观地反映实验结果，更加具有参考性。 3.1.2　网络层数的确定 3 本文实验了11，13，15，17，19，21，23，25层网络，发现随着网络层数的增加，所得到的融合结果也在变好。选取4种图像融合的评价指标Q8（Q8-index）、全局相对光谱损失ERGAS（Erreur Relative Globale Adimensionnelle de Synthèse）、光谱角映射SAM（Spectral Angle Mapper）和通用图像质量指数Q（Universal Image Quality Index）对融合结果进行评价，得到融合结果评价指标（纵轴）随着网络层数（横轴）的变化曲线（ 图5 图5 ）。发现当从第23层增加到第25层时，出现了下降的趋势。所以本文的网络层数最终确定为23层。 1,2;3,4; 3.1.3　模型训练的细节 3 由于大的卷积核会导致计算量的增加，不适用于深层网络，而且计算性能也会下降。比如，VGG（Visual Geometry Group）曾利用2个3×3卷积核的组合得到了比1个5×5卷积核更好的结果（ Simonyan和Zisserman，2014 Simonyan和Zisserman，2014 ），验证了多个小卷积核叠加使用比单独使用大卷积核性能更佳，同时也会降低参数个数和计算复杂度，所以本文选用了3×3的卷积核。同时设置每个卷积层有64个滤波器。 本次实验中的4波段和8波段都迭代了300个周期（大约40多万次），网络的批量输入块尺寸为64。权重衰减参数 λ 为0.00001，梯度裁剪参数δ为0.1，动量 µ 设置为0.9。最初的学习率设置为0.1，迭代次数每增加总迭代次数的1/5次学习率就更新为0.5倍。网络模型的训练在Linux系统下的Caffe框架下完成，使用GPU加速。处理器为Intel（R）Xeon（R）CPU E5620 @ 2.40 GHz，显卡为NVIDIA GeForce GTX 1080 Ti。训练过程大约经过了17个小时。 网络模型的测试是基于MatConvNet框架，在Matlab R2016a上实现，处理器为Intel Core i5-4590 CPU @ 3.30 GHz，4 GB内存。 3.2　实验结果与分析 2 为了验证本文实验方法的有效性，选取了几种传统的图像融合方法和目前流行的基于深度学习的图像融合方法。传统的方法分别为GS、IHS、PCA、Brovery变换、基于调制传递函数的广义拉普拉斯金字塔（MTF_GLPModulation Transfer Function based Generalized Laplacian Pyramid）、局部参数估计的带相关空间细节BDSD（Band-Dependent Spatial-Detail with local parameter estimation）、加性小波亮度比的方法AWLP（Additive Wavelet Luminance Proportional）、Indusion方法、高通滤波法HPF（High-Pass Filtering）和部分替换自适应分量替换PRACS（Partial Replacement Adaptive Component Substitution）。其中，BDSD、Brovery、GS、IHS、PCA 和PRACS属于成分替换法；MTF_GLP、AWLP、Indusion和HPF属于多分辨率分析法。基于深度学习的图像融合方法有PNN和DRPNN。 为了综合全面地分析本文的实验结果，利用GF-1和WV-2数据都分别进行了模拟实验和真实实验，同时用GeoEye数据和WorldView-3（WV-3）数据进行了泛化实验。在模拟实验中，将原始的MS作为理想的融合结果，先下采样再上采样的MS和下采样的PAN作为输入，实验得到的结果和原始的MS进行对比评价，得到指标结果。针对模拟实验，选取了Q、Q4/Q8、ERGAS、SAM和空间相关系数SCC（Spatial Correlation Coefficient）作为评价指标，其中，Q、Q4/Q8和SCC的理想值为1，ERGAS和SAM的理想值为0。模拟实验最终的评价结果为200组模拟图像评价结果的平均。 在真实实验中，直接将上采样的MS和PAN输入网络，得到实验结果。选取了QNR（Quality with No Reference）、分别量化空间和光谱失真的 <math id="M53"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196432&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196428&type= 3.47133350 3.72533321 和 <math id="M54"><msub><mrow><mi>D</mi></mrow><mrow><mi>λ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196980&type= 3.89466691 3.72533321 作为评价指标，这是因为在真实试验中没有理想的参考图像，而这些指标恰恰不需要理想的参考图像，只是通过融合结果、原始的MS和PAN所求就可得到。其中，QNR的理想值为1， <math id="M55"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196432&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196428&type= 3.47133350 3.72533321 和 <math id="M56"><msub><mrow><mi>D</mi></mrow><mrow><mi>λ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196980&type= 3.89466691 3.72533321 的理想值为0。真实实验最终的评价结果为50组真实图像评价结果的平均。 3.2.1　模拟遥感图像的对比实验 3 4波段GF-1数据和8波段WV-2数据模拟实验的视觉结果以及评价结果分别如 图6 图6 和 图7 图7 以及 表1 表1 和 表2 表2 所示。融合结果采用真彩色显示，表中每一列的最优评价结果加粗显示。 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 注： 表中每一列加粗显示的为最优评价结果。 2 方法 6 指标 Q Q4 SAM ERGAS SCC Time/s （CPU） Brovery 0.6098 0.6189 3.0542 5.0532 0.4364 0.0089 PRACS 0.8339 0.7270 3.1751 3.0784 0.6833 0.1115 BDSD 0.6887 0.6245 4.7532 5.3378 0.4189 0.0754 GS 0.5582 0.6756 5.9082 5.9536 0.3882 0.0166 IHS 0.5992 0.6635 3.6688 5.1066 0.4437 0.0081 PCA 0.4428 0.6302 8.7647 7.1554 0.3691 0.0633 AWLP 0.6940 0.6232 3.3639 4.7713 0.4126 0.0826 HPF 0.6896 0.6614 3.6470 4.8157 0.4010 0.0238 Indusion 0.6550 0.6260 4.0716 5.4726 0.4399 0.0460 PNN 0.9427 0.8128 2.3233 1.7967 0.9179 1.0391 DRPNN 0.9643 0.8500 1.9150 1.4065 0.9495 15.0245 本文方法 0.9687 0.8598 1.7793 1.3746 0.9543 8.0379 注： 表中每一列加粗显示的为最优评价结果。 2 方法 6 指标 Q Q8 SAM ERGAS SCC Time/s （CPU） Brovery 0.8153 0.6159 7.2942 5.1912 0.8496 0.0077 PRACS 0.8276 0.6261 7.1332 5.0219 0.7942 0.2593 BDSD 0.8077 0.6293 10.3718 6.0708 0.8022 0.0997 GS 0.8146 0.6201 7.3551 5.1609 0.8489 0.0275 IHS 0.8113 0.6139 7.6165 5.2704 0.8315 0.0057 PCA 0.6896 0.5874 9.2769 6.4999 0.7630 0.0641 AWLP 0.8754 0.6786 6.9507 4.4697 0.8506 0.1529 HPF 0.8726 0.6553 6.9346 4.3994 0.8528 0.0431 Indusion 0.8573 0.6645 7.3557 4.7793 0.8405 0.0890 PNN 0.9436 0.7703 4.6886 2.7857 0.9503 1.2558 DRPNN 0.9484 0.7826 4.4543 2.6368 0.9572 15.1767 本文方法 0.9511 0.7875 4.2992 2.5599 0.9609 8.3287 从主观视觉上可以看出，在光谱保真度方面，传统方法得到的结果大多都存在光谱失真的现象，其中，4波段Brovery、IHS和PCA较为严重，8波段IHS、PCA和Indusion较为严重，深度学习的方法在光谱保真方面远远优于传统方法。在空间细节清晰度方面，从 图6 图6 中的黄色放大框可以看出，本文方法较PNN和DRPNN更好地保留了空间细节信息，比如，本文方法（ 图6（n） 图6（n） 和 图7（n） 图7（n） ）的地物边界更明显，空间细节清晰度更高。 除了主观视觉分析外，从客观评价指标可以看到，在Q、Q4/Q8、ERGAS、SAM和SCC这些指标上，本文方法优于传统方法以及深度学习的PNN和DRPNN方法，这表明本文方法取得了较好的结果。 3.2.2　真实遥感图像的对比实验 3 4波段GF-1数据和8波段WV-2数据真实实验的视觉结果以及评价结果分别如 图8 图8 和 图9 图9 以及 表3 表3 和 表4 表4 所示。8波段WV-2数据的融合结果采用真彩色显示。为了更好地展示融合结果在各个波段的图像中都有较好的光谱保持特性，也为了突出融合方法在大家熟知的植被地物类型上的表现，4波段GF-1的融合结果图利用了标准假彩色显示，即近红外—红—绿3波段组合的形式显示。 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 注： 表中每一列加粗显示的为最优评价结果。 2 方法 4 指标 QNR <math id="M57"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196951&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196949&type= 2.62466669 2.87866688 <math id="M58"><msub><mrow><mi>D</mi></mrow><mrow><mi>λ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196954&type= 3.13266683 2.87866688 Time/s（CPU） Brovery 0.4654 0.4302 0.1836 0.0603 BDSD 0.9385 0.0299 0.0327 0.4250 MTF_GLP 0.6205 0.2582 0.1636 0.9181 IHS 0.4369 0.4599 0.1917 0.0565 PCA 0.4923 0.4608 0.0869 0.2283 GS 0.5415 0.4112 0.0818 0.2267 AWLP 0.6386 0.2479 0.1512 1.1340 HPF 0.6895 0.2079 0.1297 0.2813 Indusion 0.7396 0.0931 0.1843 0.4150 PRACS 0.7678 0.2096 0.0308 1.4626 PNN 0.9444 0.0258 0.0308 16.7798 DRPNN 0.9448 0.0316 0.0246 941.2703 本文方法 0.9523 0.0339 0.0144 135.1128 注： 表中每一列加粗显示的为最优评价结果。 2 方法 4 指标 QNR <math id="M59"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196951&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196949&type= 2.62466669 2.87866688 <math id="M60"><msub><mrow><mi>D</mi></mrow><mrow><mi>λ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196954&type= 3.13266683 2.87866688 Time/s（CPU） Brovery 0.8240 0.1157 0.0680 0.0710 BDSD 0.8577 0.0653 0.0826 0.7017 MTF_GLP 0.7778 0.1331 0.1030 1.6226 IHS 0.8090 0.1075 0.0937 0.0668 PCA 0.6895 0.2213 0.1180 0.4787 GS 0.8373 0.1121 0.0571 0.4026 AWLP 0.8060 0.1175 0.0870 2.2568 HPF 0.7975 0.1262 0.0874 0.5659 Indusion 0.8399 0.0907 0.0765 0.7862 PRACS 0.9105 0.0785 0.0121 4.2979 PNN 0.8743 0.0829 0.0470 20.8264 DRPNN 0.8717 0.0863 0.0463 962.2089 本文方法 0.8809 0.0805 0.0424 135.6996 从视觉上可以看出，4波段的传统方法中，Brovery、MTF_GLP、IHS、PCA、GS、AWLP、HPF和Indusion都较好地保留了空间细节信息，但是却存在着光谱失真的现象；BDSD和PRACS的光谱信息虽然较为接近于理想值，但是他们的空间细节丢失严重。8波段的传统方法Brovery、BDSD、IHS、PCA和GS存在严重的光谱失真且空间细节丢失严重；MTF_GLP、HPF和Indusion都存在轻微的光谱失真的现象；AWLP和PRACS的空间细节信息缺失。同时对比深度学习的方法，从 图8 图8 和 图9 图9 的黄色放大框中可以看出本文方法在空间细节清度和光谱信息保持上都表现较好，比如，本文方法（ 图8（o） 图8（o） 和 图9（o） 图9（o） ）中的地物边界纹理信息更加清晰，地物光谱保真度也更高。 客观定量评价方面，4波段在 <math id="M61"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196988&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196987&type= 3.30200005 3.72533321 上表现不如BDSD和PNN，但是从主观视觉上分析BDSD和PNN的结果图会发现，BDSD的空间细节清晰度明显不如本文的方法，且存在明显的块效应。PNN虽然在空间指标 <math id="M62"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196971&type= 3.30200005 3.72533321 上稍优于本文的方法，但综合考虑光谱指标 <math id="M63"><msub><mrow><mi>D</mi></mrow><mrow><mi>λ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196980&type= 3.89466691 3.72533321 和总体评价指标QNR，本文的方法还是表现较好。8波段在QNR和 <math id="M64"><msub><mrow><mi>D</mi></mrow><mrow><mi>λ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196980&type= 3.89466691 3.72533321 上不如PRACS，在 <math id="M65"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196988&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20196987&type= 3.30200005 3.72533321 上不如PRACS和BDSD，但是从主观视觉上分析PRACS和BDSD的结果图会发现，PRACS和BDSD的空间细节清晰度远不如本文方法，BDSD也较本文方法存在光谱失真现象，同时BDSD存在着严重的块效应。 针对本文提到的3种基于深度学习的遥感图像融合方法，从 表1 表1 — 表4 表4 的时间性能评价结果可以看出，本文提出方法的运行速度较PNN方法的运行速度慢，较DRPNN方法的运行速度快。具体来说，针对模拟实验，PNN方法的运行时间大约是本文方法的1/8倍，DRPNN方法的运行时间大约是本文方法的2倍；针对真实实验，PNN方法的运行时间大约是本文方法的1/8倍，DRPNN方法的运行时间大约是本文方法的7倍。同时从 表1 表1 — 表4 表4 的精度评价指标和 图6 图6 — 图9 图9 的结果图可以看出，本文方法的精度较PNN和DRPNN都有了一定程度的提高，体现在图像上就是本文方法更好地保留了图像空谱信息，尤其相对于PNN方法更加明显。另外，由上面的模拟实验和真实实验可以看出，对于不同的融合结果评价指标，图像表现能力的趋势基本一致，所以本文只选取一个模拟图像的评价指标Q，比较PNN、DRPNN和本文提出方法在该评价指标上的表现与模型大小的关系（ 图10 图10 ），可以看出本文方法虽然较PNN方法的模型大，但是精度却有了很大的提升，较DRPNN方法不仅减小了模型大小，而且提高了模型精度，在精度—模型大小（时耗）问题上得到了很好的平衡。针对以上现象，分析其原因，本文23层的网络相较于PNN的3层网络在层数增加的同时，带入了更多的网络参数，增大了网络模型，从而也就减慢了网络的运行速度。相较于DRPNN的11层网络虽然也增加了网络层数，但是采用3×3的卷积核，以及利用递归神经网络参数共享的特点减少了我们深层次网络的模型大小，同时残差网络使得我们的深层次网络得到了很好的训练。 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 3.2.3　泛化实验 3 为了验证本文网络模型的泛化能力，直接用GF-1和WV-2遥感数据训练的模型分别测试GeoEye和WV-3的遥感数据，其中GeoEye的融合结果采用真彩色显示，WV-3的融合结果采用标准假彩色显示，实验结果分别如 图11 图11 和 图12 图12 所示。 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 针对4波段的GeoEye图像的泛化实验结果，可以看出，传统的方法都存在一定程度的光谱失真。在深度学习的方法中，从 图11 图11 的局部放大框可以看出PNN的树整体偏暗，也就是存在着光谱失真的现象，DRPNN的树上带有多余的纹理信息。针对8波段WV-3图像的泛化实验结果，同样也可以看出传统的方法都存在一定程度的光谱失真，尤其是BDSD、Brovery、GS、IHS和PCA。在深度学习的方法中，从 图12 图12 中可以看出，PNN的地物都存在光谱失真的现象，比如树、建筑物等。DRPNN虽然比PNN较好，房屋存在轻微的光谱失真现象，但是从黄色放大框可以看出树却存在着严重的光谱失真现象。与上述方法相比，本文的方法在空间细节清晰度和光谱信息保持上都有很好的表现，可以说明本文提出的方法具有较好的泛化能力。 4　结论 1 本文针对目前的大多数传统图像融合方法存在光谱失真、现有基于深度学习的图像融合方法直接学习输入到输出困难、不能够端到端、网络较浅等问题，提出了一种深层次端到端的遥感图像空谱融合网络—深度递归残差网络DRRPN。一方面，利用残差网络学习图像中稀疏的高频信息部分，加快了网络收敛速度，而且在加深网络层次时又避免了梯度消失和梯度爆炸问题。另一方面，利用递归神经网络中参数共享的特点，解决了深层次网络因为更多参数以及更大内存消耗而运行困难的问题，在不增加网络参数、减轻过拟合的情况下加深了网络层数。不同波段不同地物类型不同卫星数据的模拟实验、真实实验和泛化实验结果表明，本文方法有效改善了光谱失真现象，同时又较好地注入了高空间分辨率图像的空间细节信息，相对所对比的两种深度学习方法也具有较好的泛化能力。另外，本文选取了目前常用的L2损失函数，后续可选择更适合图像融合的损失函数继续开展进一步的研究工作。 参考文献（References） Azarang A and Ghassemian H . 2017 . A new pansharpening method using multi resolution analysis framework and deep neural networks // Proceedings of the 2017 3rd International Conference on Pattern Recognition and Image Analysis (IPRIA) . Shahrekord, Iran : IEEE : 1 - 6 [ DOI: 10.1109/PRIA.2017.7983017 http://dx.doi.org/10.1109/PRIA.2017.7983017 ] A new pansharpening method using multi resolution analysis framework and deep neural networks Chavez P S and Kwarteng A Y . 1988 . Extracting spectral contrast in landsat thematic mapper image data using selective principal component analysis . Photogrammetric Engineering and Remote Sensing , 55 ( 3 ): 339 - 348 Extracting spectral contrast in landsat thematic mapper image data using selective principal component analysis Choi J , Yu K and Kim Y . 2011 . A new adaptive component-substitution-based satellite image fusion by using partial replacement . IEEE Transactions on Geoscience and Remote Sensing , 49 ( 1 ): 295 - 309 [ DOI: 10.1109/TGRS.2010.2051674 http://dx.doi.org/10.1109/TGRS.2010.2051674 ] A new adaptive component-substitution-based satellite image fusion by using partial replacement Easley G , Labate D and Lim W Q . 2008 . Sparse directional image representations using the discrete shearlet transform . Applied and Computational Harmonic Analysis , 25 ( 1 ): 25 - 46 [ DOI: 10.1016/j.acha.2007.09.003 http://dx.doi.org/10.1016/j.acha.2007.09.003 ] Sparse directional image representations using the discrete shearlet transform Ehlers M . 1991 . Multisensor image fusion techniques in remote sensing . ISPRS Journal of Photogrammetry and Remote Sensing , 46 ( 1 ): 19 - 30 [ DOI: 10.1016/0924-2716(91)90003-e http://dx.doi.org/10.1016/0924-2716(91)90003-e ] Multisensor image fusion techniques in remote sensing Koutsias N , Karteris M and Chuvieco E . 2000 . The use of intensity-hue-saturation transformation of landsat-5 thematic mapper data for burned land mapping . Photogrammetric Engineering and Remote Sensing , 66 ( 7 ): 829 - 839 The use of intensity-hue-saturation transformation of landsat-5 thematic mapper data for burned land mapping Laben C A and Brower B V . 2000 . Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S ., No . 6011875 Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S Le Pennec E and Mallat S . 2000 . Image compression with geometrical wavelets // Proceedings 2000 International Conference on Image Processing . Vancouver, Canada : IEEE : 661 - 664 [ DOI: 10.1109/ICIP.2000.901045 http://dx.doi.org/10.1109/ICIP.2000.901045 ] Image compression with geometrical wavelets Liang M and Hu X L . 2015 . Recurrent convolutional neural network for object recognition // Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Boston, MA, USA : IEEE : 3367 - 3375 [ DOI: 10.1109/cvpr.2015.7298958 http://dx.doi.org/10.1109/cvpr.2015.7298958 ] Recurrent convolutional neural network for object recognition Mallat S G . 1989 . Multifrequency channel decompositions of images and wavelet models . IEEE Transactions on Acoustics, Speech, and Signal Processing , 37 ( 12 ): 2091 - 2110 [ DOI: 10.1109/29.45554 http://dx.doi.org/10.1109/29.45554 ] Multifrequency channel decompositions of images and wavelet models Masi G , Cozzolino D , Verdoliva L and Scarpa G . 2016 . Pansharpening by convolutional neural networks . Remote Sensing , 8 ( 7 ): 594 [ DOI: 10.3390/rs8070594 http://dx.doi.org/10.3390/rs8070594 ] Pansharpening by convolutional neural networks Micheal A A and Vani K . 2017 . Multi-sensor image fusion of the lunar image data using DT-CWT and curvelet transform // Proceedings of the 2017 4th International Conference on Electronics and Communication Systems (ICECS) . Coimbatore, India : IEEE : 49 - 53 [ DOI: 10.1109/ECS.2017.8067835 http://dx.doi.org/10.1109/ECS.2017.8067835 ] Multi-sensor image fusion of the lunar image data using DT-CWT and curvelet transform Piella G . 2009 . Image fusion for enhanced visualization: A variational approach . International Journal of Computer Vision , 83 ( 1 ): 1 - 11 [ DOI: 10.1007/s11263-009-0206-4 http://dx.doi.org/10.1007/s11263-009-0206-4 ] Image fusion for enhanced visualization: A variational approach Rao Y Z , He L and Zhu J W . 2017 . A residual convolutional neural network for pan-shaprening // Proceedings of 2017 International Workshop on Remote Sensing with Intelligent Processing (RSIP) . Shanghai, China : IEEE : 1 - 4 [ DOI: 10.1109/RSIP.2017.7958807 http://dx.doi.org/10.1109/RSIP.2017.7958807 ] A residual convolutional neural network for pan-shaprening Simonyan K and Zisserman A . 2014 . Very deep convolutional networks for large-scale image recognition . arXiv: 1409.1556 . Very deep convolutional networks for large-scale image recognition Socolinsky D A and Wolff L B . 2002 . Multispectral image visualization through first-order fusion . IEEE Transactions on Image Processing , 11 ( 8 ): 923 - 931 [ DOI: 10.1109/tip.2002.801588 http://dx.doi.org/10.1109/tip.2002.801588 ] Multispectral image visualization through first-order fusion Tai Y , Yang J and Liu X M . 2017 . Image super-resolution via deep recursive residual network // Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : IEEE : 2790 - 2798 [ DOI: 10.1109/cvpr.2017.298 http://dx.doi.org/10.1109/cvpr.2017.298 ] Image super-resolution via deep recursive residual network Tan H , Huang X H , Tan H C and He C T . 2012 . A comparative analysis of pixel-level image fusion based on sparse representation // Proceedings of 2012 International Conference on Computational Problem-Solving (ICCP) . Leshan, China : IEEE : 332 - 334 [ DOI: 10.1109/ICCPS.2012.6384257 http://dx.doi.org/10.1109/ICCPS.2012.6384257 ] A comparative analysis of pixel-level image fusion based on sparse representation Wald L , Ranchin T and Mangolini M . 1997 . Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images . Photogrammetric Engineering and Remote Sensing , 63 ( 6 ): 691 - 699 Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images Wang F and Cheng Y M . 2017 . Visible and infrared image enhanced fusion based on MSSTO and NSCT transform . Control and Decision , 32 ( 2 ): 269 - 274 Visible and infrared image enhanced fusion based on MSSTO and NSCT transform 王峰 , 程咏梅 . 2017 . 基于MSSTO与NSCT变换的可见光与红外图像增强融合 . 控制与决策 , 32 ( 2 ): 269- 274 [ DOI: 10.13195/j.kzyjc.2015.1406 http://dx.doi.org/10.13195/j.kzyjc.2015.1406 ] 基于MSSTO与NSCT变换的可见光与红外图像增强融合 Wei Y C , Yuan Q Q , Shen H F and Zhang L P . 2017 . Boosting the accuracy of multispectral image pansharpening by learning a deep residual network . IEEE Geoscience and Remote Sensing Letters , 14 ( 10 ): 1795 - 1799 [ DOI: 10.1109/lgrs.2017.2736020 http://dx.doi.org/10.1109/lgrs.2017.2736020 ] Boosting the accuracy of multispectral image pansharpening by learning a deep residual network Xu X , Chen Q , Sun H J and Xia D S . 2011 . Image visualization improvement based on gradient fusion . Journal of Image and Graphics , 16 ( 2 ): 278 - 286 Image visualization improvement based on gradient fusion 许欣 , 陈强 , 孙怀江 , 夏德深 . 2011 . 基于梯度域融合的图像视觉效果改善 . 中国图象图形学报 , 16 ( 2 ): 278- 286 [ DOI: 10.11834/jig.20110221 http://dx.doi.org/10.11834/jig.20110221 ] 基于梯度域融合的图像视觉效果改善 Zhong J Y , Yang B , Huang G Y , Zhong F and Chen Z Z . 2016 . Remote sensing image fusion with convolutional neural network . Sensing and Imaging , 17 ( 1 ): 10 [ DOI: 10.1007/s11220-016-0135-6 http://dx.doi.org/10.1007/s11220-016-0135-6 ] Remote sensing image fusion with convolutional neural network 10.11834/jrs.20219250 1007-4619（2021）06-1244-13 王芬，郭擎，葛小青.2021.深度递归残差网络的遥感图像空谱融合.遥感学报，25（6）： 1244-1256 王芬，郭擎，葛小青.2021.深度递归残差网络的遥感图像空谱融合.遥感学报，25（6）： 1244-1256 Wang F，Guo Q and Ge X Q. 2021. Pan-sharpening by deep recursive residual network. National Remote Sensing Bulletin， 25（6）：1244-1256 Wang F，Guo Q and Ge X Q. 2021. Pan-sharpening by deep recursive residual network. National Remote Sensing Bulletin， 25（6）：1244-1256 国家自然科学基金（编号：61771470） Supported by National Natural Science Foundation of China (No.61771470) 2019-07-11 2021-06-07 2021-09-18 2020-03-15 遥感学报 6 25