AMSR-E地表温度数据重建深度学习方法

AMSR-E地表温度数据重建深度学习方法 Research on deep learning methods for AMSR-E land surface temperature data reconstruction 1 first-author 苏扬，研究方向为遥感地表温度无缝重建。E-mail：suyang970513@163.com 苏扬，研究方向为遥感地表温度无缝重建。E-mail：suyang970513@163.com suyang970513@163.com 1 2 corresp 吴鹏海，研究方向为遥感地表温度智能重建与融合。E-mail：wuph@ahu.edu.cn 吴鹏海，研究方向为遥感地表温度智能重建与融合。E-mail：wuph@ahu.edu.cn wuph@ahu.edu.cn 3 1 1 2 安徽大学 湿地生态保护与修复安徽省重点实验室, 合肥 230031 安徽大学 湿地生态保护与修复安徽省重点实验室, 合肥 230031 Anhui Key Laboratory of Wetland Ecological Protection and Restoration, Anhui University, Hefei 230031, China Anhui Key Laboratory of Wetland Ecological Protection and Restoration, Anhui University, Hefei 230031, China 信息材料与智能感知安徽省实验室, 合肥 230031 信息材料与智能感知安徽省实验室, 合肥 230031 Anhui Provincial Laboratory of Information Materials and Intelligent Perception, Hefei 230031, China Anhui Provincial Laboratory of Information Materials and Intelligent Perception, Hefei 230031, China 北京师范大学 遥感科学国家重点实验室, 北京 100089 北京师范大学 遥感科学国家重点实验室, 北京 100089 State Key Laboratory of Remote Sensing Science, Beijing Normal University, Beijing 100089, China State Key Laboratory of Remote Sensing Science, Beijing Normal University, Beijing 100089, China 地表温度对于全球气候变化等研究具有重要意义。被动微波遥感传感器AMSR-E（Advanced Microwave Scanning Radiometer for EOS）可以获得全天候地表温度，可作为多云条件下热红外地表温度数据的补充；但轨道扫描间隙限制了该数据在全球或区域尺度上的实际应用。鉴于地表温度的高时空异质性和AMSR-E LST轨道间隙数据的特点，本文提出了一种多时相特征连接卷积神经网络地表温度双向重建模型（MTFC-CNN），利用深度学习在处理复杂非线性问题上的优势，重建轨道间隙区域的地表温度值。将2010年中国大陆四季的AMSR-E LST数据（数据未含港澳台区域），分为白天和夜晚，形成共8个数据子集进行实验。在模拟实验中，重建结果与原始反演地表温度值平均均方根误差在1.0 K左右，决定系数 R 2 在0.88以上，优于传统的样条空间插值和时间线性回归方法；真实实验结果具有较好的目视效果，且与对应MODIS LST产品对比发现，重建区LST值和未重建区LST值与MODIS LST产品间具有相近的平均均方根误差和决定系数。因此，本文提出的MTFC-CNN方法能有效重建AMSR-E LST轨道间隙数据，且优于传统方法。 Land Surface Temperature (LST) is a key parameter in the physical process of surface radiant energy balance and the water cycle. Obtaining LST data accurately and promptly, and mastering its temporal and spatial changes, are of considerable importance to climate change research. Thermal infrared (TIR) measurements are limited in practical applications due to cloud cover and other effects. Passive microwave (PMW) remote sensing measurements can penetrate clouds and are less affected by atmospheric interference, which has the advantage of obtaining all-weather surface radiation information. The microwave remote sensing data Advanced Microwave Scanning Radiometer for EOS (AMSR-E) can obtain all-weather LST, which can be used as a supplement to the missing LST information in thermal infrared (TIR) products under cloudy conditions. However, the AMSR-E data has the problem of lack of information due to the satellite orbit scanning gap of its own sensor, causing the obtained AMSR-E LST data to be greatly restricted in practical applications. Therefore, proposing an effective method for solving the problem is necessary. Based on the superiority of deep learning in solving non-linear problems and the high dynamic variability of LST, this paper proposes a Multi-Temporal Feature-Connected Convolutional Neural Network (MTFC-CNN) that uses specific input combinations of multi-temporal information and spatial fusion units. The network structure is based on the characteristics of the temporal and spatial distribution of missing track gaps in AMSR-E LST data, and the reconstruction of missing LST values is carried out from the timing information. In the simulation experiment, the 2010 annual data was divided into fight data subsets in four seasons and into day and night. The average root mean square error of the reconstructed LST value is approximately 1.0 K and the coefficient of determination R 2 is above 0.88. Compared with the other two methods, namely, spline interpolation (Spline) and time multiple linear regression (Regress), the reconstruction effect of the MTFC-CNN method performs better regardless of seasons or day and night, proving that MTFC-CNN is better than the other two methods at mining the characteristics of temporal and spatial changes in LST. In real experiments, through comparison with MODIS LST products, the LST value reconstructed at the missing area is consistent with it at other areas in temporal and spatial distribution. The reconstruction results show that the LST in the mainland China region shows a gradually increasing trend from January to July and a gradually decreasing trend from August to December. This finding is consistent with the temperature changes in the four seasons. The change in LST during the day is more significant than that at night. In summer, the temperature in Northwest China is significantly higher than that in other regions. In winter, the temperature in Northeast China is generally lower than that in other regions. At night, the difference between summer and winter is more obvious. The difference in LST changes at night in autumn is relatively close. The experimental results show that the MTFC-CNN method proposed in this paper mines the spatio-temporal variation information of LSTs more effectively than two traditional methods and achieves better results in reconstructing the orbital gap missing in AMSR-E LST data. The method provides the possibility for the reconstruction of missing information from TIR LST data under the cloud. 遥感 地表温度 AMSR-E LST 数据重建 深度学习 MTFC-CNN remote sensing land surface temperature AMSR-E LST data reconstruction deep learning MTFC-CNN 1　引言 1 地表温度LST（Land Surface Temperature）决定了陆地表层系统辐射能量平衡中的长波辐射，是地表辐射能量平衡和水循环物理过程中的关键参数（ Li等，2013 Li等，2013 ）。因此，及时、准确获取LST值，掌握其时空变化规律对农情信息监测、生态和环境研究以及气候变化等方面具有重要意义。要获取区域和全球尺度上地表温度的时空分布，常规的地面定点观测难以实现，而卫星遥感是唯一可能的手段（ 李召良 等，2016 李召良 等，2016 ）。由于较高的空间分辨率和反演精度，基于热红外TIR（Thermal infrared）遥感的地表温度反演算法引起了学者的广泛关注，并取得了长足的进步，各种热红外遥感地表温度产品得到生产和免费发布（ Wu等，2021 Wu等，2021 ； Li等，2018 Li等，2018 ）。但TIR传感器具有无法穿透云层的先天缺陷，云覆盖像元信息的缺失很大程度上破坏了地表温度时空分布的完整性和连续性，严重阻碍了地表温度产品的应用（ Tang等，2021 Tang等，2021 ； Long等，2020 Long等，2020 ）。被动微波PMW（Passive microwave）遥感受大气干扰小、可穿透云层，具有可获取全天候地表辐射信息的优势（ Zhang和Cheng，2020 Zhang和Cheng，2020 ； Holmes等，2013 Holmes等，2013 ）。PMW地表温度数据（如AMSR-E、AMSR2数据）常用于热红外云下地表温度的估算研究（ Xu和Cheng，2021 Xu和Cheng，2021 ； Xu等，2019 Xu等，2019 ； Shwetha和Kumar，2016 Shwetha和Kumar，2016 ； Duan等，2017 Duan等，2017 ），但其特定扫描方式导致两个相邻轨道之间出现扫描间隙（以下称为轨道间隙）的问题，在中低纬度区域缺失宽度可达数百公里，影响实际应用。因此，重建PMW地表温度数据的轨道间隙具有重要理论价值与实际意义。 目前遥感地表温度缺失信息的重建研究主要集中于热红外云覆盖、传感器故障等情况，针对不同传感器、不同遥感定量产品产生了大量创新性研究方法（ Zhao和Duan，2020 Zhao和Duan，2020 ； Zhou等，2017 Zhou等，2017 ； Zhang等，2021 Zhang等，2021 ； Weiss等，2014 Weiss等，2014 ； Liu等，2020 Liu等，2020 ），主要包括基于空间信息的方法（ Xu和Shen，2013 Xu和Shen，2013 ； Shuai等，2014 Shuai等，2014 ）、基于时相信息的方法（ Zeng等，2015 Zeng等，2015 ； 刘紫涵 等，2017 刘紫涵 等，2017 ）、基于多传感器信息方法和混合方法（ Zhang等，2018 Zhang等，2018 ； Liu和Wang，2016 Liu和Wang，2016 ）。其中基于空间信息的方法适用于小范围信息缺失，并假设缺失像元值可以由周围邻域像元计算出来，这种假设在大范围信息缺失时精度难以保证（ Wu等，2021 Wu等，2021 ； Duan等，2017 Duan等，2017 ）；基于时相信息的方法假设在一定时间内地物信息未发生较大变化或缺失区域与未缺失区域具有相似的变化信息（ Zeng等，2018 Zeng等，2018 ； Weiss等，2014 Weiss等，2014 ）；基于多传感器方法要求不同传感器能获取同一时间同一地区的地物信息，能处理完全缺失的情况，却常面临分辨率差异、传感器波段设置差异等（ Shen等，2015 Shen等，2015 ）。相比而言，对于PMW地表温度轨道间隙数据的重建研究则较少。 Zhang等（2020） Zhang等（2020） 以中国FY-3B MWRI数据集作为辅助数据，采用奇异谱分析算法生成时间连续、空间无缝的AMSR-E近似数据，但这种方法需要对不同来源的PMW温度数据进行一致性校正。然而，遥感地表温度具有强异质性和高动态变化特点，使得传统方法难以有效重建低空间分辨率PMW温度数据的较大轨道间隙。鉴于深度学习在解决复杂非线性问题上的优越性（ Chollet，2017 Chollet，2017 ）， Wu等（2019） Wu等（2019） 针对静止卫星提出基于卷积神经网络地表温度单向重建方法，但这种方法要求相辅助LST信息不能包含缺失值，而实际情况下TIR数据受云层覆盖的影响，在相邻时间内也很难找到完全无云的有效数据，一定程度上限制了该算法的实际应用。 考虑到AMSR-E LST数据具有较大轨道扫描间隙、相邻时相数据空间信息互补且具有一定周期性等特点，本研究假设待重建AMSR-E缺失区域像元前后相邻两天的地表温度变化量与未缺失区域像元的地表温度变化量相似，且这种变化量可以从样本中学习到。因此，本文基于上述假设和前期工作基础，提出深度学习方法下利用相邻时相数据双向重建AMSR-E LST数据轨道间隙的研究思路。 2　研究区域与数据 1 2.1　研究区域 2 如 图1 图1 所示。 图1（a） 图1（a） 为研究区域边界示意图， 图1（b） 图1（b） 为AMSR-E地表温度数据区域示例图（白色区域为轨道间隙缺失）。 1,2; 2.2　数据说明 2 2.2.1　AMSR-E LST数据 3 搭载在Aqua卫星上的先进微波扫描辐射仪（AMSR-E）是一种多频双偏振微波辐射计，它可以全天候探测地球表面和大气中微弱的微波辐射。该卫星传感器于2002年开始运行，大约在当地时间下午1：30 pm和凌晨1：30 am观测地球，并于2011-09停止运行；它包含12个频段，分布在6个频率（即6.9 GHz、10.7 GHz、18.7 GHz、23.8 GHz、36.5 GHz 和89 GHz）和两个极化态（水平和垂直）。本研究使用的中国大陆区域AMSR-E LST数据由北京师范大学团队提供，该团队利用国家冰雪数据中心（ http：//nsidc.org http://nsidc.org ［2020-09-27］）下载的AMSR-E亮温产品，在综合考虑环境变量基础上提出一种经验反演算法（ Zhang和Cheng，2020 Zhang和Cheng，2020 ）得到LST数据。该数据空间分辨率为25 km，每天过境成像两次，白天以降轨过境成像，夜间以升轨过境成像。 2.2.2　MODIS 1 km中国区域每日LST合成产品 3 本研究采用了Aqua卫星传感器上的MODIS每日1 km地表温度数据（MYD11A1）中国区域合成产品进行验证，MODIS/Aqua传感器与AMSR-E传感器处于同一平台上，轨道几何形状和过境时间相同，因此不需要考虑数据采集的时差。数据来源于中国科学院计算机网络信息中心地理空间数据云平台（ http：//www.gscloud.cn http://www.gscloud.cn ［2020-09-27］）。 3　研究方法 1 3.1　模型构建 2 深度学习中的卷积神经网络CNN（Convolutional Neural Networks）越来越多应用于遥感数据处理中，它能够自动学习不同数据之间固有的复杂关系（ Zhang等，2016 Zhang等，2016 ）。针对研究中所用AMSR-E LST数据的特点，本文提出一种基于时相信息进行重建的多时相特征连接卷积神经网络MTFC-CNN（Multi-temporal Feature Connection-CNN）。主要网络结构如 图2 图2 所示，包括下采样部分、上采样部分和注意力单元等。具体结构参数见 表1 表1 。 层数 卷积单元 尺寸 4 下采样 L1 ｛conv3×3，64，BN｝×2 AvgPool 2×2 1 L2 ｛conv3×3，128，BN｝×2 AvgPool 2×2 1/2 L3 ｛conv3×3，256，BN｝×2 AvgPool 2×2 1/4 L4 ｛conv3×3，512，BN｝×2 AvgPool 2×2 1/8 3 上采样 L5 TransConv 2×2 ｛conv3×3，256，BN｝×2 1/4 L6 TransConv 2×2｛conv3×3，128，BN｝×2 1/2 L7 TransConv 2×2 ｛conv3×3，64，BN｝×2； ｛conv3×3，32，BN；conv3×3，1｝ 1 下采样主要是对输入的AMSR-E LST数据进行特征提取，其中：（1）在卷积层之间中加入批量归一化层BN（Batch Normalization），使得各层输出的概率分布与各层输入的概率分布基本重合，加快模型的收敛速度和参数拟合；（2）选择激活函数ReLU，保证卷积层的输出是输入的非线性组合，确定不同LSTs之间的非线性联系；（3）为了使模型适用于填充较大区域缺失的LSTs，需要在卷积过程中扩展感受野建立大范围内不同像素之间的关系，以增强LSTs特征图的上下文信息；通过比较几种增大卷积核感受野的方法，采用了效果更好的卷积核大小为2×2的平均池化层（Average Pooling）。上采样是实现图像由低分辨率到高分辨率映射的过程，实验中选择了在特征还原上表现良好的转置卷积（Transposed Convolution）进行特征图的还原，使得最后输出原图像大小的重建结果。上采样在结构上和下采样过程相同，在卷积层中加入了BN层并采用ReLU激活函数。 另一方面，由于在采样过程中LST像素的空间位置信息会丢失，所以需要利用下采样中低层LST特征中所包含的位置信息来克服这一问题。为了实现位置信息的重用，一般采用跳跃连接结构直接将低层特征和高层特征连接起来，但还原像素位置信息通常不需要所有低层特征中的信息，引入过多低层特征信息反而容易出现过拟合问题（ Ronneberger等，2015 Ronneberger等，2015 ）。本文引入了在图像处理中使用较多的注意力单元（Attention Unit）来解决这个问题，深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。在注意力单元中，通过激活高层特征中的有效信息来输出低层特征信息的权重，提取到更为重要的位置信息，得到加权低层特征。上采样中再将高层特征和包含LST像素位置信息的加权低层特征相结合，作为卷积层的输入，增强获取不同LSTs空间信息的能力。 3.2　实验过程 2 3.2.1　样本准备 3 考虑到研究区域不同季节、昼夜地表温度变化存在较大差异，研究中将2010年全年AMSR-E LST数据分成4个季节的降轨（白天）和升轨（夜晚）数据，共计8个数据子集。在每一个数据子集内，依次选取相邻时间内连续3 d的AMSR-E LST数据作为T1、T2、T3时刻数据，统一裁剪成24像素×24像素大小的影像块构成数据对。裁剪后的24像素×24像素小块上如果都没有缺失值，则作为样本数据集；如果任一时刻有缺失值，则按缺失区域分别制成对应时刻的真实掩膜集。训练过程中选择T2时刻的完整数据作为label，然后在label中利用T2时刻的真实掩膜集，模拟得到T2时刻的缺失数据，并对样本数据进行归一化处理，得到同一量级（如0—1之间）的数据集，便于网络进行训练。最后，本文按7∶1的比例从数据集中随机选取作为训练集和测试集。 3.2.2　模型训练 3 如 图3 图3 训练过程示意图所示，模型的输入数据包括4类：T2时刻真实数据（标签）、模拟的待重建T2时刻缺失数据（某个日期的缺失数据）、相邻的T1时刻数据（前一天的数据）、相邻的T3时刻数据（后一天的数据）。在输入模型前，为了有效利用T2时刻本身有值区域的LST特征信息以及结合不同时相间的LST信息，对T1、T2与T3、T2分别进行一个相加操作，将得到的结果进行通道上的连接，得到输入层C。在训练过程中，考虑到网络结构中使用了Attention机制进行跨层连接，并且因为输入输出的图像大小相同，所以采用残差学习的方法，初始学习率设为1E-4，随迭代次数的增加而递减，误差正向传播结束后，使用反向传播算法更新训练参数，更好得学习LSTs之间的非线性关系。在损失函数选择上，均方误差MSE（Mean Square Error）作为计算损失函数，计算公式如下： <math display="block" id="M1"><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36318220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36318217&type= 42.41799927 10.83733368 式中， y i 和 f （ x i ）分别表示第 i 个样本的真实值和预测值， m 为样本个数。MSE损失随着误差的减小，梯度也在减小，有利于函数较快取得最优值，进而得到效果较好的模型参数。 3.2.3　模型测试和真实实验 3 在模型测试阶段，考虑到实际中AMSR-E LST数据在相邻T1和T3时刻可能都存在空缺，但与T2时刻存在信息互补，本文分别利用上述T1时刻和T3时刻的掩膜集对测试集T1时刻和T3时刻数据掩膜，得到真实情况下T1、T3时刻有缺失的数据对。但实验中发现模型对相邻时刻数据空间信息的完整性有一定要求，因此如 图4 图4 测试过程所示，采用简单、快速的空间插值方法得到相对完整的T1、T3时刻数据对，之后与训练阶段类似，将测试集中掩膜后并经过空间插值得到的T1、T3时刻完整数据对与模拟的待重建T2时刻缺失数据作为模型测试输入，得到的T2时刻重建结果与T2时刻完整数据进行对比评价，评价指标采用均方根误差RMSE（Root Mean Square Error）和决定系数（ R 2 ）。为了验证模型的泛化能力，在测试中选用了一些与训练阶段不同的掩膜形状来进行测试验证模型是否适用于不同缺失区域或缺失率下的重建，并根据实际重建效果进一步优化网络参数。在真实实验阶段，按 图4 图4 所示测试过程重建T2时刻数据，最后将得到的中国大陆区域AMSR-E LST数据与对应MODIS LST产品进行对比，验证重建精度。 4　结果和分析 1 4.1　模拟实验 2 4.1.1　可视化结果 3 对于2010年4个季节白天和夜晚的AMSR-E LST数据在样本准备中得到的测试集，在每个季节都分别模拟4种不同缺失情况进行测试（缺失率分别为42%、50%、60%、70%），对比真实影像检验重建效果。为了验证本文所提出方法的重建效果，采用样条空间插值（Spline）、时间线性回归（Regress）两种传统重建方法（ Pede和Mountrakis，2018 Pede和Mountrakis，2018 ）作为对比。 由于篇幅限制， 图5 图5 只展示在50%缺失率下，不同方法对4个季节白天与夜晚数据的重建结果。Spline方法由于只利用周围可用的像素信息对缺失部分进行空间插值处理，从直观效果上来看，其重建结果具有平滑效应，失去了纹理信息。Regress方法与本文方法原理上类似，通过构建缺失时刻数据与相邻时序内的数据有效LST值间的函数关系，再将函数映射关系应用到缺失区域，计算出LST值，其细节保持比Spline方法效果要好方法好；但由于构建出的只是一般的线性回归关系，难以刻画LST的高动态变化性，所以在部分细节特征上与真实影像还有一定差异（如 图5 图5 中红色圆圈所示）。此外，Spline和Regress方法在春、冬季的重建效果优于夏、秋季，夜晚重建效果优于白天，可能的原因是春冬季和夜晚的LST的动态变化程度相比于夏秋季和白天较低。然而，无论四季还是昼夜，MTFC-CNN方法的重建效果都表现较好，无明显差异；证明MTFC-CNN在挖掘地表温度的时空变化特征方面优于Spline和Regress方法，在结构上与真实LST图像更相似。 1,2;3; 4.1.2　定量评价结果 3 为了定量比较3种方法的效果，同样选取了50%缺失率情况下的重建结果，从均方根误差（RMSE）和决定系数（ R 2 ）来对重建结果进行定量对比，结果表明在夜晚重建结果整体的RMSE要比白天低一些，从季节上来看，大部分情况下夏季的RMSE要高于其他季节。总体上MTFC-CNN方法得到结果的平均RMSE在1.0 K左右，平均 R 2 在0.88以上，LST重建精度优于另外两种传统方法。此外，本文统计了在不同方法在其他3种缺失率情况下（42%、60%、70%）的总体平均RMSE和平均 R 2 ，如 表3 表3 所示，再次显示了MTFC-CNN方法在不同缺失率情况下依然具有优势。 时间 评价指标 季节 Spline Regress MTFC-CNN 时间 评价指标 季节 Spline Regress MTFC-CNN 2 白天 RMSE/K 春季 夏季 秋季 冬季 2.99 2.88 2.25 3.82 3.12 3.31 2.33 2.74 1.12 1.30 0.95 1.07 2 夜晚 RMSE/K 春季 夏季 秋季 冬季 1.65 1.56 1.53 2.31 2.01 2.24 1.93 1.75 0.82 0.80 0.95 0.89 R 2 春季 夏季 秋季 冬季 0.56 0.51 0.53 0.38 0.47 0.42 0.43 0.65 0.94 0.85 0.93 0.95 R 2 春季 夏季 秋季 冬季 0.60 0.62 0.58 0.39 0.45 0.43 0.37 0.64 0.90 0.89 0.87 0.91 评价指标 缺失率 Spline Regress MTFC-CNN 3 平均RMSE/K 42% 2.86 3.00 0.98 60% 3.09 2.69 1.01 70% 2.66 2.58 1.08 3 平均 R 2 42% 0.48 0.50 0.90 60% 0.41 0.46 0.87 70% 0.36 0.45 0.88 此外，为了更直观体现3种方法的重建结果与真实LST之间的相关性，如 图6 图6 所示，随机选取一定数量重建后的LST数据与对应Label的LST数据绘制成散点图。 图6（a） 图6（a） 、（b）、（c）分别是3种方法白天和夜间重建结果与对应真实数据的散点图。无论是散点的分布情况还是定量评价指标，再次表明MTFC-CNN方法优于两种传统方法。 1;2;3; 4.2　真实实验 2 4.2.1　中国大陆区域重建结果 3 为了更直观了解重建得到的空间连续的AMSR-E LST数据所显示的地表温度在空间和时间上的分布变化情况，如 图7 图7 （审图号：GS（2021）3724号）显示了2010-01—2010-12每月取相同日期的白天和夜晚的中国陆地区域AMSR-E LST的实际重建结果，可以看出重建结果的LST分布，基本符合不同季节对应区域的地表温度变化特点。 4.2.2　重建精度验证 3 为了验证在真实实验下，AMSR-E LST数据轨道间隙像元LST值得重建效果，本研究采用了对应时间MYD11A1地表温度数据1 km每日中国区域合成产品进行精度验证。考虑到MODIS LST产品的质量问题及其与AMSR-E LST的分辨率差异，本文对MODIS进行如下处理：（1）根据MODIS产品质量控制文件，选择高质量像元作为候选像元；（2）将MODIS LST产品重采样成AMSR-E相同格网大小。将原AMSR-E LST数据中未缺失部分的LST值和处理后的MODIS LST进行对比，计算得到RMSE和 R 2 ，作为算法的重建误差；同时计算AMSR-E重建部分像元LST与对应MODIS LST的RMSE和 R 2 ，如果两种情况下的RMSE和 R 2 相近则表明重建效果好。 如 图8 图8 是对2010年每个月取相同日期的重建结果进行的总体重建精度验证， 图8（a） 图8（a） 是白天AMSR-E原始未重建部分（黑色点）、重建部分（橙色点）与处理后MODIS产品的散点图； 图8（b） 图8（b） 则是夜晚AMSR-E原始未重建部分（黑色点）、重建部分（橙色点）与处理后MODIS产品的散点图。 1,2; 从 图8 图8 中散点的分布和定量评价指标都可以看出，重建部分与MODIS产品的散点图和非重建部分与MODIS产品的散点图非常相似，也具有非常接近的定量评价指标，这表明重建部分的LST与未重建部分的LST具有较好的一致性。 此外，为了探究不同季节的重建精度是否变化显著，如 表4 表4 显示了MTFC-CNN方法在不同季节的重建精度的定量对比，可以看出不同季节的总体重建精度差异不明显，基本与模拟实验中不同季节重建结果的对比情况一致。只有夏季的重建精度略低于其他季节，主要考虑与夏季LST的变化性更大有关。 时间 季节 评价指标 真实AMSR-E LST 重建AMSR-E LST 时间 季节 评价指标 真实AMSR-E LST 重建AMSR-E LST 8 白天 2 春季 RMSE/K 3.72 4.50 8 夜晚 2 春季 RMSE/K 3.36 3.62 R 2 0.89 0.82 R 2 0.94 0.91 2 夏季 RMSE/K 3.99 4.96 2 夏季 RMSE/K 3.19 3.83 R 2 0.83 0.70 R 2 0.91 0.83 2 秋季 RMSE/K 3.54 4.24 2 秋季 RMSE/K 2.83 3.24 R 2 0.92 0.84 R 2 0.92 0.91 2 冬季 RMSE/K 3.40 4.18 2 冬季 RMSE/K 3.01 3.47 R 2 0.94 0.89 R 2 0.94 0.90 另一方面，为了对比真实实验中本文的方法与其他传统方法重建结果的精度，将本文中的MTFC-CNN方法和空间插值Spline、线性回归Regress方法的实际重建结果进行定量对比。将3种方法所得结果的重建区域LST值分别与对应区域MODIS产品的LST值比较，计算得到RMSE进行比较。如 图9 图9 结果所示，可以看出在实际生产中，本文中方法相比于另外两种传统方法的RMSE更低，重建精度更高。 1,2;3; 5　结论 1 被动微波AMSR-E LST在气候变化研究、灾害监测等领域发挥重要作用，也常作为多云条件下TIR LST数据的补充，因此重建AMSR-E LST数据轨道扫描间隙很有必要。鉴于深度学习在解决高动态和非线性问题方面的优势，本文提出一种针对AMSR-E LST数据轨道扫描间隙问题的多时相特征连接卷积神经网络重建模型（MTFC-CNN），通过引入注意力机制单元来增强不通层次特征之间的联系，以提高模型挖掘LSTs潜在相关性的能力。本文按照白天、夜晚对2010年全年四季数据分8个子集进行实验。在模拟实验中，经过与两种传统重建方法对比发现，MTFC-CNN能有效挖掘LSTs的时空变化信息，取得较好的定量评价结果。在真实实验中，通过与MODIS LST产品对比发现：缺失区域重建出的LST值与其他有值区域LST的时空分布基本一致。总体结果表明，针对AMSR-E LST轨道间隙数据，MTFC-CNN方法取得了不错的重建效果，是一种有效的重建方法。尽管本文只对AMSR-E LST轨道间隙数据进行测试，但同时适用于AMSR2和MWRI等其他被动微波LST轨道间隙数据。 然而，本研究中也还存在一些不足希望在后续工作中解决。主要包括：（1）MTFC-CNN方法要求相邻时相数据与待重建数据具有互补信息，所以适用于AMSR-E、AMSR2和MWRI等被动微波温度数据；但直接应用其他传感器数据时由于无法保证互补信息而难以取得较好的重建效果；（2）在对各个季节制作样本集时，由于各数据轨道间隙缺失区域不同，且要保证待重建时刻和前后相邻时刻的影像都是同一区域，目前的顺序裁剪则会出现数据集中各个日期的样本数量分布不均匀的问题，进而导致样本数较少的日期模型训练效果较差。因此，需要发展一种样本量最大化的裁剪方法。 参考文献（References） Chollet F . 2017 . Xception: deep learning with depthwise separable convolutions // IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Honolulu : IEEE: 1800 - 1807 [ DOI: 10.1109/CVPR.2017.195 http://dx.doi.org/10.1109/CVPR.2017.195 ] Xception: deep learning with depthwise separable convolutions Duan S B , Li Z L and Leng P . 2017 . A framework for the retrieval of all-weather land surface temperature at a high spatial resolution from polar-orbiting thermal infrared and passive microwave data . Remote Sensing of Environment , 195 ( 15 ): 107 - 117 [ DOI: 10.1016/j.rse.2017.04.008 http://dx.doi.org/10.1016/j.rse.2017.04.008 ] A framework for the retrieval of all-weather land surface temperature at a high spatial resolution from polar-orbiting thermal infrared and passive microwave data Holmes T R H , Crow W T , Yilmaz M T , Jackson T J and Basara J B . 2013 . Enhancing model-based land surface temperature estimates using multiplatform microwave observations . Journal of Geophysical Research : Atmospheres , 118 ( 2 ): 577 - 591 [ DOI: 10.1002/jgrd.50113 http://dx.doi.org/10.1002/jgrd.50113 ] Enhancing model-based land surface temperature estimates using multiplatform microwave observations Li X M , Zhou Y Y , Asrar G R and Zhu Z Y . 2018 . Creating a seamless 1 km resolution daily land surface temperature dataset for urban and surrounding areas in the conterminous United States . Remote Sensing of Environment , 206 : 84 - 97 [ DOI: 10.1016/j.rse.2017.12.010 http://dx.doi.org/10.1016/j.rse.2017.12.010 ] Creating a seamless 1 km resolution daily land surface temperature dataset for urban and surrounding areas in the conterminous United States Li Z L , Duan S B , Tang B H , Wu H , Ren H Z , Yan G J , Tang R L and Leng P . 2016 . Review of methods for land surface temperature derived from thermal infrared remotely sensed data . Journal of Remote Sensing , 20 ( 5 ): 899 - 920 Review of methods for land surface temperature derived from thermal infrared remotely sensed data 李召良 , 段四波 , 唐伯惠 , 吴骅 , 任华忠 , 阎广建 , 唐荣林 , 冷佩 . 2016 . 热红外地表温度遥感反演方法研究进展 . 遥感学报 , 20 ( 5 ): 899 - 920 [ DOI: 10.11834/jrs.20166192 http://dx.doi.org/10.11834/jrs.20166192 ] 热红外地表温度遥感反演方法研究进展 Li Z L , Wu H , Wang N , Qiu S , Sobrino J A , Wan Z M , Tang B H and Yan G J . 2013 . Land surface emissivity retrieval from satellite data . International Journal of Remote Sensing , 34 ( 9-10 ): 3084 - 3127 [ DOI: 10.1080/01431161.2012.716540 http://dx.doi.org/10.1080/01431161.2012.716540 ] Land surface emissivity retrieval from satellite data Liu H Z , Lu N , Jiang H , Qin J and Yao L . 2020 . Filling gaps of monthly terra/MODIS daytime land surface temperature using discrete cosine transform method . Remote Sensing , 12 ( 3 ): 361 [ DOI: 10.3390/rs12030361 http://dx.doi.org/10.3390/rs12030361 ] Filling gaps of monthly terra/MODIS daytime land surface temperature using discrete cosine transform method Liu X M and Wang M H . 2016 . Analysis of ocean diurnal variations from the Korean Geostationary Ocean Color Imager measurements using the DINEOF method . Estuarine, Coastal and Shelf Science , 180 : 230 - 241 [ DOI: 10.1016/j.ecss.2016.07.006 http://dx.doi.org/10.1016/j.ecss.2016.07.006 ] Analysis of ocean diurnal variations from the Korean Geostationary Ocean Color Imager measurements using the DINEOF method Liu Z H , Wu P H , Wu Y L , Shen H F and Zeng C . 2017 . Robust reconstruction of missing data in Feng Yun geostationary satellite land surface temperature products . Journal of Remote Sensing , 21 ( 1 ): 40 - 51 Robust reconstruction of missing data in Feng Yun geostationary satellite land surface temperature products 刘紫涵 , 吴鹏海 , 吴艳兰 , 沈焕锋 , 曾超 . 2017 . 风云静止卫星地表温度产品空值数据稳健修复 . 遥感学报 , 21 ( 1 ): 40 - 51 [ DOI: 10.11834/jrs.20176003 http://dx.doi.org/10.11834/jrs.20176003 ] 风云静止卫星地表温度产品空值数据稳健修复 Long D , Yan L , Bai L L , Zhang C J , Li X Y , Lei H M , Yang H B , Tian F Q , Zeng C , Meng X Y and Shi C X . 2020 . Generation of MODIS-like land surface temperatures under all-weather conditions based on a data fusion approach . Remote Sensing of Environment , 246 : 111863 [ DOI: 10.1016/j.rse.2020.111863 http://dx.doi.org/10.1016/j.rse.2020.111863 ] Generation of MODIS-like land surface temperatures under all-weather conditions based on a data fusion approach Pede T , Mountrakis G . 2018 . An empirical comparison of interpolation methods for MODIS 8-day land surface temperature composites across the conterminous Unites States . ISPRS Journal of Photogrammetry and Remote Sensing , 142 : 137 - 150 [ DOI: 10.1016/j.isprsjprs.2018.06.003 http://dx.doi.org/10.1016/j.isprsjprs.2018.06.003 ] An empirical comparison of interpolation methods for MODIS 8-day land surface temperature composites across the conterminous Unites States Ronneberger O , Fischer P and Brox T . 2015 . U-Net: convolutional networks for biomedical image segmentation // 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich : Springer: 234 - 241 [ DOI: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 ] U-Net: convolutional networks for biomedical image segmentation Shen H F , Li X H , Cheng Q , Zeng C , Yang G , Li H F and Zhang L P . 2015 . Missing information reconstruction of remote sensing data: a technical review . IEEE Geoscience and Remote Sensing Magazine , 3 ( 3 ): 61 - 85 [ DOI: 10.1109/MGRS.2015.2441912 http://dx.doi.org/10.1109/MGRS.2015.2441912 ] Missing information reconstruction of remote sensing data: a technical review Shuai T , Zhang X , Wang S D , Zhang L F , Shang K , Chen X P and Wang J N . 2014 . A spectral angle distance-weighting reconstruction method for filled pixels of the MODIS land surface temperature product . IEEE Geoscience and Remote Sensing Letters , 11 ( 9 ): 1514 - 1518 [ DOI: 10.1109/LGRS.2013.2297735 http://dx.doi.org/10.1109/LGRS.2013.2297735 ] A spectral angle distance-weighting reconstruction method for filled pixels of the MODIS land surface temperature product Shwetha H R and Kumar D N . 2016 . Prediction of high spatio-temporal resolution land surface temperature under cloudy conditions using microwave vegetation index and ANN . ISPRS Journal of Photogrammetry and Remote Sensing , 117 : 40 - 55 [ DOI: 10.1016/j.isprsjprs.2016.03.011 http://dx.doi.org/10.1016/j.isprsjprs.2016.03.011 ] Prediction of high spatio-temporal resolution land surface temperature under cloudy conditions using microwave vegetation index and ANN Tang W B , Xue D J , Long Z Y , Zhang X D and Zhou J . 2021 . Near-real-time estimation of 1-km all-weather land surface temperature by integrating satellite passive microwave and thermal infrared observations . IEEE Geoscience and Remote Sensing Letters , 1 - 5 [ DOI: 10.1109/LGRS.2021.3067908 http://dx.doi.org/10.1109/LGRS.2021.3067908 ] Near-real-time estimation of 1-km all-weather land surface temperature by integrating satellite passive microwave and thermal infrared observations Weiss D J , Atkinson P M , Bhatt S , Mappin B , Hay S I and Gething P W . 2014 . An effective approach for gap-filling continental scale remotely sensed time-series . ISPRS Journal of Photogrammetry and Remote Sensing , 98 : 106 - 118 [ DOI: 10.1016/j.isprsjprs.2014.10.001 http://dx.doi.org/10.1016/j.isprsjprs.2014.10.001 ] An effective approach for gap-filling continental scale remotely sensed time-series Wu P H , Yin Z X , Yang H , Wu Y L and Ma X S . 2019 . Reconstructing geostationary satellite land surface temperature imagery based on a multiscale feature connected convolutional neural network . Remote Sensing , 11 ( 3 ): 300 [ DOI: 10.3390/rs11030300 http://dx.doi.org/10.3390/rs11030300 ] Reconstructing geostationary satellite land surface temperature imagery based on a multiscale feature connected convolutional neural network Wu P H , Yin Z X , Zeng C , Duan S B , Göttsche F M , Ma X S , Li X H , Yang H and Shen H F . 2021 . Spatially continuous and high-resolution land surface temperature product generation: a review of reconstruction and spatiotemporal fusion techniques . IEEE Geoscience and Remote Sensing Magazine , 9 ( 3 ): 112 - 137 [ DOI: 10.1109/MGRS.2021.3050782 http://dx.doi.org/10.1109/MGRS.2021.3050782 ] Spatially continuous and high-resolution land surface temperature product generation: a review of reconstruction and spatiotemporal fusion techniques Xu S and Cheng J . 2021 . A new land surface temperature fusion strategy based on cumulative distribution function matching and multiresolution Kalman filtering . Remote Sensing of Environment , 254 : 112256 [ DOI: 10.1016/j.rse.2020.112256 http://dx.doi.org/10.1016/j.rse.2020.112256 ] A new land surface temperature fusion strategy based on cumulative distribution function matching and multiresolution Kalman filtering Xu S , Cheng J and Zhang Q . 2019 . Reconstructing all-weather land surface temperature using the bayesian maximum entropy method over the tibetan plateau and heihe river basin . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 12 ( 9 ): 3307 - 3316 [ DOI: 10.1109/JSTARS.2019.2921924 http://dx.doi.org/10.1109/JSTARS.2019.2921924 ] Reconstructing all-weather land surface temperature using the bayesian maximum entropy method over the tibetan plateau and heihe river basin Xu Y M and Shen Y . 2013 . Reconstruction of the land surface temperature time series using harmonic analysis . Computers and Geosciences , 61 : 126 - 132 [ DOI: 10.1016/j.cageo.2013.08.009 http://dx.doi.org/10.1016/j.cageo.2013.08.009 ] Reconstruction of the land surface temperature time series using harmonic analysis Zeng C , Li D , Shen H F , Wu P H , Cui Y K and Hong Y . 2018 . A two-step framework for reconstructing remotely sensed land surface temperatures contaminated by cloud . ISPRS Journal of Photogrammetry and Remote Sensing , 141 : 30 - 45 [ DOI: 10.1016/j.isprsjprs.2018.04.005 http://dx.doi.org/10.1016/j.isprsjprs.2018.04.005 ] A two-step framework for reconstructing remotely sensed land surface temperatures contaminated by cloud Zeng C , Shen H F , Zhong M L , Zhang L P and Wu P H . 2015 . Reconstructing MODIS LST based on multitemporal classification and robust regression . IEEE Geoscience and Remote Sensing Letters , 12 ( 3 ): 512 - 516 [ DOI: 10.1109/LGRS.2014.2348651 http://dx.doi.org/10.1109/LGRS.2014.2348651 ] Reconstructing MODIS LST based on multitemporal classification and robust regression Zhang L P , Zhang L F and Du B . 2016 . Deep learning for remote sensing data: a technical tutorial on the state of the art . IEEE Geoscience and Remote Sensing Magazines , 4 ( 2 ): 22 - 40 [ DOI: 10.1109/MGRS.2016.2540798 http://dx.doi.org/10.1109/MGRS.2016.2540798 ] Deep learning for remote sensing data: a technical tutorial on the state of the art Zhang Q and Cheng J . 2020 . An empirical algorithm for retrieving land surface temperature from AMSR-E data considering the comprehensive effects of environmental variables . Earth and Space Science , 7 ( 4 ): e2019 EA 001006 [ DOI: 10.1029/2019ea001006 http://dx.doi.org/10.1029/2019ea001006 ] An empirical algorithm for retrieving land surface temperature from AMSR-E data considering the comprehensive effects of environmental variables Zhang Q , Yuan Q Q , Zeng C , Li X H and Wei Y C . 2018 . Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network . IEEE Transactions on Geoscience and Remote Sensing , 56 ( 8 ): 4274 - 4288 [ DOI: 10.1109/TGRS.2018.2810208 http://dx.doi.org/10.1109/TGRS.2018.2810208 ] Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network Zhang X D , Zhou J , Liang S L , Chai L N , Wang D D and Liu J . 2020 . Estimation of 1-km all-weather remotely sensed land surface temperature based on reconstructed spatial-seamless satellite passive microwave brightness temperature and thermal infrared data . ISPRS Journal of Photogrammetry and Remote Sensing , 167 : 321 - 344 [ DOI: 10.1016/j.isprsjprs.2020.07.014 http://dx.doi.org/10.1016/j.isprsjprs.2020.07.014 ] Estimation of 1-km all-weather remotely sensed land surface temperature based on reconstructed spatial-seamless satellite passive microwave brightness temperature and thermal infrared data Zhang X D , Zhou J , Liang S L and Wang D D . 2021 . A practical reanalysis data and thermal infrared remote sensing data merging (RTM) method for reconstruction of a 1-km all-weather land surface temperature . Remote Sensing of Environment , 260 : 112437 [ DOI: 10.1016/j.rse.2021.112437 http://dx.doi.org/10.1016/j.rse.2021.112437 ] A practical reanalysis data and thermal infrared remote sensing data merging (RTM) method for reconstruction of a 1-km all-weather land surface temperature Zhao W and Duan S B . 2020 . Reconstruction of daytime land surface temperatures under cloud-covered conditions using integrated MODIS/Terra land products and MSG geostationary satellite data . Remote Sensing of Environment , 247 : 111931 [ DOI: 10.1016/j.rse.2020.111931 http://dx.doi.org/10.1016/j.rse.2020.111931 ] Reconstruction of daytime land surface temperatures under cloud-covered conditions using integrated MODIS/Terra land products and MSG geostationary satellite data Zhou J , Zhang X D , Zhan W F , Göttsche F M , Liu S M , Olesen F S , Hu W X and Dai F N . 2017 . A thermal sampling depth correction method for land surface temperature estimation from satellite passive microwave observation over barren land . IEEE Transactions on Geoscience and Remote Sensing , 55 ( 8 ): 4743 - 4756 [ DOI: 10.1109/TGRS.2017.2698828 http://dx.doi.org/10.1109/TGRS.2017.2698828 ] A thermal sampling depth correction method for land surface temperature estimation from satellite passive microwave observation over barren land 10.11834/jrs.20220426 1007-4619（2022）04-0739-13 苏扬，吴鹏海，程洁，殷志祥，马晓双，杨辉.2022.AMSR-E地表温度数据重建深度学习方法.遥感学报，26（4）： 739-751 苏扬，吴鹏海，程洁，殷志祥，马晓双，杨辉.2022.AMSR-E地表温度数据重建深度学习方法.遥感学报，26（4）： 739-751 Su Y，Wu P H，Cheng J，Yin Z X，Ma X S and Yang H. 2022. Research on deep learning methods for AMSR-E land surface temperature data reconstruction. National Remote Sensing Bulletin， 26（4）：739-751 Su Y，Wu P H，Cheng J，Yin Z X，Ma X S and Yang H. 2022. Research on deep learning methods for AMSR-E land surface temperature data reconstruction. National Remote Sensing Bulletin， 26（4）：739-751 国家自然科学基金（编号：41501376）；第二次青藏高原科学考察和研究计划（编号：2019QZKK020607）；安徽大学物质科学与信息技术研究院学科建设开放基金资助 Supported by National Natural Science Foundation of China (No. 41501376); Second Tibetan Plateau Scientific Expedition and Research Program (STEP) (No. 2019QZKK020607); Open Fund for Discipline Construction, Institute of Physical Science and Information Technology at Anhui University 2020-09-27 2022-04-07 2022-11-01 2021-06-21 遥感学报 4 26