“[{"title":"基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建","chapter":"1　引言","content":"超分辨率重建技术在卫星遥感图像信息智能处理领域中有重要的应用，经过超分辨率技术重建得到的高空间分辨率遥感图像在目标检测与跟踪、地理资源识别等高层智能任务中有更高的应用价值。传统遥感图像超分辨率重建技术包括双线性插值、双三次插值、边缘保持、基于偏微分方程的全变分（Dosovitskiy和Brox，2016）方法和各向异性扩散（Bavirisetti和Dhuli，2016）方法等。这些方法虽然计算简单，但对具有复杂纹理的遥感图像而言存在无法恢复高频细节信息的问题。随着深度学习技术的发展，基于神经网络的超分辨率重建技术被引入遥感图像处理领域，其中基于卷积神经网络（CNN）的方法是目前最常用的方法之一，另外还有基于近年来被广泛应用于图像生成和处理的生成对抗网络（GAN）的超分辨率重建技术，在遥感图像超分辨率重建方面也具有良好的效果，能够实现更高感知质量的遥感图像超分辨率重建。目前，用于遥感图像超分辨率重建的前沿深度学习算法包括采用纯数据驱动的流模型（任术波 等，2022）、应用混合稀疏表示模型的MSR-SRR（杨雪 等，2022）、针对高分四号卫星中波红外影像的卷积网络（贺智和贺丹，2020）以及针对Sentinel-2卫星遥感图像的无监督方法KN-SRGAN（赵慧岩和李云鹤，2022）等。数据流算法采用纯数据驱动的流模型和优化后的密集残差网络对低分辨率图像进行特征提取，提升了超分辨率图像的感知质量。KN-SRGAN作为基于生成对抗网络的方法，重建出的遥感图像具有更适合人眼直观视觉感受和具备更佳感知效果等特点。以上深度学习模型只能处理一种比例因子的超分辨率重建任务，在多尺度层面上缺少泛化性，属于基础学习器的范畴。对于真实遥感图像的超分辨率重建任务，往往要对图像按不同的整数或非整数倍连续放大，若是对每种可能的比例因子都训练一个模型并部署在平台中，会造成极大的算力和空间资源的浪费。因此有必要研究能用单一模型处理任意尺度遥感图像超分辨率重建任务的方法，这种超分辨率重建模型实际上要求学习算法有在任务层面进行学习的能力，而元学习就是一种针对不同任务自适应改变模型内部机制的策略。将元学习和基础学习做对比，基础学习由先验偏置确定假设空间，学习算法在确定好的假设空间内学习单一任务的最优解。元学习旨在学习导致一种算法适应一种任务的原因，以及如何将模型泛化到更多类型的任务中。针对上述问题，本文提出遥感图像任意尺度超分辨率重建方法，该方法采用元学习（Vilalta和Drissi，2002；Pratt和Thrun，1997；Thrun和Pratt，1998）的思想，根据不同比例因子自适应地调整模型内部参数，完成任意尺度超分辨率重建任务，同时采用带有注意力机制的密集残差网络作为特征提取器，使重建结果具备更清晰、区分度更高的细节。在公开遥感数据和真实卫星遥感图像上的定量和定性实验结果表明，本文所提方法具有良好的任意尺度超分辨率重建能力。","result":"介绍了遥感图像超分辨率重建技术的重要性及其在智能处理领域的应用价值。传统方法如双线性插值和各向异性扩散等存在无法恢复高频细节的问题。深度学习技术的发展带来了基于CNN和GAN的超分辨率重建方法，提高了遥感图像的感知质量。前沿算法包括纯数据驱动的流模型、混合稀疏表示模型、针对特定卫星影像的卷积网络和无监督方法等。然而，现有深度学习模型在多尺度超分辨率重建任务上缺乏泛化性。本文提出了一种基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建方法，通过自适应调整模型参数和采用注意力机制的特征提取器，实现了更清晰、区分度更高的重建结果。实验结果表明该方法具有良好的任意尺度超分辨率重建能力。","language":"zh"},{"title":"基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建","chapter":"2　研究方法","content":"本文从基于元学习的超分辨率重建方法Meta-SR（Hu等，2019）出发，采用密集残差网络RDN（Residual Dense Network）（Zhang等，2018b）和元上采样模块（Meta Upscale Module）的组合，实现遥感图像任意尺度超分辨率模型Meta-RDN作为基准模型，同时考虑到遥感图像包含丰富的局部地物目标信息，为了使重建结果具备更清晰、区分度更高的细节，将通道注意力CA（Channel Attention）（Zhang等，2018a）机制引入Meta-RDN，建立使用密集残差注意力网络RDCAN（Residual Dense Channel Attention Network）提取特征的改进模型Meta-RDCAN。2.1　Meta-RDCAN网络结构对一个给定的从高分辨率图像中下采样得到的低分辨率图像，超分辨率重建算法的任务是从中重建出超分辨率图像。其中的恢复需要根据特征提取网络从中提取的特征图以及对应比例因子的上采样滤波器计算得到，因此一个超分辨率重建模型的基本结构是特征提取模块加上采样模块的组合。带有元上采样模块的超分辨率重建算法Meta-SR在提取低分辨率图像特征后，将比例因子也作为输入用以计算上采样滤波器权重，最终通过卷积滤波器和特征图运算得到超分辨率图像。该算法中的元上采样模块能自适应地根据输入比例因子来调整模型内部参数，从而实现任意尺度超分辨率重建的功能。本文以密集残差网络作为特征提取器，结合元上采样模块构建遥感图像任意尺度超分辨率重建模型Meta-RDN。考虑到遥感图像中包含丰富的地物信息和复杂的纹理细节，为了在超分辨率重建过程中充分强调遥感图像的局部特征，本文向密集残差网络中引入了通道注意力机制，实现密集残差注意力特征提取网络，从低分辨率输入中提取得到的特征图经过元上采样后输出最终的超分辨率重建结果。进一步改进后的Meta-RDCAN网络结构如图1所示。Meta-RDCAN以从中经双三次下采样得到的和比例因子作为输入，经过RDCAN提取特征后得到。随后输入元上采样网络，按照由当前比例因子计算得到的上采样滤波器权重将特征值映射为，完成一次前向传播过程。然后和进行比较并求取损失，通过反向传播更新特征提取网络和元上采样网络的参数。图1Meta-RDCAN 模型结构Fig. 1Structure of Meta-RDCAN2.2　元上采样网络结构Meta-SR方法的核心是使用元上采样模块代替单一尺度超分辨率重建模型中的上采样层，从而实现任意尺度超分辨率重建功能。图1中使用的元上采样模块输入为比例因子或一组比例因子构成的向量，以及来自特征提取网络的，输出为在当前比例因子下的。元上采样模块的功能可用式（1）描述 (1)式中，表示中位置为的像素值，表示中位置为的像素特征值，表示在当前比例因子下的上采样滤波器对像素的权重，函数表示计算像素值的特征映射函数。该式说明上采样模块具备3个功能，即根据不同比例因子预测不同上采样滤波器的权重预测功能，将中的像素与的像素相对应的位置投影功能，以及根据和计算像素值的特征映射功能。其中，权重预测功能需要接受来自比例因子的输入。和典型的超分辨率重建网络中的上采样模块不同，图1所示的元上采样模块采用前馈网络来自适应地预测上采样滤波器的权重，该过程的表达式为 (2)式中，表示上采样滤波器对中像素的权重，表示以为输入，以为参数的前馈网络。前馈网络包含两层全连接层和一层ReLU激活函数。是根据比例因子和位置计算得到的相对中像素的偏移向量，计算公式为 (3)式中，项是为了区分成倍数关系的比例因子之间的上采样滤波器权重。例如在对低分辨率图像分别进行3倍和6倍超分辨率重建时，对于没有参与计算的上采样滤波器，在3倍超分辨率重建图像中的像素和6倍超分辨率重建图像像素就会具有相同权重，从而限制超分辨率重建模型的泛化能力。对中的每个像素而言，其像素值是根据在上的特征值决定的，但在不同的尤其是非整数的比例因子下，不同位置上的像素可能对不同数量的像素产生影响。例如在的超分辨率重建任务中，有的像素决定的两个像素值，而有的像素只能决定一个。因此元上采样模块通过向下取整函数来实现位置投影功能 (4)特征映射是根据上采样滤波器的权重和计算得到超分辨率重建图像的像素值。图1中的元上采样模块的特征映射功能可用下式描述： (5)2.3　密集残差注意力网络结构为了在超分辨率重建过程中强调遥感图像的局部特征，提高超分辨率图像中局部细节的重建效果，在密集残差网络的基础上引入了通道注意力机制。本文采用图2所示轻量化通道注意力机制，通道注意力层接受上一级特征图输入后，首先进行自适应平均池化提取特征图的全局信息，然后通过两层非线性层采样后得到通道权值向量。权值向量和上级特征图相乘可实现对特征图通道的加权，从而完成一次施加通道注意力的过程。该通道注意力层不能随意添加到原网络中，因为一方面加入注意力机制会增加模型参数量，另一方面注意力可能会错误地放大特征图中的噪声，反而造成性能下降。考虑到在密集残差块的前端施加注意力机制相当于舍弃该残差块提取的特征信息，无法充分发挥密集残差和注意力结合的优势，因此本文将通道注意力层插入到图3所示的密集残差块末端，将这种改进后的结构称为密集残差注意力块。同时基于残差连接的思想，在每层注意力的输入端引出一条额外的残差连接和当前注意力层的输出融合，保证对通道的加权不会引发层次信息的丢失。本文在密集残差注意力网络中应用了16组密集残差注意力块，每个密集残差注意力块中有8层卷积层，最终提取得到64通道的特征图。图2通道注意力结构Fig. 2Structure of channel attention图3添加通道注意力后的密集残差块结构Fig. 3Structure of residual dense block with channel attention","result":"介绍了一种基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建方法。首先，以Meta-SR为基础，结合密集残差网络RDN和元上采样模块，构建了基准模型Meta-RDN。为了提高细节清晰度和区分度，引入通道注意力CA机制，形成了改进模型Meta-RDCAN。Meta-RDCAN网络结构包括特征提取模块和采样模块，通过元上采样模块自适应调整内部参数，实现任意尺度超分辨率重建。元上采样模块的核心功能是预测上采样滤波器权重、位置投影和特征映射。此外，本文在密集残差网络中引入轻量化通道注意力机制，通过自适应平均池化和非线性层提取通道权值，实现对特征图通道的加权。为避免信息丢失，将通道注意力层插入到密集残差块末端，并引入额外的残差连接。最终，Meta-RDCAN网络应用了16组改进后的密集残差注意力块，每个块包含8层卷积，提取64通道特征图。","language":"zh"},{"title":"基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建","chapter":"3　数据结果处理与分析","content":"本文对基准模型Meta-RDN和改进模型Meta-RDCAN的实验结果进行了定性和定量的分析对比。实验过程中，先在DIV2K数据集（Agustsson和Timofte，2017）上预训练Meta-RDN和Meta-RDCAN，然后分别在遥感数据集AID（Xia等，2017），UCMerced（Yang和Newsam，2010）和WIDS（Liu等，2019）上微调。为了研究对遥感图像按不同比例因子进行超分辨率重建时空间分辨率变化带来的影响，在较广的比例因子范围内训练了多组模型，并在澳门科普卫星的真实遥感数据上进行了充分测试。此外，Set5和作为测试集分割出来的部分UCMerced数据也被用于模型测试。评价指标方面，采用有参考指标峰值信噪比PSNR（Peak Signal-to-Noise Ratio）和结构相似度SSIM（Structural Similarity Index Measure）来衡量超分辨率重建图像和真值图像的差异，无参考指标NIQE（Mittal等，2013）来衡量超分辨率重建图像的感知质量，以及算法运行时间来衡量图像处理速率。3.1　数据集预处理本文使用的数据集包括DIV2K（Agustsson和 Timofte，2017）、AID（Xia等，2017）、UCMerced（Yang和Newsam，2010）、WIDS（Liu等，2019）、Set5（Kulkarni等，2016）和来自澳门科普卫星的真实遥感图像数据。DIV2K数据集是一个广泛用于图像超分辨率研究的数据集，包含800张来自各种场景的不同尺寸的高分辨率图像。AID数据集是一种广泛用于遥感图像分类任务的公共数据集，包含来自Google Earth等卫星影像在内的10种不同场景共10000张的遥感图像，空间分辨率在0.5—8 m。AID数据集的图像场景包括：机场、海滨、农田、森林、工业区、公园、停车场、铁路、市区和河流，每个场景下的图像数量相等，且每张图像的分辨率为600×600像素。该数据集的特点是图像场景种类多样，充分考虑了遥感图像的特点，可以用于各种图像分类、目标检测和识别任务的训练和测试。UCMerced数据集是一个用于地物分类的公共遥感图像数据集，包含21类总计2100张大小为256×256像素的地物图像，空间分辨率为0.3 m。这些图像拍摄于不同的季节和时间，是广泛用于遥感图像分类算法评估和测试的数据集之一。WIDS数据集源于机器学习比赛WiDSDatathon2019，该数据集中图像的空间分辨率为3 m，共有11000张大小为256×256像素的卫星影像。Set5数据集是常用于测试图像超分辨率重建算法性能的基准数据集，包含5张不同类别的低分辨率彩色图片，因其简单和易于使用而广泛应用于图像超分辨率重建算法的快速测试和评估中。澳门科普卫星数据源于2022年搭载在天舟五号上发射的“澳门学生科普卫星一号”的遥感影像。该影像是一张大小为2048×2048像素的三通道彩色图像，空间分辨率为8 m。实验中对原图进行了大小为512×512像素的随机裁剪，并从中挑选出7张具有丰富地物目标信息和纹理细节的图像构成澳门科普卫星数据集用于模型测试。在进行有监督训练和有参考质量评估时，需要对训练数据和测试数据按一定比例因子进行下采样以获得低分—高分图像对。本文采用双三次下采样对训练和测试数据进行预处理，处理结果如表1中所示，其中训练数据以0.1为步长，测试数据以0.5为步长进行下采样，UCMerced数据集按8∶2的比例划分为训练集和测试集。表1数据预处理Table 1Pre-processing of datasets对遥感图像而言，经过下采样处理后得到的低分图像相比原图更加模糊，相当于降低了空间分辨率。在遥感图像超分辨率重建任务中，输入图像的空间分辨率将对超分辨率重建结果产生影响，比如高空间分辨率的遥感图像具有更清晰密集的细节，在超分辨率重建过程中有足够的特征信息用于重建，但低空间分辨率的遥感图像缺少纹理、边缘和轮廓等信息，使超分辨率重建效果下降。本文进行的下采样操作会引起实际输入的遥感图像和原图像空间分辨率的不一致。为了研究空间分辨率变化带来的影响，实验中在表1中的多组遥感数据集上训练了Meta-RDN和Meta-RDCAN，并且对部分遥感数据集的下采样范围进行扩大，目的是使下采样后的训练数据空间分辨率范围一定程度上能覆盖到测试数据下采样后的空间分辨率范围。这种覆盖关系如图4中所示，其中不同的遥感数据集用颜色加以区分，在数轴上的范围代表了数据集经下采样后相当的空间分辨率范围。原图像空间分辨率到下采样后相当空间分辨率之间的关系由式（6）给出： （6）式中，和分别表示原始遥感数据和下采样后数据的空间分辨率，表示下采样因子。图4下采样后训练数据和测试数据间空间分辨率的覆盖关系Fig. 4The coverage relationship of spatial resolution between training data and test data after downsampling从图4中可看出，模型在遥感数据集AID上训练时，可以获得测试时处理的低空间分辨率图像的经验。在UCMerced上训练的模型能获得更充足的重建图像细节的经验，但该训练数据与澳门科普卫星数据的空间分辨率区间没有交集，因此在测试时，相当于要求模型在新的空间分辨率范围内泛化。3.2　实验设置实验过程中采用两块RTX 2080Ti进行训练，批量（Batch）大小为2，训练轮次（Epochs）为200。损失函数方面没有采用超分辨率重建模型常用的L2损失，而是遵循Meta-SR的设置使用L1损失函数。L1损失函数直接衡量模型超分辨率重建结果与原始高分辨率图像之间的差异，计算方法是将超分辨率重建图像与高分辨率图像之间的差取绝对值，然后对所有差值求和并除以样本数量，求得平均绝对误差后反向传播并更新网络参数。优化策略方面采用自适应矩估计ADAM（Adaptive Moment Estimation）优化算法，该算法使用梯度的一阶矩估计和二阶矩估计动态地调整每个参数的学习率。自适应矩估计使用指数移动平均法来估计梯度的一阶矩和二阶矩，并通过偏差校正来纠正估计的偏差。相对于传统的随机梯度下降和其他优化算法，自适应矩估计算法在训练深度神经网络时往往可以取得更好的结果，并且具有一定的鲁棒性。实验中设置参数学习率（Learning Rate）为10-4，学习率衰减（Learning Rate Decay）为200。本文在DIV2K和WIDS上按照不同方案训练了Meta-RDCAN并绘制了L1损失的变化曲线，结果如图5所示。根据损失曲线，模型训练过程中损失接近5.0后下降变得十分缓慢，但继续训练确实能提升模型性能。图5（a）和图5（b）中在单一数据集上训练模型时，损失在中止训练时高于5.0，而图5（c）中在WIDS上微调的预训练模型最终损失能降到5.0以下。因此为了节省训练成本，同时保证算法性能不会因为提前终止而产生明显下降，本实验采用先在通用数据集DIV2K上预训练，再在各组遥感数据集上微调的训练方案。图5Meta-RDCAN在不同训练方案下的损失曲线Fig. 5The loss curve of Meta-RDCAN under different training regimens3.3　实验结果实验过程中在遥感数据集AID，UCMerced和WIDS上分别训练了Meta-RDN和Meta-RDCAN，然后在Set5，UCMerced和澳门科普卫星数据上进行测试。测试的比例因子设置在1.5—4.0，步长为0.5。因此一共有6组模型在3组数据上进行共计18次测试，每次测试分别包含6个比例因子的结果。在澳门遥感卫星数据上计算有参考指标峰值信噪比（dB）、结构相似度和算法运行时间（s）的结果如表2中所列。表3和表4中列出了部分在UCMerced和Set5上计算得到的以上指标，各表中横向对比时更高的峰值信噪比已用粗体标出表3和表4中列出了部分在UCMerced和Set5上计算得到的以上指标，各表中横向对比时更高的峰值信噪比已用粗体标出，算法运行时间取在不同比例因子下重建所耗时间的平均值，且在不同数据集上训练的模型用模型名称加训练数据集区分。注：黑体表示横向对比时更高的峰值信噪比。表2在澳门科普卫星数据上的测试结果Table 2Test results on Macao science popularization satellite data注：黑体表示横向对比时更高的峰值信噪比。表3在UCMerced上的部分测试结果Table 3Partial test results on UCMerced dataset注：黑体表示横向对比时更高的峰值信噪比。表4在Set5上的部分测试结果Table 4Partial test results on Set5 dataset纵向比较表2中的峰值信噪比，可以看出当比例因子增大至3.0左右时，无论是Meta-RDN还是Meta-RDCAN，计算出的峰值信噪比基本下降到40.0以下。一般认为重建图像的峰值信噪比大于35.0时，图像质量可被接受，而峰值信噪比大于40.0时重建图像具有较高的质量。通过观察图6中按不同比例因子进行重建的澳门科普卫星数据可发现，当比例因子在2.5以下时，图像中的飞机、油罐等目标能有较清晰的轮廓，而且部分并排的目标也有明显的能用肉眼区分的边缘。而当比例因子超过4.0时，一些细小的飞机目标在重建结果中已经消失，排列较为紧密的目标也在超分辨率重建过程中被混淆，无法清楚地判断出多个目标实例，这种重建图像是无法用于下游目标检测与识等任务的。综合定性和定量的分析，可以给出所提模型Meta-RDCAN的适用范围，即适用于比例因子在4.0以内的遥感图像任意尺度超分辨率重建任务。图6Meta-RDCAN在2.0、2.5及4.5比例因子下对澳门科普卫星数据的重建结果Fig. 6Meta-RDCAN reconstruction results on Macao data under 2.0， 2.5 and 4.5 scale factors另外，纵向对比表2和表3中在不同数据集上训练模型的测试结果可看出，在AID和UCMerced上训练的模型效果几乎总是优于在WIDS上训练的模型。这一结果可借助图4中的训练数据和测试数据的对应关系解释。当在澳门科普卫星数据上测试时，AID包含全部测试数据可能涵盖的空间分辨率，而UCMerced和WIDS数据集都不能完全覆盖测试数据，但UCMerced数据集的空间分辨率更高，训练过程中能提供更多的特征信息和更丰富的重建细节的经验。在UCMerced上测试时，UCMerced训练数据已完全覆盖测试可能出现的空间分辨率，AID数据集也包含足够充足的样本让模型学习到重建高空间分辨率遥感图像的经验，反之WIDS数据集与测试数据完全没有空间分辨率的交集，因此训练得到的模型性能不如其他两者。该实验结果说明了空间分辨率在遥感图像超分辨率重建任务中产生的重要影响，也说明了用于训练的数据尽可能选择覆盖空间分辨率范围广，包含丰富细节的遥感图像。最后，横向对比表2、表3和表4中的各项指标，可以说明在密集残差块中添加通道注意力确实能提升网络性能。在图7和图8的定性比较结果中，可看出Meta-RDCAN能重建出草坪中心目标下半部分的完整边缘和蝴蝶翅膀的纹理细节，而Meta-RDN的重建结果则可能缺少边缘或者存在细节模糊的问题。另外，通过对比算法运行时间能说明取得提升的代价是计算速率的降低。值得注意的是在有些横向对比结果中，即使峰值信噪比取得较高的值，结构相似度也可能取得较低的值，以及部分纵向对比中，峰值信噪比降低的同时结构相似度反而升高。这一现象说明峰值信噪比和结构相似度这两种有参考评价指标之间不一定是正相关关系，在分析模型性能优劣时还需根据具体任务具体分析更能准确反映算法的优缺点的指标。图7Meta-RDCAN和Meta-RDN在3.5比例因子下对UCMerced数据的重建结果Fig. 7Meta-RDCAN and Meta-RDN reconstruction results on UCMerced data under 3.5 scale factor图8Meta-RDCAN和Meta-RDN在3种比例因子下对Set5数据的重建结果Fig. 8Meta-RDCAN and Meta-RDN reconstruction results on Set5 data under three different scale factors对于遥感图像任意尺度超分辨率重建任务，仅使用有参考评价指标会带来如必需高分辨率图像作为真值等诸多限制，不符合遥感图像缺少高分辨率图像的实际应用场景。因此本文还引入无参考图像质量评价指标NIQE来评价超分辨率重建图像的感知质量。NIQE是一种将输入图像与预先用自然图像集建立好的模型对比的方法，其值越低代表图像感知质量越好。由于不需要低分—高分图像对，超分辨率重建算法可以直接在原始测试数据上运行，也在一定程度上淡化了图4所示的空间分辨率改变的影响。表5是Meta-RDN和Meta-RDCAN直接对澳门科普卫星数据按照1.5和2.0倍率进行超分辨率重建的结果，且已用粗体标出横向对比时更优的结果。可以看出用NIQE作为评价指标时，也能得出上述使用有参考指标得到的结论，该结果进一步证明了使用通道注意力机制的有效性。注：黑体表示横向对比时更高的NIQE。表5在澳门科普卫星数据上计算NIQE的结果Table 5Results of calculated NIQE on Macao satellite data","result":"通过定性和定量分析，对比了基准模型Meta-RDN和改进模型Meta-RDCAN在遥感图像超分辨率重建任务上的表现。实验首先在DIV2K数据集上预训练两种模型，然后在AID、UCMerced和WIDS遥感数据集上进行微调。研究了不同比例因子对超分辨率重建的影响，并在真实遥感数据上进行了测试。使用了PSNR、SSIM和NIQE等评价指标，以及算法运行时间来衡量模型性能。\n\n数据集涵盖了DIV2K、AID、UCMerced、WIDS、Set5和澳门科普卫星的真实遥感图像。AID数据集包含10种场景的10000张图像，UCMerced数据集包含21类地物图像，WIDS数据集则包含11000张卫星影像。实验中对数据进行了双三次下采样处理，以获得低分辨率和高分辨率图像对。\n\n实验设置中，使用两块RTX 2080Ti显卡进行训练，批量大小为2，训练轮次为200。损失函数采用L1损失，优化算法使用ADAM。实验结果显示，随着比例因子的增大，峰值信噪比逐渐下降，但当比例因子在2.5以下时，重建图像质量可接受。Meta-RDCAN模型在不同数据集上的表现优于Meta-RDN，尤其是在UCMerced数据集上训练的模型。\n\n实验结果表明，空间分辨率对遥感图像超分辨率重建任务有重要影响。训练数据应选择覆盖空间分辨率范围广、包含丰富细节的遥感图像。此外，Meta-RDCAN中添加的通道注意力机制能提升网络性能，但以计算速率降低为代价。峰值信噪比和结构相似度之间不一定是正相关关系，分析模型性能时需根据具体任务选择更合适的评价指标。\n\n为适应遥感图像缺少高分辨率图像的实际应用场景，本文还引入了无参考图像质量评价指标NIQE。NIQE结果进一步证明了使用通道注意力机制的有效性。总体而言，Meta-RDCAN模型适用于比例因子在4.0以内的遥感图像任意尺度超分辨率重建任务。","language":"zh"},{"title":"基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建","chapter":"4　结论","content":"针对遥感图像任意尺度超分辨率重建的问题，本文提出采用元学习和密集残差注意力网络的超分辨率重建方法Meta-RDCAN。本方法应用的元上采样模块通过权重预测、位置投影和特征映射3大功能实现任意尺度超分辨率重建，同时从充分提取遥感图像局部地物目标信息的角度出发设计密集残差注意力特征提取网络，恢复遥感图像的细节信息。本文在DIV2K、AID、UCMerced、WIDS、Set5和来自澳门科普卫星的真实遥感图像数据上进行了充分实验，分析了空间分辨率变化对超分辨率重建结果的影响，并基于损失曲线验证了先在通用数据集上预训练、然后在遥感数据集上微调的训练方案的合理性。基于不同比例因子的测试结果表明本文所提模型适用于比例因子在4.0以内的遥感图像任意尺度超分辨率重建任务。对比实验结果说明添加通道注意力的改进模型在峰值信噪比和结构相似度上能取得比基准模型更好的表现；基于无参考指标NIQE的对比结果也能说明改进模型超分辨率重建结果的感知质量优于基准模型。以上研究证明了基于元学习和密集残差注意力的遥感图像任意尺度超分辨率重建方法的有效性。本文的主要贡献包括两方面：（1）针对遥感图像任意尺度超分辨率重建问题，采用元学习的方法自适应调整模型内部参数，实现用单一模型对单张遥感图像进行连续的整数和非整数倍超分辨率重建。（2）针对重建结果中细节缺失、地物目标边缘不清晰的问题，采用通道注意力机制改进密集残差网络，提升了超分辨率重建结果的质量。","result":"提出一种基于元学习和密集残差注意力网络的遥感图像任意尺度超分辨率重建方法Meta-RDCAN。通过元上采样模块和密集残差注意力特征提取网络，实现任意尺度超分辨率重建并恢复图像细节。实验结果表明，该方法适用于比例因子在4.0以内的遥感图像超分辨率重建任务，改进模型在峰值信噪比和结构相似度上表现更佳，且感知质量优于基准模型。主要贡献包括：1) 采用元学习自适应调整模型参数，实现连续整数和非整数倍超分辨率重建；2) 引入通道注意力机制改进密集残差网络，提升重建质量。","language":"zh"}]”