混合稀疏表示模型的超分辨率重建

杨雪; 李峰; 鹿明; 辛蕾; 鲁啸天; 张南

doi:10.11834/jrs.20219409

遥感技术方法 | 浏览量 : 0 下载量: 283 CSCD: 1 更多指标

R-PDF
PDF
导出
分享给微信好友或者朋友圈

分享
收藏
专辑

混合稀疏表示模型的超分辨率重建
New super-resolution reconstruction method based on Mixed Sparse Representations
- 角色： First author 第一作者
- 机构：
  中国空间技术研究院钱学森空间技术实验室, 北京 100094
- 邮箱： yangxue @qxslab.cn
- 简介：杨雪，研究方向为图像超分辨率重建算法研究及应用。E-mail： yangxue @qxslab.cn
杨雪
，
- 角色： Corresponding author 通讯作者
- 机构：
  中国空间技术研究院钱学森空间技术实验室, 北京 100094
- 邮箱： lifeng @qxslab.cn
- 简介：李峰，研究方向为图像重建、压缩感知等。E-mail： lifeng @qxslab.cn
李峰
，
- 机构：
  中国空间技术研究院钱学森空间技术实验室, 北京 100094
鹿明
，
- 机构：
  中国空间技术研究院钱学森空间技术实验室, 北京 100094
辛蕾
，
- 机构：
  中国空间技术研究院钱学森空间技术实验室, 北京 100094
鲁啸天
，
- 机构：
  中国空间技术研究院钱学森空间技术实验室, 北京 100094
张南
2022年26卷第8期页码：1685-1697
纸质出版日期： 2022-08-07 ，
DOI： 10.11834/jrs.20219409

扫描看全文

引用

阅读全文PDF
杨雪，李峰，鹿明，辛蕾，鲁啸天，张南.2022.混合稀疏表示模型的超分辨率重建.遥感学报，26（8）： 1685-1697

Yang X，Li F，Lu M，Xin L，Lu X T and Zhang N. 2022. New super-resolution reconstruction method based on Mixed Sparse Representations. National Remote Sensing Bulletin， 26（8）：1685-1697
杨雪，李峰，鹿明，辛蕾，鲁啸天，张南.2022.混合稀疏表示模型的超分辨率重建.遥感学报，26（8）： 1685-1697 DOI： 10.11834/jrs.20219409.

Yang X，Li F，Lu M，Xin L，Lu X T and Zhang N. 2022. New super-resolution reconstruction method based on Mixed Sparse Representations. National Remote Sensing Bulletin， 26（8）：1685-1697 DOI： 10.11834/jrs.20219409.

混合稀疏表示模型的超分辨率重建

杨雪 ; 李峰 ; 鹿明 ; 辛蕾 ; 鲁啸天 ; 张南 ;

PDF下载

论文导航

摘要

超分辨率重建是当前卫星遥感数据空间分辨率提升的重要技术，但目前现有的超分辨率重建方法在处理具有复杂地物特征的影像时效果往往不佳。当遥感影像中包含有各种非均匀地物信息时，难以构建一种通用的模型来解决遥感影像的病态问题。基于此，本文结合图像稀疏表达与非凸高阶全变分理论，提出了一种混合稀疏表示模型的新型超分辨率重建方法（MSR-SRR）。这种方法以遥感图像在多重变换域的稀疏性表达作为先验概率模型，通过正则化方法来完成超分辨率重构，不仅保留了超分重建结果影像的边缘信息，而且对影像中产生的“阶梯效应”进行了适当的平滑处理。该方法利用迭代重加权 $l 1$ 交替方向乘子方法进行求解，提高了算法的运行效率，改善了影像质量。为了证明所提出方法的有效性，MSR-SRR结果与非均匀插值、POCS和IBP等传统超分方法的重建结果进行了对比验证。结果表明，MSR-SRR方法的图像清晰度平均提升了31.74%，PSFs半峰宽度最大，高斯方差值达到1.8415，效果明显优于其他方法。为进一步评估MSR-SRR结果的实用性，本文以高分四号卫星（GF-4）影像作为样例，利用支持向量机（SVM）分类方法对超分重建前后的影像进行了分类试验和精度验证。结果表明，超分辨率重建后的影像结果相对于原始影像的分类结果，Kappa系数提升了9.7%，OA值提升了5.96%。这表明MSR-SRR方法可以有效提升影像清晰度，丰富影像纹理细节，增强图像质量，有效提升影像分类精度。

Abstract

When processing remote sensing images with complex features, the conventional Super-Resolution Reconstruction (SRR) methods are often not ideal, especially for remote sensing images containing various non-uniform object information. A universal method to solve this problem is difficult to construct at present. A new SR reconstruction method of mixed sparse representation model (MSR-SRR) combined with the sparse representation and non-convex high-order total variational regularizer has been proposed to solve this problem. In this method, the sparse representation of remote sensing images in multiple transform domains is regarded as a prior probability model, and the SR reconstruction is completed by regularization. The obtained image not only retains the edge information of the image result by SR reconstruction, but also smoothens the “ladder effect” of the image. The efficiency of operation and the quality of SR reconstruction results are improved by an effective re-weighted l1 alternating direction method. Results show that the sharpness of the image increases by 31.74% on the average, the half-peak width of PSFs is the largest, and the Gaussian variance value reaches 1.8415. The GF-4 satellite images have been selected to carry out validation experiment to verify the feasibility and validity of MSR-SRR. The reconstruction results show that the images using the MSR-SRR method have better definition, richer details, and higher quality than those with non-uniform interpolation, the POCS method, and IBP method. The support vector machine method is used to classify and evaluate the accuracy of the images before and after SR reconstruction. The results show that the overall accuracy and Kappa coefficient of the reconstructed super-resolution image are improved more significantly than the original image classification results. The OA value increases by 5.96%, and the Kappa coefficient increases by 9.7%. The findings confirmed that the MSR-SRR method is effective and feasible and has extensive practical value.

译

关键词

遥感; 高分四号; 超分辨率重建; 混合稀疏表示; 全变分; 非凸

译

Keywords

remote sensing; GF-4; Super-Resolution Reconstruction (SRR); Mixed Sparse Representation (MSR); Total Variation (TV); Non-convex

译

1　引言

遥感影像超分辨率重建SRR（Super Resolution Reconstruction）是利用一组低分辨率图像（或运动序列）来生成高分辨率图像。自

Tsai和Huang（1984）提出以来，引起了广泛的关注。该方法一直是遥感界研究的热点。SRR方法大致包括频域法、空间域法和基于学习的方法。频域法实现简单，可并行处理，但处理效果不佳。空域重构法主要包括非均匀样本内插法、迭代反投影IBP（Iterative Back-Projection）算法（Irani和Peleg，1991；Nitta等，2006）、凸集投影POCS（Projection Onto Convex Sets）算法（Xu和He，2017；Lei等，2018）、最大后验估计MAP（Maximum a Posteriori）算法（Li等，2017；Yang等，2018）和全变分TV（Total Variation）算法等（Babacan等，2011；Woods和Katsaggelos，2017）。POCS方法简单易实现，缺点是求解具有非唯一性、收敛速度慢、计算量大。IBP算法直观易理解，但存在对图像细节获取能力差，重建图像清晰度不高的问题。MAP方法是目前最流行的一种超分重建方法，缺点是超分重建后细节信息丢失严重，不适合实际应用。传统的TV方法对影像平坦区抑噪不充分，容易出现虚假边缘和阶梯效应。随着深度学习技术的蓬勃发展，基于卷积网络的方法被应用到SRR（周峰等，2017；Sha等，2019），但该方法需要大量的训练数据和计算资源。

译

近年来，涌现很多基于稀疏表示的超分辨率重建方法。然而通过训练的稀疏表示方法依赖于训练样本，缺乏正则性、存在冗余、计算效率低。在频率域，特定的变换仅擅长为特定类型的输入信号提供稀疏表示，如小波变换（

Zhang，2019）比较适合平滑图像中边缘的稀疏性表达；全变分（Chang等，2018）适合分段线性图像的稀疏性表达；曲波变换（Ramana等，2018）比较适合卡通图片和文字的稀疏性表达。目前很难找到一种通用的影像稀疏表示方法。但有学者在不断尝试，如，Liu等（2015）和Shi等（2016）采用重叠组稀疏正则化项OGSTV（Overlapping Group Sparsity Total Variation）恢复噪声损坏图像，在减轻阶梯效应方面非常有效；Bai等（2016）提出了一种基于交替方向乘子法求解全变差正则化的模型，对去除椒盐噪声非常有效，但对于随机噪声效果一般。Zhao等（2018）提出了基于字典和稀疏表示的超分辨率重建方法，但对训练样本要求比较高。

译

遥感影像SRR算法需要解决两个方面的问题，一方面SRR过程是一个病态求解的问题，具有不适定性，无法选取合适的先验模型。因此，需要在图像重建过程中加入先验知识作为约束条件，以获得更优的解。另一方面SRR要求连续捕获的低分辨率图像的时间间隔尽可能短；如果地面目标在低分辨率图像之间变化较大，超分辨图像就没有意义。

译

基于此，本文提出了一种新的混合稀疏模型（MSR model），利用高阶非凸全变分HONCTV（Higher Order Non-Convex Total Variation）正则化方法并引入OGSTV正则化器，达到了在保留重建影像的边缘特征的同时，平衡和控制了HONCTV正则化器产生的平滑效果。再结合影像空间点域的稀疏表达，更好地抑制了影像中的阶梯伪影。求解混合稀疏模型过程中，采用迭代重加权l1交替方向乘子ADMM（Alternating Direction Method of Multipliers）求解的方法，利用目标函数的可分离性，将重构问题分解为若干个极小化子问题，交替迭代求解，提高稀疏信号的重构质量。该方法在保证计算速度的同时，能有效地重建出最佳结果影像，保证了算法的鲁棒性。

译

遥感影像获取的时间间隔大是遥感影像应用超分辨率重建的障碍之一，因为在获取遥感影像的时间段内，地面的反射特性可能会发生变化。如Landsat等遥感卫星虽然空间分辨率较高，能够反映地物系统的复杂变化，但重访周期长，易受云雪等天气的影像，造成一些关键的地物无影像覆盖的等现象（

杨军明等，2019）。

译

GF-4是中国第一颗同时携带可见光摄像机和红外光学摄像机的地球静止轨道遥感卫星，具有高时间分辨率、较高空间分辨率和较大成像幅宽的特点（

Liu等，2019；Yang等，2019），轨道高度36000 km，包含1个全色波段、4个多光谱波段和一个中波红外波段。可见光相机在赤道附近的光学分辨率约为50 m，中波红外波段的空间分辨率约为400 m。GF-4具备高频次全天候对地观测能力，可以实现对大面积区域的长期持续观测。获取在极短时间间隔下，全国范围内相关区域的中等空间分辨率卫星影像（聂娟等，2018；朱小波等，2019，孙越君等，2018）。因此，GF-4为使用超分辨率重建方法提升影像空间分辨率提供了机会，也为超分辨率重建方法的应用带来了新的机遇。

译

但由于GF-4运行轨道高，成像物距是近地轨道的数十倍，在光学成像载荷技术能力的限制下，为了保证影像的信噪比和MTF性能，根据瑞利准则，艾瑞光斑与像元大小的比值通常小于标准值4.88，难以获得高空间分辨率图像，严重影响地物信息识别的准确率（

Jiang等，2019）。一般来说，空间分辨率受到光学系统孔径、轨道高度、瞬时视场、探测器阵列密度、卫星重访周期等因素的限制。现有条件下，一旦遥感卫星发射升空，进一步提高空间分辨率最有效的方法是利用超分辨率SR（Super Resolved）技术（Li等，2018b）。

译

基于此，本文提出了遥感图像MSR-SRR的方法，利用短期内从同一场景获取的序列帧低分辨率GF-4影像，结合提出的混合稀疏表示方法开展实验仿真验证，解决了遥感影像的病态问题，重建出空间分辨率高，清晰度好，纹理细节丰富的影像。该方法对进一步推动超分辨率重建技术的理论研究和实际应有具有重要的意义。

译

2　研究方法

从频域的角度来说，高分辨率图像比低分辨率图像包含更多的高频成分，所以高分辨率图像更细腻且包含更多的细节信息。图像在成像过程中受到相机视角、大气扰动、下采样等因素的影响，每幅低分辨率图像可能包含特有的高频成分，而超分辨率技术本质就是整合多幅低分辨率图像中的高频信息重建高分辨率图像。本文提出的超分辨率重建方法包括影像退化模型建立，基于MSR的超分辨重建和亚像素谱段间/帧间配准方法。

译

2.1　影像退化模型建立

在遥感图像的成像过程中，存在诸多模糊和噪声等退化因素的影响，遥感图像退化模型是一个描述原始高分辨率遥感图像经过各种模糊、平台漂移/抖动和噪声等影响而退化成低分辨率图像的过程（

杨蕊等，2019）。超分辨率重建需要消除各种影响图像质量的模糊、平台漂移/抖动和噪声等因素才能重建出质量更清晰、分辨率更高的图像，因此退化模型的构建研究对超分辨率重建非常重要。通过下面的数学表达来描述原始遥感图像的退化模型（Li等，2018a）。

译

$g_{i} = D H_{i} M_{i} u + n_{i}, i = 1,2, \dots, K$

(1)

式中， $g_{i}$ 是第i个低分辨率图像； $D$ 是下采样矩阵，为空间域上的带降采样因子的抽取算子。 $H_{i}$ 是块循环矩阵，用来表示模糊降质过程，包括失焦、运动模糊或光学系统传递函数带来的模糊等； $M_{i}$ 是表示第i幅图像的位置错位和几何变形的矩阵，需要采用参考影像来建立映射目标。在实际应用中， $M_{i}$ 可由序列帧低分辨率影像中的第i个图像与参考影像来估计； $u$ 是原始高分辨率图像；K是低分辨率图像的数量； $n_{i}$ 表示高斯分布中具有零均值和方差的污染加性噪声。假设r为图像的下采样率，N和M为图像长度和宽度，则D的大小为 $\frac{N}{r^{2}} \times N$ ； $g_{i}$ 和 $n_{i}$ 表示长度为 $\frac{N}{r^{2}}$ 的向量。 $H_{i}$ 和 $M_{i}$ 是 $N \times M$ 矩阵。超分辨率重建的目标是在已知系列低分辨率图像的基础上，重建出原始高分辨率图像 $u$ 。该过程是通过对每个光谱波段分别进行图像后处理来完成的。退化模型的建立是后续反演高分辨率图像的基础。

2.2　基于MSR的超分辨率重建方法

为了解决式（1）中遥感影像的病态求解问题，仅仅采用全变分影像超分辨率重建容易产生阶梯状边缘伪影的影响，导致重建图像呈块状。本文提出了一种基于混合稀疏表示模型的新型超分辨率重建方法，用于影像阶梯状伪影的去除。通过引入非凸高阶TV正则化器，在保留边缘的同时，对重建图像中的阶梯效应进行适当的平滑处理。然而，单独使用非凸高阶TV会使图像平滑，同时放大散斑伪影。因此我们利用图像空间域稀疏性、重叠组稀疏正则化器和非凸高阶TV互补的优势，来平衡非凸高阶TV正则化器产生的效果，并对重建图像中的块状有更全局的平滑作用。求解SRR影像就是求解以下优化问题的结果。

译

$\begin{array}{l} m i n \frac{λ}{2} | |D H_{i} M_{i} u - g_{i} | |_{2}^{2} + ϕ (\nabla u) + \\ ω | | \nabla^{2} u | |_{p}^{p} + T_{c} (u) + K | | s | |_{p}^{p} \end{array}$

(2)

式中， $ϕ (\cdot)$ 表示重叠组稀疏正则化项，用来保证重建出影像是边缘规整。 $| | \cdot | |_{p}^{p}$ 表示非凸l_p正则化范数。变量 $λ (λ > 0)$ 和 $ω (ω > 0)$ 是正则化参数，用来控制数据保真项和非凸二阶正则化器的正则化参数。 $s$ 表示影像空间域点分量， $| | s | |_{p}^{p}$ 表示影像空间域自身点分量的正则化范数，当 $K$ 的值选取较大时，图像的平滑比重增大。图像 $T_{c} (u)$ 是特征约束函数，也被称为框约束，用来约束重建图像的像素值。这种类型的约束由于求解的结果会超出给定的动态范围，因此采用该函数，在预定义的动态范围内重构图像。其中 $c = [0,1024]$ ， $u$ 为区间c中的图像像素值。

He等（2016）和Adam和Paramesran（2019）均已证明这可以提高图像重构的质量。假设C为像素点集合，函数的定义如下：

$T_{c} (x) = \{\begin{matrix} 0, x \in C \\ + \infty, x \notin C \end{matrix}$

(3)

$\nabla_{u}$ 和 ${\nabla^{2}}_{u}$ 在假设周期性边界条件情况下，分别表示离散的一阶和二阶梯度算子（

Wu和Tai，2010）。

为了求解最小化问题，本文采用迭代重加权l₁交替方向法（

Bai等，2016），式（2）转化为约束优化问题。

译

$\begin{array}{l} \underset{z}{m i n} \frac{λ}{2} | | D H_{i} M_{i} u - g_{i} | |_{2}^{2} + ϕ (v) + \\ ω | | w | |_{p}^{p} + T_{c} (z) + K | | r | |_{p}^{p} \\ s . t . v = \nabla u, w = \nabla^{2} u, z = u, r = s \end{array}$

(4)

对应的增广拉格朗日函数为

译

$\begin{array}{l} L_{𝒜} (r, s, u, v, w, z; μ_{1}, μ_{2}, μ_{3}, μ_{4}) = \\ \frac{λ}{2} | | D H_{i} M_{i} u - g_{i} | |_{2}^{2} + ϕ (v) + ω | | w | |_{p}^{p} + \\ T_{c} (z) + K | | s | |_{p}^{p} - {μ_{1}}^{Τ} (v - \nabla u) + \\ \frac{ρ_{1}}{2} | | v - \nabla u | |_{2}^{2} - {μ_{2}}^{Τ} (w - \nabla^{2} u) + \\ \frac{ρ_{2}}{2} | | w - \nabla^{2} u | |_{2}^{2} - {μ_{3}}^{Τ} (z - u) + \\ \frac{ρ_{3}}{2} | | z - u | |_{2}^{2} - {μ_{4}}^{Τ} (r - s) + \frac{ρ_{4}}{2} | | r - s | |_{2}^{2} \end{array}$

(5)

式中， $ρ (ρ > 0)$ 是惩罚参数或正则化参数，同二次项 ${‖v - \nabla u‖}_{2}^{2}$ 和 ${‖w - \nabla^{2} u‖}_{2}^{2}$ 惩罚相关。变量μ₁，μ₂，μ₃和μ₄是拉格朗日乘子。采用ADMM方法研究逐级求解各子问题的最优解。式（5）可以转化为求解以下5个公式。

$\begin{array}{l} u^{k + 1} = \underset{u}{a r g m i n} \frac{λ}{2} | | D H_{i} M_{i} u - g_{i} | |_{2}^{2} - \\ {μ_{1}}^{Τ} (v^{k} - \nabla u) + \frac{ρ_{1}}{2} | | v^{k} - \nabla u | |_{2}^{2} - \\ {μ_{2}}^{Τ} (w^{k} - \nabla^{2} u) + \frac{ρ_{2}}{2} | | w^{k} - \nabla^{2} u | |_{2}^{2} - \\ {μ_{3}}^{Τ} (z^{k} - u) + \frac{ρ_{3}}{2} | | z^{k} - u | |_{2}^{2} \end{array}$

(6)

$\begin{array}{l} v^{k + 1} = \underset{v}{a r g m i n} \frac{ρ_{1}}{2} | | v - \nabla u^{k + 1} | |_{2}^{2} - {μ_{1}}^{Τ} (v - \nabla u^{k + 1}) + \\ ϕ (v) = \underset{v}{a r g m i n} \frac{ρ_{1}}{2} | | v - (\nabla u^{k + 1} + \frac{μ_{1}^{k}}{ρ_{1}}) | |_{2}^{2} + ϕ (v) \end{array}$

(7)

$\begin{array}{l} w^{k + 1} = \underset{w}{a r g m i n} \frac{ρ_{2}}{2} | | w - \nabla^{2} u^{k + 1} | |_{2}^{2} - \\ {μ_{2}}^{Τ} (w - \nabla^{2} u^{k + 1}) + ω | | w | |_{p}^{p} = \\ \underset{w}{a r g m i n} \frac{ρ_{2}}{2} | | w - (\nabla^{2} u^{k + 1} + \frac{{μ_{2}}^{k}}{ρ_{2}}) | |_{2}^{2} + ω | | w | |_{p}^{p} \end{array}$

(8)

$\begin{array}{l} z^{k + 1} = \underset{z}{a r g m i n} \frac{ρ_{3}}{2} | | z - u^{k + 1} | |_{2}^{2} - μ_{3}^{Τ} (z - u^{k + 1}) + T_{c} (z) = \\ \underset{z}{a r g m i n} \frac{ρ_{3}}{2} | | z - (u^{k + 1} + \frac{μ_{3}^{k}}{ρ_{3}}) | |_{2}^{2} + T_{c} (z) \end{array}$

(9)

$\begin{array}{l} s^{k + 1} = \underset{s}{a r g m i n} \frac{ρ_{4}}{2} | | r^{k + 1} - s | |_{2}^{2} - μ_{4}^{Τ} (r^{k + 1} - s) + K | | s | |_{p}^{p} = \\ \underset{s}{a r g m i n} \frac{ρ_{4}}{2} | | r^{k + 1} + \frac{μ_{4}^{k}}{ρ_{4}} - s | |_{2}^{2} + K | | s | |_{p}^{p} \end{array}$

(10)

$\begin{array}{l} r^{k + 1} = \underset{r}{a r g m i n} \frac{ρ_{4}}{2} | | r - s^{k + 1} | |_{2}^{2} - μ_{4}^{Τ} (r - s^{k + 1}) = \\ \underset{r}{a r g m i n} \frac{ρ_{4}}{2} | | r + \frac{μ_{4}^{k}}{ρ_{4}} - s^{k + 1} | |_{2}^{2} \end{array}$

(11)

式中，“argmin”表示的是使目标函数 $L_{A}$ (r，s，u，v，w，z，μ₁，μ₂，μ₃，μ₄)达到最小值时变量。

下面研究逐级求解各子问题的优化策略。

译

（1）求解u时，固定r，s，v，w和z，式（6）变为一个严格的凸二次函数最小化问题，这个子问题有一个封闭的解。

译

$\begin{array}{l} u^{k + 1} = (λ (D H_{i} M_{i})^{Τ} (D H_{i} M_{i}) + ρ_{1} \nabla^{Τ} \nabla + \\ ρ_{2} (\nabla^{2})^{Τ} \nabla^{2} + ρ_{3} {Ι)}^{- 1} (λ (D H_{i} M_{i})^{Τ} g_{i} - \nabla^{Τ} μ_{1} + \\ ρ_{1} \nabla^{Τ} v - (\nabla^{2})^{Τ} μ_{2} + ρ_{2} (\nabla^{2})^{Τ} w - μ_{3} + ρ_{3} z) \end{array}$

(12)

在图像u的周期边界条件下， $(D H_{i} M_{i})^{Τ} (D H_{i} M_{i})$ 和 $\nabla^{Τ} \nabla$ 表示整个块循环， $(\nabla^{2})^{Τ} \nabla^{2}$ 表示循环块，式（12）可以转为求解FFT变换和逆变换（

Adam和Paramesran，2019）。

（2）求解v时，固定r，s，u，w和z，式（7）可以转化为OGSTV的图像去噪问题，具体求解方法参见（

Sun等，2017）。

译

（3）求解w，固定r，s，u，v和z，式（8）是一个非凸二阶去噪问题。本文采用

Adam和Paramesran（2019）提出的迭代重加权l1（IRL1）算法来求解。在IRL1算法的每次迭代中，式（8）近似为求解l1的问题。

译

$w^{k + 1} = \underset{w}{a r g m i n} \frac{ρ_{2}}{2} | | w - (\nabla^{2} u^{k + 1} + \frac{μ_{2}^{k}}{ρ_{2}}) | |_{2}^{2} + \sum_{i} t_{i} | ω_{i} |$

(13)

当 $x^{k + 1} = \nabla^{2} u^{k + 1} + \frac{μ_{2}^{k}}{ρ}$ 时，式（13）可以写为

$w^{k + 1} = \underset{w}{a r g m i n} \frac{ρ_{2}}{2} | | w - x^{k + 1} | |_{2}^{2} + \sum_{i} t_{i} | ω_{i} |$

(14)

其中权系数t_i可根据迭代循环计算出来，为了保证权系数的有效性。通过如下公式进行求解。

译

$t_{i} = \frac{ω p}{(| {ω_{i}}^{k} {| + ε)}^{1 - p}}$

(15)

式中，ε是为一较小的常量，它用来避免当加权向量中出现零元素值时导致算法运行终止现象。算法迭代过程ε的值通过IRL1算法进行自适应获取。

译

式（14）可以通过一维收缩迭代函数（

Beck等，2009）求解。

译

$\begin{array}{l} w^{k + 1} = s h r i n k (x^{k + 1}, \frac{t_{i} ω}{ρ_{2}}) = \\ m a x \{| x^{k + 1} | - \frac{t_{i} ω}{ρ_{2}}, 0\} \cdot s i g n (x^{k + 1}) \end{array}$

(16)

（4）求解z，固定r，s，u，v。z的子问题可以用简单的投影问题来解决，式（9）是一个封闭求解的问题。具体求解方法参见（

Condat，2014）。

译

$\begin{array}{l} z^{k + 1} = p r o (u^{k + 1} + \frac{μ_{3}^{k}}{ρ_{3}}) = \\ m i n (1024, m a x (u^{k + 1} + \frac{μ_{3}^{k}}{ρ_{3}}, 0)) \end{array}$

(17)

式中，pro（.）是一个投影算法。

译

（5）求解s的子问题与求解w的子问题方法一致，具体参考w子问题求解方法。

译

（6）求解r，固定s，u，v，w和z。式（10）也是一个封闭求解的问题。

译

（18）

（7）通过更新拉格朗日乘子μ₁，μ₂，μ₃和μ₄可以得出：

译

$\begin{array}{l} μ_{1}^{k + 1} = μ_{1}^{k} + ρ_{1} (v^{k + 1} - \nabla u^{k + 1}) \\ μ_{2}^{k + 1} = μ_{2}^{k} + ρ_{2} (\nabla^{2} u^{k + 1} - w^{k + 1}) \\ μ_{3}^{k + 1} = μ_{3}^{k} + ρ_{3} (u^{k + 1} - z^{k + 1}) \\ μ_{4}^{k + 1} = μ_{4}^{k} + ρ_{4} (s^{k + 1} - r^{k + 1}) \end{array}$

(19)

通过上述方法可以保证迭代求解过程中的收敛性。在每次迭代中，通过将残差投影到每个域，算法保持大的幅值分量，并将小的幅值系数设置为零，这符合l1范数最小化。随着迭代的进行，残差越来越小。在每次迭代中，可以分别在重叠组稀疏全变差域和图像空间域重构不同类型的结构分量。当达到一定的迭代次数或算法收敛到最小值时算法终止。

译

2.3　亚像素谱段间/帧间配准

根据GF-4卫星影像的成像机理，成像过程中采用滤光片切换技术，在多光谱谱段间成像有一定的时间（数秒）延迟，

鲍赫等（2015）通过对不同影像B1和B5通道之间时间间隔的稳定性进行了研究，选取了出现在不同组连续影像中的22例目标，近似认为GF-4影像数据每个谱段成像的时间间隔约为7.9 s（程伟，2018）。这种谱段间成像时间上的不同步，造成获取的影像上目标在不同通道间存在位移。此外，由于还受到卫星轨道漂移、卫星平台抖动、大气扰动和地面起伏等因素的影响，导致获取的影像存在严重的几何变形，图像质量下降。因此需要采用额外的方法来提升图像的超分重建精度。本文提出了一种基于联合的亚像素高精度影像配准算法。一方面借鉴基于特征向量的影像匹配算法的鲁棒性，另一方面借鉴基于灰度配准算法的高精度。首先采用基于SIFT的特征向量匹配算法进行粗配准，而后采用高效灰度配准方法进行快速高精度配准。

译

基于灰度的图像配准方法大多采用逐步调整待配准图像来逼近参考图像，这样带来的问题是其中待配准图像的Hessian矩阵在每一次循环中都要重新计算，使得效率低下。本文在（

Li等，2014）的图像配准方法的基础上，假设待配准（源）图像

$S (u, v)$ 和参考图像

$T (x, y)$ 的刚性仿射映射关系。采用7个参数描述源图像和目标图像的挤压变形和亮度的变化。这种变形可以表示为

$\begin{array}{l} T (x, y) = S (u, v) + m_{7} = \\ S (m_{1} x + m_{2} y + m_{5}, m_{3} x + m_{4} y + m_{6}) + m_{7} \end{array}$

(20)

式中， $u = m_{1} x + m_{2} y + m_{5}$ ， $v = m_{3} x + m_{4} y + m_{6}$ ，而m₇则表示每个像素的亮度差值。通过保持源图像不动，逐步变换目标图像向源图像配准得到仿射变换的参数，最后对这些仿射变换参数作逆变换即可得出源图像配准到目标图像坐标系中所需的仿射变换参数。这样做的优点是参考图像中的Hessian矩阵只需计算一次，无需在每次循环中更新，进而提高配准效率和精度。

配准过程中，首先将待配准图像和参考图像进行降采样处理。采用SIFT特征点匹配算法（

Zhou等，2017），通过欧氏距离来判断两幅图像特征点的相似性。在匹配过程中，找出待配准图像中与参考图像特征点A距离最近的点B和距离次近的点C，判断特征点A与B是否是一对匹配点（汪宇雷等，2014）。

译

$\frac{d (A, B)}{d (A, C)} < T h r e s h o l d$

(21)

式中， $d (A, B)$ 为A和距离A最近的点B之间的距离， $d (A, C)$ 为A和距离A次近的点C之间的距离。最后用随机抽样一致性RANSAC（Random Sample Consensus）算法消除错误匹配点。完成粗配准后，将粗配准的结果作为待精配准图像。结合参考影像，采用灰度匹配算法进行影像配准，从而获取变换矩阵，将变换矩阵再与待精配准图像进行结合，获得配准后的结果图像。

采用此方法，利用SIFT特征点配准算法完成了图像灰度配准阶段构建的由粗糙到精细的多层金字塔结构的粗配准过程，可以直接进行金字塔的最底层即最精细层的配准过程。既提升了配准的效率，又大大提高了配准的精度。

译

3　实验数据

3.1　研究区概况

研究区域覆盖天津市滨海新区。滨海新区，地处华北平原北部，位于山东半岛与辽东半岛交汇点上、濒临渤海，地理坐标为38°40′N—39°00′N，117°20′E—118°00′E。滨海新区拥有海岸线153 km，陆域面积2270 km²，海域面积3000 km²。滨海新区属于暖温带季风型大陆气候，并具有海洋性气候特点。该区域的主要地物包含植被、农田、滩涂、建筑物和水域等，该区域地物分散且结构复杂，适合测试方法。

译

3.2　数据及预处理

本文选择连续拍摄的10帧GF-4卫星影像数据进行超分辨率重建。GF-4卫星的空间分辨率50 m，拍摄时间间隔是1 min，产品级别是1A级，每帧影像的波段数为5个波段。第一景影像的成像时间是2018-08-24 T 10：30：21，最后一景影像的成像时间是2018-08-24 T 10：40：21。为了提升算法的运算效率，本文根据静止轨道凝视卫星的成像方式，分别从每组实验数据中截取区域相同大小的窗口作为研究区域。如图1所示。

译

图1 研究区GF-4遥感影像

Fig.1 GF-4 remote sensing image of study area

（a）原始影像（b）局部区域

（a） The original image （b） Region of interest

下载: 原图 | 高精图 | 低精图

3.3　实验过程

由于GF-4原始影像的成像面积7000 km×7000 km，单景影像幅宽400 km×400 km，在进行GF-4影像超分辨率重建之前，需要对序列帧GF-4低分辨率影像（N₁，N₂，…，N_i）进行ROI区域裁切。对裁切后的ROI区域，选取中间一帧作为参考帧，采用亚像素帧间配准方法，进行高精度帧间配准处理，通过求取相互间的几何变换参数，进而校正GF-4影像，使影像中代表同一位置的对应区域映射到相同坐标下，最终得出帧与帧间的影像配准结果。通过建立序列帧低分辨率配准后影像的退化模型，采用基于混合稀疏的超分辨率重建方法，开展超分辨率重建处理，提高影像的GSD （Ground Sampling Distance）和清晰度，丰富影像的细节信息。由于超分辨率后得出的是影像单个波段的结果，且高分四号卫星每个谱段间是有位移偏差的，因此需要对超分辨率重建的结果进行谱段间配准。采用目前流行的POCS和IBP的方法开展主观评价以及清晰度、PSFs等客观评价方法进行精度评价验证。具体算法实现过程如图2所示。

译

图2 超分辨率重建算法研究过程

Fig.2 Flowchart of research

下载: 原图 | 高精图 | 低精图

4　结果与分析

为了验证算法的有效性，本文还列举了其他一些超分辨率重建算法的实验结果，如非均匀插值方法、凸集投影POCS方法（

Xu和He，2017）和IBP方法（Irani和Peleg，1991）分别与本文提出的MSR-SRR方法进行重建结果质量评价。通常，图像评价可以分为主观评价与客观评价两种，主观评价即由人工来评定，对于相同的图片组织不同的人给出各自的评价等级，从而得到图片某一方面的评价，显然这种方法虽然能够反映图像给人的真实感受，但操作复杂且可重复性较差。另一类图像评价方法即客观评价方法包括清晰度、均方误差、峰值信噪比、PSF、MTF和影像超分结果分类评价等。本文为了验证GF-4真实卫星影像数据的超分重建结果质量，采用清晰度、PSF和影像分类精度评价分方法进行结果精度验证。

译

4.1　图像清晰度评价方法

图像超分辨率的目的是获得更好的图像信号。一般图像质量好坏是由多种因素导致，如成像物体的运动、散焦、大气运动、图像压缩、去噪和重采样等。本文为了客观地衡量算法的性能，对重构后的图像进行了清晰度评价。图像清晰度又称图像平均梯度，是通过计算像素周围的梯度得到的。本文采用（

Crete等，2007）提出的基于相邻像素灰度变化的图像清晰度质量评价方法，具体公式如下：

译

$b l u r_{F} = M a x (F_{v e r}, F_{h o r})$

(22)

式中，F_hor表示水平方向邻域像素灰度变化值，F_ver表示垂直方向上邻域像素灰度变化值，blur_F表示邻域像素灰度变化的最大值。该方法首先利用滤波器对图像进行再模糊，并通过计算再模糊前后的邻域像素灰度变化情况来评价图像质量。若变化较大则表明图像模糊失真越小，反之表明图像失真程度越大。

译

4.2　点扩散函数（PSFs）评价方法

一般来说，不同方法的超分辨图像很难与真实数据进行定量比较。本文假设点扩散函数在已知的情况下，以原始影像经过非均匀插值方法的数据作为模糊数据，分别采用维纳滤波计算POCS方法、IBP方法和MSR-RR方法的点扩散函数。由于3种方法的模糊图像是已知的，当PSF的幅宽越大时，表明影像的空间分辨率越高，质量也越好（

Li等，2014）。

译

4.3　影像分类精度评价方法

为了进一步验证算法的有效性，本文采用SVM的分类方法（

Yang等，2019）对GF-4原始影像和SRR结果进行分类结果分析验证，在分类过程中结合同一区域的谷歌高清地图和Landsat 8卫星影像作为训练参考样本。为了保证算法的一致性，本文选取的Landsat 8训练样本拍摄时间及研究区域与GF-4的实验研究区域一致。

译

4.4　实验结果

本文采用4种SRR算法进行实验验证，由于研究区域较大，为了更好展示实验结果的细节信息，将实验结果数据分为上下两个ROI区域进行可视化展示，展示效果如图3—图4所示。

译

下载: | 高精图 | 低精图

图3 ROI-1共4种超分辨率重建算法测试结果

Fig.3 Test results of four SRR algorithms of ROI-1

下载: | 高精图 | 低精图

图4 ROI-2共4种超分辨率重建算法测试结果

Fig.4 Test results of four SRR algorithms of ROI-2

从图3—图4的重建结果可以看出，非均匀插值方法重建后的图像边缘相对模糊；POCS的重建图像由于配准错误出现了严重的像素偏移且未考虑到图像的先验概率，导致图像整体出现锐化情况。IBP重建的图像主观效果优于前3种算法，但局部细节信息较为模糊。结果表明，本文提出的MSR-SRR算法具有最佳的视觉观察效果。

译

分别采用影像清晰度和分类的方法对4种算法的GF-4影像的每个波段的重建结果进行客观分析评价，清晰度评价结果如图5所示。

译

图5 4种超分辨率重建算法结果的清晰度评价结果

Fig.5 The image sharpness evaluation results of four SRR algorithms

下载: 原图 | 高精图 | 低精图

从图5可以看出，GF-4影像的每个波段清晰度值中非均匀插值法的每个波段的清晰度最差，原始影像经过插值之后也是较为模糊的。POCS方法和IBP的方法基本一致，MSR-SRR方法的清晰度最好。

译

由于经过超分辨重建后影像的空间分辨率提升了2倍，影像的大小也是原来的2倍，因此，采用非均匀2倍插值法的结果作为原始比对数据，分别将POCS方法、IBP方法和MSR-SRR方法的超分辨率重建结果与非均匀插值法的结果相比，3种方法清晰度提升精度如表1所示。

译

表1 3种超分辨率重建方法清晰度提升精度

Table 1 Three SRR methods improve the definition and precision /%

SRR算法	Band1	Band2	Band3	Band4	Band5	平均提升
POCS方法	19.45	33.81	12.09	26.88	33.34	25.11
IBP方法	22.79	28.93	7.94	25.46	27.83	22.59
MSR-SRR方法	32.74	39.66	14.10	37.22	34.97	31.74

下载: 导出CSV

下载: 下载表格图片

从表1可以看出，POCS方法与非均匀插值法相比，5个波段的清晰度平均提升了25.11%；IBP方法与非均匀插值法相比，五个波段的清晰度平均提升了22.59%；MSR-SRR方法与非均匀插值法相比，5个波段的清晰度平均提升了31.74%；由此可以看出，POCS的方法超分辨率重建后的局部细节比IBP的方法超分辨率重建后的局部细节清晰，采用MSR-SRR方法超分辨率重建后的影像清晰度提升更明显，纹理细节信息也较为丰富。

译

采用POCS方法、IBP方法和MSR-SRR方法3种超分辨率重建方法重建出的第一波段数据，以非均匀插值法插值出的第一波段数据为模糊图像，利用PSFs进行超分辨率重构质量评价，评价结果如图6和图7所示。

译

下载: | 高精图 | 低精图

图6 4种超分辨率重建方法的第一波段重建结果

Fig.6 First-band reconstruction results of four SRR methods

下载: | 高精图 | 低精图

图7 PSFs和3种超分辨率重建方法的等效高斯分布方差值

Fig.7 Equivalent gaussian distribution variance of PSFs and 3 SRR methods

3种超分辨率重建方法的PSFs结果如图7所示，MSR-SRR方法显示的PSF顶端的半峰宽度最大，表示，影像超分重建后的空间分辨率也是最好的。为了进一步对结果进行量化表示，基于等效体积对PSF进行圆对称高斯拟合，每个PSF对应的等效高斯的标准差，标准差越大，则PSF半峰宽度越宽，即SRR结果越好。本文提出的MSR-SRR方法产生的高斯方差值为1.8415，是3种重建方法中最高的，因此结果也较好。

译

分别对GF-4原始影像和分类结果影像截取ROI局部区域，选取植被、水域、建筑物和土壤等分类样本，以同一时期同一区域的Landsat8影像和谷歌影像为真实样本，采用SVM的方法进行分类结果分析验证，分类结果如图8所示。

译

下载: | 高精图 | 低精图

图8 GF-4原始影像和超分重建结果影像的ROI区域分类结果

Fig.8 The ROI regional classification results of GF-4 original image and super resolved image

采用总体分类精度、Kappa系数、用户精度和制图精度对图8中GF-4局部区域的原始影像分类结果和超分重建分类结果进行分类精度评价，评价结果如表2所示。

译

表2 GF-4原始影像和超分辨率重建后的影像ROI区域分类结果精度评价表

Table 2 The ROI regional classification results accuracy evaluation of GF-4 source image and SRR image

土地类型	GF-4原始影像		超分辨率重建结果
土地类型	生产者精度/%	用户精度/%	生产者精度/%	用户精度/%
建筑物	50.00	18.18	50.00	16.67
植被	88.89	92.75	85.42	96.85
水	78.15	98.94	98.32	100.00
土壤	88.07	72.18	88.07	80.00
总体精度/%	84.8404		89.8936
Kappa系数	0.7762		0.8512

下载: 导出CSV

下载: 下载表格图片

图8结果表明，超分辨率重建后的影像分类效果更好，纹理细节更丰富，特别是超分辨率重构后能很好的区分出水中间的土壤小路。

译

从表2可以看出，GF-4原始影像与超分辨率重建后的影像ROI区域分类结果精度对比，OA值提升了5.96%，Kappa系数提升了9.66%。这一精度验证的结果表明，超分重建后的GF-4影像比原始影像的分类结果更好，局部区域的影像纹理细节信息更突出，分类精度更高。

译

5　结论

为了将GF-4影像更好应用于实际，本文利用GF-4影像高时间分辨率、序列帧特点，结合遥感影像的稀疏性，提出了一种有效的混合稀疏表示框架下的超分辨率重建方法MSR-SRR。

译

本研究基于SIFT和灰度联合的亚像素遥感影像配准方法，解决了GF-4影像波段间和影像帧间存在的位移误差等问题，提高影像的配准精度并把遥感图像在多重变换域的稀疏性表达当作先验概率模型，通过正则化的方法来完成超分辨率重构，提升GF-4卫星影像的清晰度和GSD，丰富影像的细节信息。

译

通过与非均匀插值方法、POCS方法和IBP方法的重建结果对比，MSR-SRR方法重建后的影像每个波段的清晰度平均提升了31.74%，PSFs半峰宽度最大，高斯方差值达到1.8415，是3种重建方法中影像质量最好的；采用SVM方法分别对原始影像和超分辨率重建影像进行分类实验和精度验证，结果表明，超分辨率重建后的影像比原始影像的分类结果的总体精度和Kappa系数提升更明显，OA值提升了5.96%，Kappa系数提升了9.7%，这使得到的影像细节信息更突出。

译

研究表明本文提出的基于混合稀疏表示模型的新型超分辨率重建方法在提升GF-4影像分辨率方面具有很大的潜力，这种方法既不受地物本身类别的限制，又不局限于影像的信息提取和分类方法，可用于图像去噪和图像恢复等领域，可大大提升目标检测的识别率和准确性，对减灾防灾、气象预警、军事作战具有十分重要的意义。

译

参考文献（References）

Adam T and Paramesran R. 2019. Image denoising using combined higher order non-convex total variation with overlapping group sparsity. Multidimensional Systems and Signal Processing, 30: 503-527 [DOI: 10.1007/s11045-018-0567-3] [百度学术]

Babacan S D, Molina R and Katsaggelos A K. 2011. Variational Bayesian super resolution. IEEE Transactions on Image Processing, 20(4): 984-999 [DOI: 10.1109/TIP.2010.2080278] [百度学术]

Bai M R, Zhang X J and Shao Q Q. 2016. Adaptive correction procedure for TVL1 image deblurring under impulse noise. Inverse Problems, 32(8): 085004 [DOI: 10.1088/0266-5611/32/8/085004] [百度学术]

Bao H, Li Z L, Chai F M and Yang H S. 2015. Filter wheel mechanism for optical remote sensor in geostationary orbit. Optics and Precision Engineering, 23(12): 3357-3363 [百度学术]

鲍赫, 李志来, 柴方茂, 杨会生. 2015. 静止轨道光学遥感器的滤光轮机构. 光学精密工程, 23(12): 3357-3363 [DOI: 10.3788/OPE.20152312.3357] [百度学术]

Beck A and Teboulle M. 2009. A fast iterative shrinkage-thresholding algorithm for linear inverse problems. SIAM Journal on Imaging Sciences, 2(1): 183-202 [DOI: 10.1137/080716542] [百度学术]

Chang H B, Lou Y F, Duan Y P and Marchesini S. 2018. Total variation--based phase retrieval for Poisson noise removal. SIAM Journal on Imaging Sciences, 11(1): 24-55 [DOI: 10.1137/16M1103270] [百度学术]

Cheng W. 2018. Detection of Sea Motion Targets in Multi-spectral Imagery of Static Orbiting Staring Satellites. Wuhan: Huazhong University of Science and Technology (程伟. 2018. 静轨凝视多光谱影像海面运动目标检测. 武汉: 华中科技大学) [百度学术]

Condat L. 2014. A generic proximal algorithm for convex optimization-application to total variation minimization. IEEE Signal Processing Letters, 21(8): 985-989 [DOI: 10.1109/LSP.2014.2322123] [百度学术]

Crete F, Dolmiere T, Ladret P and Nicolas M. 2007. The blur effect: perception and estimation with a new no-reference perceptual blur metric//Proceedings of SPIE 6492, Human Vision and Electronic Imaging XII. San Jose: SPIE [DOI: 10.1117/12.702790] [百度学术]

He C, Hu C H, Li X L, Yang X G and Zhang W. 2016. A parallel alternating direction method with application to compound l₁-regularized imaging inverse problems. Information Sciences, 348: 179-197 [DOI: 10.1016/j.ins.2016.01.087] [百度学术]

Irani M and Peleg S. 1991. Improving resolution by image registration. CVGIP: Graphical Models and Image Processing, 53(3): 231-239 [DOI: 10.1016/1049-9652(91)90045-L] [百度学术]

Jiang C, He H Y and Ma Z Q. 2019. Instrument simulation of multispectral remote sensing images in the frame of GF-4 satellite system//Proceedings of SPIE 11156, Earth Resources and Environmental Remote Sensing/GIS Applications X. Strasbourg: SPIE [DOI: 10.1117/12.2532656] [百度学术]

Lei J F, Zhang S Y, Luo L, Xiao J S and Wang H. 2018. Super-resolution enhancement of UAV images based on fractional calculus and POCS. Geo-spatial Information Science, 21(1) 56-66 [DOI: 10.1080/10095020.2018.1424409] [百度学术]

Li F, Li C R, Tang L L and Guo Y. 2014. Elastic registration for airborne multispectral line scanners. Journal of Applied Remote Sensing, 8(1): 083614 [DOI: 10.1117/1.JRS.8.083614] [百度学术]

Li F, Xin L, Guo Y, Gao D S, Kong X H and Jia X P. 2018a. Super-resolution for GaoFen-4 remote sensing images. IEEE Geoscience and Remote Sensing Letters, 15(1): 28-32 [DOI: 10.1109/LGRS.2017.2768331] [百度学术]

Li F, Xin L, Guo Y, Gao J B and Jia X P. 2017. A framework of mixed sparse representations for remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 55(2): 1210-1221 [DOI: 10.1109/TGRS.2016.2621123] [百度学术]

Li F, Xin L, Guo Y and Jia X P. 2018b. Multitemporal mid-infrared imagery based calibration and super resolution for gaofen-4//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE: 7038-7041 [DOI: 10.1109/IGARSS.2018.8517414] [百度学术]

Liu J, Huang T Z, Selesnick I W, Lv X G and Chen P Y. 2015. Image restoration using total variation with overlapping group sparsity. Information Sciences, 295: 232-246 [DOI: 10.1016/j.ins.2014.10.041] [百度学术]

Liu Y, Yao L B, Xiong W and Zhou Z M. 2019. GF-4 satellite and automatic identification system data fusion for ship tracking. IEEE Geoscience and Remote Sensing Letters, 16(2): 281-285 [DOI: 10.1109/LGRS.2018.2869561] [百度学术]

Nie J, Deng L, Hao X L, Liu M and He Y. 2018. Application of GF-4 satellite in drought remote sensing monitoring: a case study of Southeastern Inner Mongolia. Journal of Remote Sensing, 22(3): 400-407 [百度学术]

聂娟, 邓磊, 郝向磊, 刘明, 贺英. 2018. 高分四号卫星在干旱遥感监测中的应用. 遥感学报, 22(3): 400-407 [DOI: 10.11834/jrs.20187067] [百度学术]

Nitta K, Shogenji R, Miyatake S and Tanida J. 2006. Image reconstruction for thin observation module by bound optics by using the iterative backprojection method. Applied Optics, 45(13): 2893-2900 [DOI: 10.1364/AO.45.002893] [百度学术]

Ramana M V, Reddy E S and Satayanarayana C H. 2018. Curvelet Transform for efficient static texture classification and image fusion. International Journal of Image, Graphics and Signal Processing, 10(5): 64-71 [DOI: 10.5815/ijigsp.2018.05.07] [百度学术]

Sha F, Zandavi S M and Chung Y Y. 2019. Fast deep parallel residual network for accurate super resolution image processing. Expert Systems with Applications, 128: 157-168 [DOI: 10.1016/j.eswa.2019.03.032] [百度学术]

Shi M Z, Han T T and Liu S Q. 2016. Total variation image restoration using hyper-Laplacian prior with overlapping group sparsity. Signal Processing, 126: 65-76 [DOI: 10.1016/j.sigpro.2015.11.022] [百度学术]

Sun Y, Babu P and Palomar D P. 2017. Majorization-minimization algorithms in signal processing, communications, and machine learning. IEEE Transactions on Signal Processing, 65(3): 794-816 [DOI: 10.1109/TSP.2016.2601299] [百度学术]

Sun Y J, Wang Z H, Qin Q M, Han G H, Ren H Z and Huang J F. 2018. Retrieval of surface albedo based on GF-4 geostationary satellite image data. Journal of Remote Sensing, 22(2): 220-233 [百度学术]

孙越君, 汪子豪, 秦其明, 韩谷怀, 任华忠, 黄敬峰. 2018. 高分四号静止卫星数据的地表反照率反演. 遥感学报, 22(2): 220-233 [DOI: 10.11834/jrs.20186428] [百度学术]

Tsai R Y and Huang T S. 1984. Multiframe image restoration and registration. Advances in Computer Vision and Image Processing, 1(2) 317-339 [百度学术]

Wang Y L, Bi S S, Sun M L and Cai M Y. 2014. Image retrieval algorithm based on SIFT, K-means and LDA. Journal of Beijing University of Aeronautics and Astronautics, 40(9) 1317-1322 [百度学术]

汪宇雷, 毕树生, 孙明磊, 蔡月日. 2014. 基于SIFT, K-Means和LDA的图像检索算法. 北京航空航天大学学报, 40(9): 1317-1322 [DOI: 10.13700/j.bh.1001-5965.2013.0601] [百度学术]

Woods M and Katsaggelos A. 2017. A Bayesian multi-frame image super-resolution algorithm using the Gaussian information filter//Proceedings of 2017 IEEE International Conference on Acoustics, Speech and Signal Processing. New Orleans: IEEE [DOI: 10.1109/ICASSP.2017.7952380] [百度学术]

Wu C L and Tai X C. 2010. Augmented Lagrangian method, dual methods, and split Bregman iteration for ROF, vectorial TV, and high order models. SIAM Journal on Imaging Sciences, 3(3): 300-339 [DOI: 10.1137/090767558] [百度学术]

Xu L N and He L X. 2017. GF-4 images super resolution reconstruction based on POCS. Acta Geodaetica et Cartographica Sinica, 46(8): 1026-1033 [百度学术]

许丽娜, 何鲁晓. 2017. 基于凸集投影的高分四号卫星影像超分辨率重建. 测绘学报, 46(8): 1026-1033 [DOI: 10.11947/j.AGCS.2017.20170070] [百度学术]

Yang J M, Wu Y, Wei Y X, Wang B, Ru C, Ma Y Y and Zhang Y. 2019. A model for the fusion of multi-source data to generate high temporal and spatial resolution VI data. Journal of Remote Sensing, 23(5): 935-943 [百度学术]

杨军明, 吴昱, 魏永霞, 王斌, 汝晨, 马瑛瑛, 张奕. 2019. 多源数据融合的高时空分辨率植被指数生成. 遥感学报, 23(5): 935-943 [DOI: 10.11834/jrs.20198204] [百度学术]

Yang X, Li F, Xin L, Wang C, Wang X Y and Chang X. 2018. Destriping methods for high resolution satellite multispectral remote sensing image based on GPU adaptive partitioning technology. International Society for Optics and Photonics//Proceedings of SPIE 10783, Remote Sensing for Agriculture, Ecosystems, and Hydrology XX. Berlin: SPIE [DOI: 10.1117/12.2325311] [百度学术]

Yang X, Li F, Xin L, Zhang N, Lu X T and Xiao H C. 2019. Finer scale mapping with super resolved GF-4 satellite images. International Society for Optics and Photonics//Proceedings of SPIE 11155, Image and Signal Processing for Remote Sensing XXV. Strasbourg: SPIE [DOI: 10.1117/12.2532674] [百度学术]

Yang R, Liu Z H and She W J. 2019. Simultaneous super-resolution reconstruction based on plane array staring remote sensing images. Infrared and Laser Engineering, 48(1): 0126002 [百度学术]

杨蕊, 刘朝晖, 折文集. 2019. 遥感面阵凝视图像并行超分辨重建方法. 红外与激光工程, 48(1): 0126002 [DOI: 10.3788/IRLA201948.0126002] [百度学术]

Zhang D S. 2019. Wavelet transform//Zhang D S, ed. Fundamentals of Image Data Mining. Cham: Springer: 35-44 [DOI: 10.1007/978-3-030-17989-2_3] [百度学术]

Zhao W, Bian X F, Huang F, Wang J and Abidi M A. 2018. Fast image super-resolution algorithm based on multi-resolution dictionary learning and sparse representation. Journal of Systems Engineering and Electronics, 29(3): 471-482 [DOI: 10.21629/JSEE.2018.03.04] [百度学术]

Zhou F, Jin W, Gong F and Fu R D. 2017. Super resolution reconstruction of MODIS image based on topic learning and sparse representation. Journal of Remote Sensing, 21(2): 253-262 [百度学术]

周峰, 金炜, 龚飞, 符冉迪. 2017. 主题学习和稀疏表示的MODIS图像超分辨率重建. 遥感学报, 21(2): 253-262 [DOI: 10.11834/jrs.20176154] [百度学术]

Zhou X M, Wang K Y and Fu J. 2017. A method of SIFT simplifying and matching algorithm improvement//Proceedings of 2016 International Conference on Industrial Informatics-Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII). Wuhan: IEEE [DOI: 10.1109/ICIICII.2016.0029] [百度学术]

Zhu X B, Tian Q J, Xu K J, Lv C G and Wang L. 2019. Radiation performance simulation and analysis of the signal-to-noise ratio for GF-4 geostationary satellite: in the case of the coastal water in Hong Kong. Journal of Remote Sensing, 23(3): 526-546 [百度学术]

朱小波, 田庆久, 徐凯健, 吕春光, 王玲. 2019. 高分四号静止卫星辐射性能模拟与信噪比分析——以香港近海岸水体为例. 遥感学报, 23(3): 526-546 [DOI: 10.11834/jrs.20197128] [百度学术]

摘要

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35277473&type=

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35277470&type=

2.53999996

2.28600001

交替方向乘子方法进行求解，提高了算法的运行效率，改善了影像质量。为了证明所提出方法的有效性，MSR-SRR结果与非均匀插值、POCS和IBP等传统超分方法的重建结果进行了对比验证。结果表明，MSR-SRR方法的图像清晰度平均提升了31.74%，PSFs半峰宽度最大，高斯方差值达到1.8415，效果明显优于其他方法。为进一步评估MSR-SRR结果的实用性，本文以高分四号卫星（GF-4）影像作为样例，利用支持向量机（SVM）分类方法对超分重建前后的影像进行了分类试验和精度验证。结果表明，超分辨率重建后的影像结果相对于原始影像的分类结果，Kappa系数提升了9.7%，OA值提升了5.96%。这表明MSR-SRR方法可以有效提升影像清晰度，丰富影像纹理细节，增强图像质量，有效提升影像分类精度。

Abstract

When processing remote sensing images with complex features

the conventional Super-Resolution Reconstruction (SRR) methods are often not ideal

especially for remote sensing images containing various non-uniform object information. A universal method to solve this problem is difficult to construct at present. A new SR reconstruction method of mixed sparse representation model (MSR-SRR) combined with the sparse representation and non-convex high-order total variational regularizer has been proposed to solve this problem. In this method

the sparse representation of remote sensing images in multiple transform domains is regarded as a prior probability model

and the SR reconstruction is completed by regularization. The obtained image not only retains the edge information of the image result by SR reconstruction

but also smoothens the “ladder effect” of the image. The efficiency of operation and the quality of SR reconstruction results are improved by an effective re-weighted

alternating direction method. Results show that the sharpness of the image increases by 31.74% on the average

the half-peak width of PSFs is the largest

and the Gaussian variance value reaches 1.8415. The GF-4 satellite images have been selected to carry out validation experiment to verify the feasibility and validity of MSR-SRR. The reconstruction results show that the images using the MSR-SRR method have better definition

richer details

and higher quality than those with non-uniform interpolation

the POCS method

and IBP method. The support vector machine method is used to classify and evaluate the accuracy of the images before and after SR reconstruction. The results show that the overall accuracy and Kappa coefficient of the reconstructed super-resolution image are improved more significantly than the original image classification results. The OA value increases by 5.96%

and the Kappa coefficient increases by 9.7%. The findings confirmed that the MSR-SRR method is effective and feasible and has extensive practical value.

关键词

遥感高分四号超分辨率重建混合稀疏表示全变分非凸

Keywords

remote sensingGF-4Super-Resolution Reconstruction (SRR)Mixed Sparse Representation (MSR)Total Variation (TV)Non-convex

references

Babacan S D, Molina R and Katsaggelos A K. 2011. Variational Bayesian super resolution. IEEE Transactions on Image Processing, 20(4): 984-999 [DOI: 10.1109/TIP.2010.2080278http://dx.doi.org/10.1109/TIP.2010.2080278]

Bai M R, Zhang X J and Shao Q Q. 2016. Adaptive correction procedure for TVL1 image deblurring under impulse noise. Inverse Problems, 32(8): 085004 [DOI: 10.1088/0266-5611/32/8/085004http://dx.doi.org/10.1088/0266-5611/32/8/085004]

Bao H, Li Z L, Chai F M and Yang H S. 2015. Filter wheel mechanism for optical remote sensor in geostationary orbit. Optics and Precision Engineering, 23(12): 3357-3363

鲍赫, 李志来, 柴方茂, 杨会生. 2015. 静止轨道光学遥感器的滤光轮机构. 光学精密工程, 23(12): 3357-3363 [DOI: 10.3788/OPE.20152312.3357http://dx.doi.org/10.3788/OPE.20152312.3357]

Beck A and Teboulle M. 2009. A fast iterative shrinkage-thresholding algorithm for linear inverse problems. SIAM Journal on Imaging Sciences, 2(1): 183-202 [DOI: 10.1137/080716542http://dx.doi.org/10.1137/080716542]

He C, Hu C H, Li X L, Yang X G and Zhang W. 2016. A parallel alternating direction method with application to compound l1-regularized imaging inverse problems. Information Sciences, 348: 179-197 [DOI: 10.1016/j.ins.2016.01.087http://dx.doi.org/10.1016/j.ins.2016.01.087]

Irani M and Peleg S. 1991. Improving resolution by image registration. CVGIP: Graphical Models and Image Processing, 53(3): 231-239 [DOI: 10.1016/1049-9652(91)90045-Lhttp://dx.doi.org/10.1016/1049-9652(91)90045-L]

Li F, Li C R, Tang L L and Guo Y. 2014. Elastic registration for airborne multispectral line scanners. Journal of Applied Remote Sensing, 8(1): 083614 [DOI: 10.1117/1.JRS.8.083614http://dx.doi.org/10.1117/1.JRS.8.083614]

聂娟, 邓磊, 郝向磊, 刘明, 贺英. 2018. 高分四号卫星在干旱遥感监测中的应用. 遥感学报, 22(3): 400-407 [DOI: 10.11834/jrs.20187067http://dx.doi.org/10.11834/jrs.20187067]

Sun Y J, Wang Z H, Qin Q M, Han G H, Ren H Z and Huang J F. 2018. Retrieval of surface albedo based on GF-4 geostationary satellite image data. Journal of Remote Sensing, 22(2): 220-233

孙越君, 汪子豪, 秦其明, 韩谷怀, 任华忠, 黄敬峰. 2018. 高分四号静止卫星数据的地表反照率反演. 遥感学报, 22(2): 220-233 [DOI: 10.11834/jrs.20186428http://dx.doi.org/10.11834/jrs.20186428]

Tsai R Y and Huang T S. 1984. Multiframe image restoration and registration. Advances in Computer Vision and Image Processing, 1(2) 317-339

Wang Y L, Bi S S, Sun M L and Cai M Y. 2014. Image retrieval algorithm based on SIFT, K-means and LDA. Journal of Beijing University of Aeronautics and Astronautics, 40(9) 1317-1322

汪宇雷, 毕树生, 孙明磊, 蔡月日. 2014. 基于SIFT, K-Means和LDA的图像检索算法. 北京航空航天大学学报, 40(9): 1317-1322 [DOI: 10.13700/j.bh.1001-5965.2013.0601http://dx.doi.org/10.13700/j.bh.1001-5965.2013.0601]

Xu L N and He L X. 2017. GF-4 images super resolution reconstruction based on POCS. Acta Geodaetica et Cartographica Sinica, 46(8): 1026-1033

许丽娜, 何鲁晓. 2017. 基于凸集投影的高分四号卫星影像超分辨率重建. 测绘学报, 46(8): 1026-1033 [DOI: 10.11947/j.AGCS.2017.20170070http://dx.doi.org/10.11947/j.AGCS.2017.20170070]

杨军明, 吴昱, 魏永霞, 王斌, 汝晨, 马瑛瑛, 张奕. 2019. 多源数据融合的高时空分辨率植被指数生成. 遥感学报, 23(5): 935-943 [DOI: 10.11834/jrs.20198204http://dx.doi.org/10.11834/jrs.20198204]

Yang R, Liu Z H and She W J. 2019. Simultaneous super-resolution reconstruction based on plane array staring remote sensing images. Infrared and Laser Engineering, 48(1): 0126002

杨蕊, 刘朝晖, 折文集. 2019. 遥感面阵凝视图像并行超分辨重建方法. 红外与激光工程, 48(1): 0126002 [DOI: 10.3788/IRLA201948.0126002http://dx.doi.org/10.3788/IRLA201948.0126002]

Zhang D S. 2019. Wavelet transform//Zhang D S, ed. Fundamentals of Image Data Mining. Cham: Springer: 35-44 [DOI: 10.1007/978-3-030-17989-2_3http://dx.doi.org/10.1007/978-3-030-17989-2_3]

Zhou F, Jin W, Gong F and Fu R D. 2017. Super resolution reconstruction of MODIS image based on topic learning and sparse representation. Journal of Remote Sensing, 21(2): 253-262

周峰, 金炜, 龚飞, 符冉迪. 2017. 主题学习和稀疏表示的MODIS图像超分辨率重建. 遥感学报, 21(2): 253-262 [DOI: 10.11834/jrs.20176154http://dx.doi.org/10.11834/jrs.20176154]

朱小波, 田庆久, 徐凯健, 吕春光, 王玲. 2019. 高分四号静止卫星辐射性能模拟与信噪比分析——以香港近海岸水体为例. 遥感学报, 23(3): 526-546 [DOI: 10.11834/jrs.20197128http://dx.doi.org/10.11834/jrs.20197128]

文章被引用时，请邮件提醒。

提交

透视地球——新一代对地观测技术

迁移深度卷积神经网络模型秋粮作物泛化识别

Grid A*：面向野外空地协同应急处置的快速路径规划

基于高光谱卫星影像的生长期互花米草指数构建