多分辨率低秩导向滤波的热红外图像空间融合

多分辨率低秩导向滤波的热红外图像空间融合 Spatial fusion enhancement of thermal infrared images based on multi-resolution analysis and low-rank guided filter first-author 苗馨远，1992年生，男，博士研究生，研究方向为定量遥感、多源图像融合、热红外图像温度发射率分离等。E-mail： hit_mxy@hit.edu.cn 苗馨远，1992年生，男，博士研究生，研究方向为定量遥感、多源图像融合、热红外图像温度发射率分离等。E-mail： hit_mxy@hit.edu.cn hit_mxy@hit.edu.cn corresp 张晔，1960年生，男，教授，研究方向为遥感高光谱图像分析与处理、图像/视频压缩及传输、空间多源信息协同处理及应用等。E-mail： zhye@hit.edu.cn 张晔，1960年生，男，教授，研究方向为遥感高光谱图像分析与处理、图像/视频压缩及传输、空间多源信息协同处理及应用等。E-mail： zhye@hit.edu.cn zhye@hit.edu.cn 哈尔滨工业大学 电子与信息工程学院, 哈尔滨 150001 哈尔滨工业大学 电子与信息工程学院, 哈尔滨 150001 School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin 150001, China School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin 150001, China 热红外遥感图像由于其特定的成像方式，包含目标特有的发射率及温度等特征。然而，热红外遥感图像较低的空间分辨率却限制了其广泛应用。随着遥感技术的发展，同一区域获得的多源遥感图像可以提供更为完备的目标信息，使得利用多源融合技术实现热红外图像空间分辨率增强与亚像素级特征提取成为可能。为此，本文提出了一种基于多分辨率自适应低秩表达与残差信息迁移的热红外图像空间超分辨算法，该算法通过可见光与热红外图像融合的方式实现热红外图像空间特性的自适应融合增强。本文算法优势主要体现在以下几个方面：（1）基于多分辨率的超像素分割，使用超像素块代替传统的方块作为低秩恢复单元，自适应地调整单元内空间特性以保持单元内地物类型的稳定并抑制结构性噪声；（2）通过构建导向线性滤波器，在保护热红外图像光谱信息的前提下，实现可见光图像精细空间特征向热红外图像的迁移；（3）在低分辨层建立增强热红外图像残差与可见光图像残差之间关联并迁移至高分辨层，在保证超分辨图像细节信息的前提下，实现热红外图像空间超分辨。为了验证算法的有效性，本文采用2014年IGARSS数据融合竞赛提供的可见光与热红外实验数据进行实验，并与融合竞赛中表现最为优异的监督图特征融合方法进行比较，并从温度反演精度以及分类精度两个方面评价超分辨效果。实验结果表明，本文提出的方法其噪声抑制效果、空间平滑效果、边缘锐化效果更为优异，超分辨热红外图像有着更为精细的空间信息，并且对于不同区域类型均能较好的保护热红外图像光谱信息。对于不同地物类型，融合超分辨图像有较高的亚像素温度反演精度以及更高的分类精度，其温度反演误差小于1 K，总体分类精度较原热红外图像提升20%以上。 Owing to the special imaging principle in the long-wave infrared region, thermal infrared remote sensing images contain the temperature and emissivity features of targets. However, the low spatial resolution of thermal infrared images limits its wide application. With the development of remote sensing technology, multisource remote sensing images in the same region can provide complete information of a target for researchers. On the basis of the high spatial resolution of visible band images, thermal infrared image fusion enhancement and subpixel feature extraction have a high application value. Therefore, a new method named subpixel temperature retrieval of thermal infrared images based on multiresolution superpixel low-rank representation and residual correlation is proposed in this paper. The method achieves two goals by fusing visible and thermal infrared images in a super-resolution way: (1) enhancement of spatial characteristics for thermal infrared images based on adaptive fusion and (2) estimation of subpixel temperature and super resolution for thermal infrared images. The main processing and advantages of the algorithm are listed as follows: (1) For superpixel segmentation and low-rank restoration at multiresolution, superpixel blocks, instead of traditional blocks, are used as low-rank restoration units to enhance the stability of species in each unit and suppress structural noise. (2) Through constructing a guided linear filter, the high-spatial-resolution feature of the visible image can be transferred to the thermal infrared image while keeping the spectral information of the thermal infrared image unchanged. (3) For the estimation of subpixel temperature and super resolution of thermal infrared images, the correlation between the residuals of VIS and fusion images is established at the low-resolution layer and applied to the high-resolution layer to preserve image details. To validate the effectiveness of the proposed method, the visible and thermal infrared data in the 2014 IGARSS data fusion contest are used for experiments. The algorithm is evaluated in three aspects: (1) the improvement of spatial characteristics for thermal infrared images through adaptive low-rank representation, such as noise suppression, intraclass smoothing, and edge enhancement; (2) the spectral information protection of thermal infrared images in homogeneous and heterogenous regions; (3) the super-resolution effect and the accuracy of subpixel temperature retrieval. Compared with the traditional supervised graph-based feature fusion method, the proposed method has the best edge-sharpening, noise suppression, and spatial smoothing effects. It can protect the spectral information of thermal infrared images for different region types. The super-resolution image obtained by the proposed algorithm achieves high-temperature retrieval accuracy, and the overall root-mean-square error is less than 1 K. The average classification accuracy is improved by more than 20%. 亚像素温度反演 可见光、热红外图像融合 导向滤波器 多分辨率空间自适应低秩表达 超像素分割 subpixel temperature retrieval visible and thermal infrared image fusion guided filter multi-resolution self-adaption low-rank representation super-pixel segmentation 1　引言 1 不同于可见光、近红外波段，热红外波段遥感图像由于其固有的成像方式，可以对目标的发射率特性与温度特征进行反演，由此在地质探测（ Van Der Meer等，2012 Van Der Meer等，2012 ； Pieri和Abrams，2004 Pieri和Abrams，2004 ； Foster等，2012 Foster等，2012 ）、城市规划（ Weng等，2011 Weng等，2011 ； Wu等，2019 Wu等，2019 ）、军事应用（ Manolakis等，2014 Manolakis等，2014 ； Xu等，2016 Xu等，2016 ； Li等，2016 Li等，2016 ）等方面有着重要的应用。然而，热红外遥感图像却存在空间分辨率较低、易受噪声干扰等缺陷。因此，提高热红外图像的分辨率，并由此实现亚像素级温度反演有实际应用价值（ Manolakis等，2019 Manolakis等，2019 ）。 随着遥感技术的发展，科研工作者可以获得同一地域下的多源遥感影像，实现目标信息在空谱特征（ 覃志豪 等，2001 覃志豪 等，2001 ； 毛克彪 等，2005 毛克彪 等，2005 ； 王锦地 等，2000 王锦地 等，2000 ）以及成像模式上（ Wang等，2009 Wang等，2009 ；焦李成和谭山，2003）上的互补，因而得到的目标信息更为完备。多源图像融合超分辨的目的便是将同一地区不同模态的图像进行信息提取与处理，从而最大限度集成有效信息，最终形成新的信息量丰富的图像（ Candes和Donoho，2000 Candes和Donoho，2000 ； Do和Vetterli，2005 Do和Vetterli，2005 ；Da Cunha等，2006）。本文的主要目的正是基于图像融合超分辨思想，利用可见光图像的空间信息，实现热红外图像空间分辨率的提升与亚像素级温度反演。 目前，针对热红外图像空间超分辨问题，国内外学者基于多源信息迁移理论提出了众多方法，根据实现原理不同大致可以分为两类。 （1）基于统计回归的超分辨方法。基于统计回归的融合超分辨方法通过在多源图像特征之间建立特定的回归模型，以已知低空间分辨率图像为训练样本，对模型参数进行求解以及拟合，最终将模型应用于高分辨层，实现高分辨层下信息的估计。例如， Kustas等（2003） Kustas等（2003） 对植被指数和地表温度数据进行统计，利用得到的统计回归模型建立了植被指数与温度关系，实现了热红外图像分辨率的增强； Fasbender等（2008） Fasbender等（2008） 针对ASTER（Advanced Spaceborne Thermal Emission and Reflection Radiometer）红外数据，引入了贝叶斯数据融合BDF（Bayesian Data Fusion）方法来提升热红外数据分辨率； Wang等（2009） Wang等（2009） 利用光谱指数如植被指数、郁闭度等与温度数据通过自组织特征映射和遗传算法建立的神经网络回归模型实现超分辨温度图像等。然而，此类算法精度受限于训练样本数量、多源特征的选择以及回归模型的选择，当训练样本不足、多源特征不具代表性或回归模型存在较大系统误差时，基于统计回归的超分辨方法并不能达到很好的超分辨效果。此外，该类算法往往是逐像素进行超分辨处理，未充分利用图像丰富的邻域空间信息。 （2）基于多分辨率分析及数理统计的方法。基于多分辨率分析及数理统计的方法的基本原理是把多源图像进行多尺度分解，通过不同分辨层下的矩阵处理，将多源遥感图像迁移至变换域，并实现不同域特征的对应以及关联，然后通过矩阵反变换与多分辨重建，实现源域下数据的融合。例如， Li等（1995） Li等（1995） 提出了离散小波变换融合方法，该方法的提出引起了学术界对小波变换图像融合的重视。小波能够很好地反映信号的点奇异性，但对于二维图像中的边缘及线性特征等，则不能最优地表示。 Garcia等（2010） Garcia等（2010） 提出了加权平均融合超分辨算法，对于超分辨图像的像素值取一定的权值，然后进行加权平均，得到融合超分辨图像的像素值，但是当图像信噪比有限时，该方法得到的结果会出现明显的拼接痕迹并丢失大量原始信息，因而影响温度反演效果。部分学者提出了基于稀疏表示模型的热红外图像超分辨算法（ Ding等，2013 Ding等，2013 ； Li和Qin，2011 Li和Qin，2011 ； Wang等，2015 Wang等，2015 ）并取得了较好的实验结果，然而融合图像可能会丢失局部特征信息，所以得到的图像质量会受到一定损失。 Liao等（2015a） Liao等（2015a） 提出了监督图特征融合方法SGF（Supervised Graph-Based Feature Fusion）。该方法通过在PCA变换域构造导向滤波器，并基于可见光RGB（Red Green Blue）图像实现了热红外图像PCA前K主成分的边缘锐化以及剩余PCA主成分的降噪处理，最后经过PCA反变换实现源域下可见光与热红外图像的融合超分辨。然而SGF算法在构建导向滤波器时以传统方块窗口为处理单元，未考虑图像的空间特性以及每个处理单元内地物种类的稳定性，若处理单元内包含了多种复杂的地物类型，此时构造的导向滤波器并不能兼顾所有的地物种类。 本文中主要对SGF算法进行改进，在结合多分辨率分析并引入空间邻域信息的基础上，构建多分辨层之间的残差学习与迁移模型，实现热红外图像的超分辨。 为此，本文提出了一种基于多分辨率自适应低秩表达与残差信息迁移的热红外图像空间超分辨算法，该算法的优势主要有两个方面：（1）热红外图像光谱信息的保护；（2）热红外图像空间信息的增强，包括空间分辨率的提升，噪声的去除以及边缘的锐化。本文算法流程主要分为3个部分：（1）多分辨率下超像素分割及低秩恢复。在多分辨率超像素分割的过程中，使用超像素块代替传统的方块作为低秩恢复单元，自适应地统一单元内空间特性，以保持单元内地物种类的稳定并抑制结构性噪声，从而保证融合效果；（2）导向滤波器的构建。通过构建导向线性滤波器，在保护热红外图像光谱信息的前提下，实现可见光图像高空间分辨率特征向热红外图像的迁移；（3）多分辨层残差信息迁移。在低分辨层建立低分融合图像残差与低分可见光图像残差之间关联，并迁移至高分辨层，以保证超分辨图像空间细节信息，实现热红外图像超分辨。 2　研究方法 1 本文提出的基于多分辨率自适应低秩表达与残差信息迁移的热红外图像空间超分辨算法技术流程主要分为3部分：（1）多分辨空间自适应低秩表达；（2）基于导向滤波器的热红外图像融合增强；（3）基于残差迁移的热红外图像空间超分辨。其总体流程如 图1 图1 所示，且总体流程图中详细标注了本文算法的3部分内容，下面针对每一部分展开具体描述。 2.1　多分辨率空间自适应低秩表达 2 众多机载/星载成像光谱仪拍摄了海量的珍贵高光谱数据，然而高光谱图像在采集和捕获过程中需要经过复杂的成像链路，从而在空谱域会引入随机分布的多种类别混合噪声。热红外遥感图像与可见光/近红外图像，在成像方式上存在着重大的差异。热红外高光谱数据对热噪声和传感器噪声更敏感，相较于可见光/近红外遥感图像，热红外遥感图像更易受到噪声的干扰，其信噪比更低。 本部分重点解决在多源融合过程中，可见光图像与热红外图像由于空间分辨率差异导致的各类地物空间信息难以实现有效对应的问题。 在多源图像高斯金字塔分解的基础上，每一分辨层均采用超像素分割算法，使用“均质”的超像素块代替传统方块作为低秩恢复的基本单元，自适应地统一单元内的局部邻域空间特性，尽量消除噪声对后续过程的影响，对图像在不同分辨率层级的成分进行逐层低秩恢复。 2.1.1　多源图像多分辨率分析与性超像素分割算法 3 经过金字塔处理会得到一系列空间分辨率递减的数据立方体 <math id="M1"><mi mathvariant="bold-italic">G</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><mtext> </mtext><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mi mathvariant="bold">n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211832&type= 29.04066467 4.48733330 ，金字塔底层为大小 <math id="M2"><mi>R</mi><mo>×</mo><mi>L</mi><mo>×</mo><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211847&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211841&type= 15.32466698 2.70933342 的 <math id="M3"><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211858&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211852&type= 3.47133350 3.72533321 ，则第 <math id="M4"><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211868&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211862&type= 3.04800010 3.72533321 的分辨率为 <math id="M5"><mo stretchy="false">(</mo><mi>R</mi><mo>/</mo><msup><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>t</mi></mrow></msup><mo>,</mo><mi>L</mi><mo>/</mo><msup><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>t</mi></mrow></msup><mo>,</mo><mi>B</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211881&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211875&type= 19.98133469 3.72533321 并且在点 <math id="M6"><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212539&type= 6.34999990 3.47133350 处的光谱曲线可以由下一层计算： <math display="block" id="M7"><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mo>-</mo><mi>c</mi></mrow><mrow><mi>c</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><msub><mrow><mi>c</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mo>-</mo><mi>c</mi></mrow><mrow><mi>c</mi></mrow></munderover></mstyle><mrow><mi>w</mi><mo stretchy="false">(</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>c</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mi>i</mi><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mtext> </mtext><mn mathvariant="normal">2</mn><mi>j</mi><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211902&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211897&type= 67.39466858 9.22866726 式中， <math id="M8"><mi>w</mi><mo stretchy="false">(</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211909&type= 11.34533310 4.57200003 为半径 c 高斯窗。可以推断出，低空间分辨率图像中像素的光谱可以由高空间分辨层图像线性光谱混合得到。在每一层中，可见光图像与热红外图像有相同的空间分辨率，便于不同空间分辨率层下两者之间空间特性的对应，且考虑不同空间分辨率层下的差异。 线性光谱聚类LSC（Linear Spectral Clustering）的超像素分割方法作为基于梯度的方法的典型代表，可以产生具有相似大小和较规律形状的超像素（ Chen等，2017 Chen等，2017 ）。LSC算法针对RGB图像每一像素进行五维特征提取，即CIELAB颜色—对立空间中亮度、红绿色度、黄青色度以及水平垂直位置特性。基于此五维特性向量，利用特定核函数将五维特征空间扩展到十维，使用欧氏距离来衡量像素之间的相关性。 LSC算法特征空间维数的扩展与高光谱图像较高的光谱维度相契合，由此LSC算法同样适用于高光谱数据的超像素分割。在高光谱数据超像素分割中，通过将包含空间位置以及光谱特征信息的图像空谱特征考虑进来，并转换到更高维度的特征空间进行表达，再利用加权K均值聚类进行分割。加权K均值聚类的目标函数定义为 <math display="block" id="M9"><msub><mrow><mi>F</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>P</mi></mrow></munderover></mstyle><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></munder><mrow><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>ϕ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211923&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211918&type= 43.94200134 9.22866726 式中， <math id="M10"><mi>ϕ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211933&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211928&type= 6.43466663 3.47133350 为高维特征空间某一像素点的特征值， <math id="M11"><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211937&type= 6.43466663 3.47133350 是每个像素点在高维度特征空间内用于加权K均值聚类的权重。 <math id="M12"><msub><mrow><mi mathvariant="bold-italic">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211950&type= 3.80999994 3.89466691 为第 <math id="M13"><msub><mrow><mi>k</mi></mrow><mrow><mi>t</mi><mi>h</mi></mrow></msub><mo stretchy="false">(</mo><mi>k</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>K</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211961&type= 28.27866554 4.57200003 个数据集， <math id="M14"><mfenced open="‖" close="‖" separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211977&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22211972&type= 4.74133301 3.80999994 为向量范数， <math id="M15"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212206&type= 2.28600001 2.62466669 为空间将图像划分的数据集数目， <math id="M16"><msub><mrow><mi mathvariant="bold-italic">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212219&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212215&type= 3.80999994 3.89466691 的中心 <math id="M17"><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212005&type= 2.53999996 3.72533321 定义如下： <math display="block" id="M18"><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></munder><mrow><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mi>ϕ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></munder><mrow><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212022&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212012&type= 26.50066566 16.67933464 在 <math id="M19"><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><mi>B</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212026&type= 13.63133430 3.47133350 维度特征空间应用加权K均值聚类，通过优化目标函数将图像分割成 <math id="M20"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212206&type= 2.28600001 2.62466669 个超像素。 2.1.2　基于超像素分割地低秩矩阵恢复 3 对于典型的图像去噪问题，其基本模型为 <math display="block" id="M21"><mi mathvariant="bold-italic">Y</mi><mo>=</mo><mi mathvariant="bold-italic">X</mi><mo>+</mo><mi mathvariant="bold-italic">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212046&type= 16.67933464 2.70933342 式中，观测图像 <math id="M22"><mi mathvariant="bold-italic">Y</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>R</mi><mo>×</mo><mi>L</mi><mo>×</mo><mi>B</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212061&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212055&type= 16.84866714 2.96333337 ，理想图像 <math id="M23"><mi mathvariant="bold-italic">X</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>R</mi><mo>×</mo><mi>L</mi><mo>×</mo><mi>B</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212071&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212065&type= 16.84866714 2.96333337 ， <math id="M24"><mi mathvariant="bold-italic">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212085&type= 2.62466669 2.62466669 为噪声。 R ， L 和 B 分别为三维数据立方体的行列数目以及光谱波段数目。然而由于图像空谱3个维度中的噪声成分复杂，对于噪声的模型的建立则应该划分的更为具体（ 蔡荣荣和王斌，2017 蔡荣荣和王斌，2017 ； Sun等，2017 Sun等，2017 ）。本文对噪声 <math id="M25"><mi mathvariant="bold-italic">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212085&type= 2.62466669 2.62466669 部分进行更详细的划分，进而给出 式（4） 式（4） 退化模型的进一步形式，如 式（5） 式（5） 所示。 <math display="block" id="M26"><mi mathvariant="bold-italic">Y</mi><mo>=</mo><mi mathvariant="bold-italic">X</mi><mo>+</mo><mi mathvariant="bold-italic">S</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">N</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212101&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212094&type= 24.29933357 3.80999994 降质图像 <math id="M27"><mi mathvariant="bold-italic">Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212105&type= 2.28600001 2.62466669 可以分解为3部分：理想无降质图像 <math id="M28"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212120&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212116&type= 2.45533323 2.62466669 、非高斯的稀疏噪声 <math id="M29"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212152&type= 2.03200006 2.62466669 以及高斯噪声 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">N</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212140&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212136&type= 3.80999994 3.72533321 。其中 <math id="M31"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212152&type= 2.03200006 2.62466669 主要包括了冲击噪声、坏线、缺失区域等。由于其通常存在于个别波段以及位置，因此具有一定的稀疏性。实际获取图像中， <math id="M32"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212152&type= 2.03200006 2.62466669 事实上是结构性噪声与稀疏噪声的混合。 现有的低秩矩阵恢复算法在处理前，为了降低运算复杂性，数据通常被分成一系列的三维子块，并进行重新排列，再对重排的矩阵分别进行低秩矩阵恢复操作，这一分块处理的具体示意如 图2 图2 所示。低秩矩阵恢复算法中的分块处理容易产生块效应，很难估计每一个分块中的地物种类，且同质区域块和包含边界的区域块的秩很明显也是不同的。若对低秩矩阵恢复模型的求解设置固定的秩参数会限制恢复算法的应用效果。 基于图像的空间特性，自适应的选择空间相关区域作为低秩恢复的单元能够减小因地物种类差别过大引起的影响。由此，在进行低秩恢复前，首选在每一超分辨层进行超像素分割，超像素中包含的地物种类相比于同等大小的固定块中所包含的地物种类更少也更稳定。因此当秩参数设定为固定的值时，基于超像素分割的低秩恢复会有更好的恢复效果。同时，超像素沿地物的边缘分布的特点，可以有效抑制基于分块处理所产生的块状效应，避免后续为了去除块效应进行滤波带来的平滑风险。超像素块更适合作为低秩恢复的处理单元，且由于块内地物种类的相对单一性，更有利于多源图像间地物种类的对应。 针对可见光图像，从多分辨层地顶层开始执行恢复的过程，利用低秩分解获取低秩，稀疏和随机成分的估计值： <math display="block" id="M33"><mtable columnalign="left"><mtr><mtd><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">Y</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msubsup><mrow><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow><mrow/></msubsup><mo>+</mo><msubsup><mrow><mover accent="true"><mi mathvariant="bold-italic">S</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow><mrow/></msubsup><mo>+</mo><msubsup><mrow><mover accent="true"><mi mathvariant="bold-italic">N</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow><mrow/></msubsup></mtd></mtr><mtr><mtd><msubsup><mrow><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow><mrow/></msubsup><mo>=</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">R</mi><mfenced separators="|"><mrow><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">Y</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212183&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212179&type= 28.02466965 11.09133339 低秩矩阵分解恢复 <math id="M34"><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">R</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212193&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212188&type= 14.13933277 3.47133350 的具体求解方法包括了鲁棒主成分分析算法RPCA（Robust Principal Component Analysis）（ Wright等，2009 Wright等，2009 ）以及去分解算法GoDec（Go Decomposition）（ Zhou和Tao，2011 Zhou和Tao，2011 ）等，本文中不展开详细描述。 使用超像素块作为低秩矩阵分解的基本单元，此时每一分辨层低秩成分的超像素矩阵SPLR（Superpixel Based Low Rank）恢复为 <math display="block" id="M35"><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover><mo>=</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">Y</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mfenced open="" close="|" separators="|"><mrow><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover></mrow></mfenced><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub><mo>=</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">R</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow></mfenced><mo>,</mo><mi>k</mi><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>P</mi><mo stretchy="false">)</mo></mrow></mfenced><mtext>  </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212199&type= 75.86132813 7.02733374 式中， <math id="M36"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212206&type= 2.28600001 2.62466669 为将图像划分超像素的个数， <math id="M37"><msub><mrow><mi mathvariant="bold-italic">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212219&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212215&type= 3.80999994 3.89466691 为第 <math id="M38"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212224&type= 1.69333339 2.62466669 个超像素单元。 2.2　基于导向滤波器的热红外图像融合增强 2 本部分在上述多空间分辨率空间自适应低秩分解的基础上，以超像素块为基本处理单元，以可见光图像为输入，以热红外图像为导向，构造导向滤波器实现热红外图像空间特性地融合增强。 基于融合的方式实现热红外图像增强的关键在于，如何在保护热红外图像光谱特性的前提下将可见光图像丰富的空间信息迁移至热红外图像。本算法通过构造导向滤波器（ He等，2010 He等，2010 ； Liao等，2015b Liao等，2015b ； Kang等，2014 Kang等，2014 ），以热红外图像为导向，在保护可见光图像梯度信息的前提下，将超像素块作为基本处理单元，实现可见光图像空间信息的融合迁移。 针对热红外高光谱图像，为降低后续处理的复杂性，本算法首先对其进行PCA变换，此时图像能量大部分集中于前面 m 个主成分，剩余 B-m 个主成分包含了大量噪声以及异常像素。因此，本文主要取其前 m 个波段进行融合。 每一分辨层下的每一个可见光图像超像素块均可以找到与之对应的相同空间分辨率下的热红外图像超像素块。针对每一对应块对，需要构建相应的导向滤波器 <math id="M39"><msubsup><mrow><mi>F</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">(</mo><mi mathvariant="normal">g</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212307&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212303&type= 9.73666668 4.57200003 ，使之满足下式： <math display="block" id="M40"><munder><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><msubsup><mrow><mi>F</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></munder><mfenced separators="|"><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mfenced open="" separators="|"><mrow><mfenced separators="|"><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced></mrow></mfenced></mrow></mfenced><mtext>   </mtext><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover><mo>=</mo><msubsup><mrow><mi>F</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mfenced separators="|"><mrow><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced><mtext>  </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212243&type= 75.77667236 10.41399956 式中， <math id="M41"><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212258&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212253&type= 13.63133430 3.47133350 代表两者之间的均方根误差， <math id="M42"><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212295&type= 7.02733374 4.57200003 为某一空间分辨率下与低秩可见光超像素块 <math id="M43"><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212275&type= 5.24933338 6.26533365 对应的热红外图像的第 i 个主成分超像素块， <math id="M44"><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212286&type= 7.36600018 6.51933336 为超像素块 <math id="M45"><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212295&type= 7.02733374 4.57200003 的估计。由 式（8） 式（8） 可知，导向滤波器以可见光超像素块为输入，以热红外超像素块为导向，输出热红外超像素块的估计。 相较于热红外图像，可见光图像有着更为丰富的纹理、边缘信息，由此导向滤波器的设计应考虑保持可见光图像这一优势特性。为此，本算法设计导向滤波器 <math id="M46"><msubsup><mrow><mi>F</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">(</mo><mi mathvariant="normal">g</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212307&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212303&type= 9.73666668 4.57200003 为线性滤波器： <math display="block" id="M47"><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover><mo>=</mo><msubsup><mrow><mi>F</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mfenced separators="|"><mrow><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced><mo>=</mo><msubsup><mrow><mi>a</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo>·</mo><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover><mo>+</mo><msubsup><mrow><mi>b</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212316&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212311&type= 48.93733215 6.94266701 线性滤波器保证在每一超像素单元下满足 <math id="M48"><mo>∇</mo><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover><mo>=</mo><msubsup><mrow><mi>a</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo>∇</mo><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212327&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212321&type= 26.92399979 6.51933336 ，即融合后的图像很好地继承了可见光图像的边缘梯度信息。由此 式（8） 式（8） 便为在每一超像素单元内寻找系数 <math id="M49"><msubsup><mrow><mi>a</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212332&type= 4.31799984 4.57200003 ， <math id="M50"><msubsup><mrow><mi>b</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212345&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212341&type= 4.14866638 4.57200003 使之满足： <math display="block" id="M51"><mtable columnalign="left"><mtr><mtd><munder><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><msubsup><mrow><mi>a</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>b</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></munder><mfenced separators="|"><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mfenced open="" separators="|"><mrow><mfenced separators="|"><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced></mrow></mfenced></mrow></mfenced><mtext>   </mtext></mtd></mtr><mtr><mtd><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover><mo>=</mo><msubsup><mrow><mi>a</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mo>·</mo><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover><mo>+</mo><msubsup><mrow><mi>b</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212353&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212349&type= 46.56666946 18.71133423 在每一分辨层下，针对热红外图像的前 m 个主成分，依次作为导向数据，构建融合图像主成分分量： <math display="block" id="M52"><mover><mrow><mi>P</mi><msup><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msup></mrow><mrow><mo>∧</mo></mrow></mover><mo>=</mo><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mfenced open="" close="|" separators="|"><mrow><mover><mrow><mi>P</mi><msup><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msup></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced><mover><mrow><mi>P</mi><msubsup><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mrow><mo>∧</mo></mrow></mover><mo>=</mo><msubsup><mrow><mi>F</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><mfenced separators="|"><mrow><mover><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><msub><mrow><mi mathvariant="normal">Ω</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced><mo>,</mo><mtext> </mtext><mi>k</mi><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mi>P</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212356&type= 62.73799896 8.55133343 对于剩余 B-m 个主成分，由于其含有大量噪声以及异常像素，本文基于每一个主成分进行有监督的软阈值分割，从而消除噪声的影响。最终，基于的融合图像PCA主成分，经由PCA反变换，得到最终的融合增强热红外图像 I 。 <math display="block" id="M53"><mi mathvariant="bold-italic">I</mi><mo>=</mo><mi mathvariant="normal">P</mi><mi mathvariant="normal">C</mi><msup><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mfenced separators="|"><mrow><mover><mrow><mi>P</mi><mi>C</mi></mrow><mrow><mo>∧</mo></mrow></mover></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212367&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212364&type= 23.36800003 5.33400011 式中， <math id="M54"><mi mathvariant="normal">P</mi><mi mathvariant="normal">C</mi><msup><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212372&type= 9.05933285 2.96333337 为PCA反变换， <math id="M55"><mover><mrow><mi>P</mi><mi>C</mi></mrow><mrow><mo>∧</mo></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212385&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212381&type= 4.91066647 4.57200003 为估计的融合图像各PCA主成分。 2.3　基于残差迁移的热红外图像超分辨 2 高斯金字塔可以看作低通滤波器，图像的细节信息会随着图像空间分辨率的不断降低而丢失。因此，对于由低分图像到高分图像的还原，所丢失信息（即不同分辨层之间的残差信息）的估计便显得尤为重要。本部分的关键在于用已知低分辨层之间的残差信息，估计未知高分辨层之间的残差信息，进而得到超分辨高空间分辨率下的热红外图像。 随着金字塔的不断分解，在高分辨层对应了高级残差，在低分辨层对应低级残差，为了更好的保持细节，引入图像无损压缩领域的残差概念。金字塔中空间分辨率降低的过程表示成 <math id="M56"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">X</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212393&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212389&type= 19.47333336 5.41866684 ，利用拉普拉斯金字塔进行的超分辨过程表示成 <math id="M57"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212397&type= 19.13466644 4.82600021 ，对于可见光图像，在空间分辨率改变的过程中带来的误差表示成： <math display="block" id="M58"><msubsup><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212409&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212407&type= 52.06999969 4.82600021 同理对于融合增强热红外图像，其每一分辨层之间的残差表示为 <math display="block" id="M59"><msubsup><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msubsup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212413&type= 48.17533112 4.82600021 高斯金字塔分解的效果类似于低通滤波器。低频成分主要集中在 <math id="M60"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212428&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212423&type= 3.13266683 3.72533321 ，而 <math id="M61"><mi mathvariant="bold-italic">d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212433&type= 2.03200006 2.62466669 中含有重要的空间和光谱细节。 需要强调的是，由于在融合过程中使用的是可见光图像细节来校正热红外图像，由此本文更为看重可见光残差对超分辨图像残差的影响。 在低分辨层，可见光图像以及热红外图像均已知，融合增强热红外图像残差与可见光图像残差我们均可以得到。在高分辨分辨层，我们仅知可见光图像，而并没有空间分辨率与之匹配的热红外数据。 由 式（1） 式（1） 可知，低分辨层是由高分辨层依次下采样得到，由此可知他们各级残差 <math id="M62"><msub><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212441&type= 10.41399956 4.23333359 之间同样存在较强的相关性，即融合增强热红外图像各级残差 <math id="M63"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212452&type= 10.66800022 4.48733330 以及可见光图像各级残差 <math id="M64"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212463&type= 11.34533310 4.48733330 之间彼此相关。 此时，本文假设多源图像在低分辨层下的残差 <math id="M65"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212554&type= 8.21266651 4.48733330 与高分辨层下的残差 <math id="M66"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212559&type= 13.71599960 4.48733330 满足相同的对应关系： <math display="block" id="M67"><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>=</mo><mi>ψ</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>=</mo><mi>ψ</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212500&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212495&type= 21.67466736 10.15999985 本文期望得到的是高分辨层下的融合增强热红外图像的残差 <math id="M68"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212504&type= 2.79399991 4.06400013 。由此，需对关联函数 <math id="M69"><mi>ψ</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212514&type= 6.51933336 3.47133350 进行估计。同样，我们假设残差对应像素之间的关联为线性关联，将高级残差进行拉普拉斯金字塔超分辨后，满足以下对应关系： <math display="block" id="M70"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mfenced separators="|"><mrow><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo stretchy="false">)</mo></mrow></mfenced><mo>=</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>⋅</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mfenced separators="|"><mrow><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo stretchy="false">)</mo></mrow></mfenced><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212526&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212523&type= 53.76333237 4.57200003 式中， <math id="M71"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212531&type= 8.63599968 4.82600021 为超分辨算子，经过超分辨后，高级残差与低级残差有着相同空间分辨率。 <math id="M72"><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212539&type= 6.34999990 3.47133350 为中心像素位置， <math id="M73"><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212565&type= 9.73666668 4.23333359 为对应像素位置下大小为 N 窗口内的残差关联系数。由此，求得了可见光图像残差与融合增强热红外图像残差之间的关联模型。 本算法的最终目的是实现高空间分辨率下热红外图像的超分辨，在上文已经提到，由于在高分辨层缺少对应空间分辨率的热红外数据，因此需要估计中等空间分辨率下的融合增强热红外图像与预期高空间分辨率下超分辨图像的残差。 基于上文提到的假设，多源图像在低空间分辨层下的低级残差 <math id="M74"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212554&type= 8.21266651 4.48733330 与高空间分辨层下的高级残差 <math id="M75"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212559&type= 13.71599960 4.48733330 满足相同的对应关系： 将对应系数 <math id="M76"><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212565&type= 9.73666668 4.23333359 逐点应用于 <math id="M77"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212577&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212574&type= 5.92666674 4.06400013 ，进而实现低等级残差的估计： <math display="block" id="M78"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>⋅</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mtext> </mtext><mi>j</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212585&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212580&type= 44.45000076 4.82600021 通过对中分辨率融合增强热红外图像进行拉普拉斯金字塔超分辨，得到预测的高空间分辨率下融合超分辨图像 <math id="M79"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">I</mi><mo>̂</mo></mover></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212589&type= 5.50333309 4.57200003 ，其表示为 <math display="block" id="M80"><msubsup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>S</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>r</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212596&type= 19.64266586 4.82600021 此时预测结果与真值相比，缺少对应高空间分辨率下的细节信息，由此需要添加对应分辨层的残差，最终实现高空间分辨率融合超分辨图像 <math id="M81"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212609&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212605&type= 5.50333309 3.72533321 的估计： <math display="block" id="M82"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>S</mi></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212620&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212614&type= 26.24666595 4.06400013 综上所述，本文算法流程框图如 图1 图1 所示。以三层金字塔分解为例，本文算法首先将热红外图像与可见光图像进行高斯金字塔分解，从而构造中分、低分不同的空间分辨层 <math id="M83"><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212624&type= 8.80533314 4.14866638 。在不同分辨层，以超像素块为基本处理单元，进行低秩分解，并以热红外图像前 m 个PCA主成分为导向，基于可见光图像构造导向滤波器，实现对融合增强热红外图像前 m 个PCA主成分的估计。对于剩余 B - m 主成分进行软阈值分割，减小噪声及异常像素影响。进而，经由PCA反变换实现中分、低分下融合增强热红外图像 <math id="M84"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212637&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212634&type= 7.11199999 4.14866638 估计。 然后针对融合超分辨图像与低秩可见光图像 <math id="M85"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212641&type= 8.12800026 4.14866638 ，在低分辨层进行拉普拉斯金字塔超分辨，得到中分辨层下的预测融合增强热红外图像 <math id="M86"><msubsup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>S</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212651&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212648&type= 2.96333337 4.06400013 、低秩可见图像 <math id="M87"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>S</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212659&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212654&type= 3.89466691 4.06400013 ，并计算各自与中分辨层真值的残差 <math id="M88"><msubsup><mrow><mi>d</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212662&type= 8.46666718 4.48733330 ，建立统计两者残差之间的关联。将关联模型应用于高分辨层与中分辨层可见光图像残差 <math id="M89"><msubsup><mrow><mi>d</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi mathvariant="bold">X</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212670&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212667&type= 3.47133350 4.06400013 ，求得对应分辨层下融合增强热红外图像残差 <math id="M90"><msubsup><mrow><mi>d</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi mathvariant="bold">I</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212671&type= 3.04800010 4.06400013 。将残差与预测超分辨图像结合，增添细节信息，得到高分下融合超分辨图像 <math id="M91"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212675&type= 2.62466669 3.72533321 。 3　实验数据及结果分析 1 3.1　实验数据介绍 2 为了验证本文提出算法的有效性，实验采用了2014年IGARSS融合竞赛遥感数据进行算法性能测试与分析。该数据包含两种不同波段范围以及不同空间分辨率的机载遥感图像：（1）低空间分辨率热红外LWIR（Long-wave Infrared Region）高光谱图像；（2）高空间分辨率可见光（VIS）RGB遥感图像。同时，融合竞赛主办方提供了该数据集的分类真值图，用于融合效果的验证。 该实验数据由加拿大魁北克Telops Inc公司提供。遥感数据覆盖了魁北克市附近西特福德矿区的城市范围，其中包含了各种类型的住宅以及商业建筑、道路和公园等7种不同的地物类型。两种机载图像使用了两种不同图像采集平台。热红外传感器以及可见光传感器采集高度均为807 m，由于传感器瞬时视场角差异，两种数据的空间分辨率不同，热红外遥感图像空间分辨率为1 m，可见光数据被下采样至0.2 m，图像之间有较大的分辨率差异。可见光数据大小为3989 <math id="M92"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212686&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212685&type= 2.03200006 2.62466669 2830像素，热红外数据大小为795 <math id="M93"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212686&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212685&type= 2.03200006 2.62466669 564像素。 数据采集所采用的热红外传感器为一种机载长波红外高光谱传感器Telops Hyper-Cam，其中包含了84个成像通道，覆盖了7.8—11.5 μm的波段范围。该传感器利用两个内部标定黑体对红外测量进行端对端辐射定标，且所采集的数据经过了辐射校正以及几何校正。可见光数据空间覆盖范围与热红外高光谱图像相同，且可见光数据与热红外数据已经完成配准。 3.2　实验设计及结果分析 2 本部分通过实验设计，从4个方面对算法的有效性进行了评价：（1）自适应低秩表达对热红外图像空间特征的改善效果，包括噪声抑制、类内平滑以及边缘增强；（2）针对“均质”以及“异质”区域，算法对热红外图像光谱信息的保护；（3）热红外图像超分辨效果，主要包括残差关联结果、亚像素级温度反演的反演精度以及融合超分辨热红外图像的分类精度。 基于多分辨率超像素分割及低秩表达的热红外图像超分辨算法，首先将多源遥感数据划分为3个分辨层：高分辨层（空间分辨率0.2 m）、中等分辨层（空间分辨率1 m）及低分辨层（空间分辨率2 m）。在中等分辨层VIS图像是由高分VIS进行高斯金字塔分解得到的，使多源图像之间有着相同的空间分辨率，此后对两者进行0.5倍下采样，形成低分辨层。 高分辨层下未存在与可见光图像空间分辨率相匹配的热红外图像，而在中分辨层以及低分辨层存在空间分辨率相匹配的多源数据。我们期望基于中、低分辨层的多源数据得到高分辨层下的融合热红外图像。 在高斯金字塔分解的基础上，为了保证其处理单元内部地物种类的相对单一性，在各级分辨层对VIS图像进行超像素分割。本文中，中分辨层与低分辨层超像素块的数量分别设定为1500与750，最终得到的超像素分割整体结果（左）以及局部放大结果（右）如 图4 图4 所示。 1,2; 从局部放大实验结果可以看出，超像素分割后很好地保证了处理单元的“均质”特性，每一超像素块内部地物种类相对单一，从而保证多源图像关联时VIS图像与LWIR图像各地物种类之间的对应，训练关联参数时面向不同地物类型更具有针对性。此后，针对VIS图像每一超像素块，分别进行低秩矩阵分解，对每一单元内的结构噪声进行抑制。 接下来，针对LWIR图像进行PCA变换，得到其各个主成分分量，并提取其前 m 个主成分分别进行处理。基于VIS图像，基于 式（8） 式（8） 、 式（9） 式（9） 通过构造导向滤波器的方式实现LWIR图像PCA分量的增强；对于其余 B-m 个分量采用软阈值分割的方式，去除噪声的影响。 3.2.1　空间特性的改善 3 本文中，选取了LWIR前5个主成分进行处理，以中分辨层为例，将分割后的超像素块为基本处理单元，在每一主成分分量中，找到与VIS图像超像素块对应的超像素区域，基于 式（10） 式（10） 估计对应块内滤波器系数，从而实现LWIR主成分分量的空间信息的迁移增强。将增强后的主成分进行PCA反变换，从而得到融合增强图像。原第二主成分分量以及修正后的主成分分量、原热红外图像与融合后图像实验结果对比如 图5 图5 所示。 1,2,3; 由实验结果可以看出，SGF算法融合后图像与原LWIR图像相比，边缘信息一定程度上得到了增强，类内较为平滑，但是由于其以大小固定滑动窗口作为处理的基本单元，当窗口内地物种类复杂时，得到的导向滤波器很难兼顾所有的地物类型，因此融合后图像有着明显的块效应。本文提出的算法以超像素块代替传统的方块作为处理基本单元，VIS图像的局部空间信息有效地迁移至融合图像，得到了较好的图像融合效果，噪声得到了明显的抑制。此外，由于导向滤波器以热红外图像为基准，输入为可见光图像，因此融合后图像在空间特性上为两者空间特性的结合，与原LWIR图像空间特性略有不同，有着很好的类内平滑效果。 针对热红外遥感图像，本文提出算法对噪声的抑制主要体现在3个方面：（1）待迁移可见光图像的低秩分解。为了避免可见光图像噪声对融合超分辨热红外图像造成干扰，本文算法针对可见光图像进行低秩矩阵分解恢复，基于理想图像的低秩特性以及噪声的稀疏特性，实现两者的分离。（2）热红外遥感图像PCA主成分的软阈值分割。本文算法对热红外高光谱图像其进行PCA变换，对后面的 B-m 个主成分进行软阈值分割，从而减少噪声影响。（3）基于导向滤波器的热红外图像融合增强。可见光/近红外遥感图像比热红外遥感图像有着更为丰富的空间细节信息以及更高的信噪比，本文算法以热红外图像为导向，在保护其光谱信息的同时，将可见光图像信息迁移至热红外图像，从而实现热红外图像的增强。 为验证算法对于热红外图像边缘信息的改善，对原始热红外图像以及融合增强图像进行边缘提取，边缘提取整体结果以及局部放大结果如 图6 图6 所示。可以看出，相比于原始LWIR图像，基于本文提出的空间自适应的融合算法，VIS图像丰富的边缘信息能够有效地迁移至融合图像，地物边缘更加连续完整，更好地实现了各类地物的区分。 3.2.2　光谱信息的保护 3 为了进一步验证本文提出算法在有着复杂地物类型的区域对热红外图像光谱信息的保护效果，实验选取了两部分区域，统计融合图像与原始热红外图像的光谱差异。两区域分别为仅含有单一地物类型的“均质”区域以及两类地物的交界处的“异质”区域，得到的实验结果如 图7 图7 所示。 1,2; 由实验结果可以看出，对于“均质”区域，SGF算法与本文算法均能很好地保护热红外图像光谱信息。对于“异质”区域，由于SGF算法采用传统方块作为处理基本单元，忽略了各地物类型之间的差异，由此导向滤波器的设计不能兼顾所有地物类型，因此光谱差异较大。本文算法以超像素块作为基本处理单元，导向滤波器设计更具有针对性，对于“异质”区域也能很好的保护热红外图像光谱信息，从而保证温度反演精度。 3.2.3　热红外图像超分辨效果 3 本部分将从3个方面对热红外图像超分辨效果进行评价：（1）多分辨层残差关联验证；（2）亚像元温度反演效果；（3）融合超分辨后热红外图像分类效果。 （1）多分辨层残差关联验证。针对每一分辨层均进行热红外图像的融合增强处理，并统计融合图像二级残差与VIS图像二级残差之间的关联，将此关联模型应用于VIS图像的一级残差，从而得到融合图像的一级残差，最终得到高分下的融合超分辨LWIR图像。 原始LWIR图像与VIS图像在空间特性上可能存在较大差异，但是由于在导向滤波器设计时很好地继承了VIS图像的边缘信息，因此，融合LWIR图像残差与VIS图像残差是相关的。 图8（a） 图8（a） 显示了VIS图像与融合热红外图像在中分辨层下的二级残差。由实验结果可以看出，残差之间有着极为相似的空间结构相似性。 进一步，为了验证两残差之间的近似线性关联，我们选取了大小为128 <math id="M94"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212739&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212738&type= 2.03200006 2.62466669 128的局域，并将融合图像以及VIS图像的残差均进行了归一化。随后，使用结构相似性SSIM（Structural SIMilarity）（ Wang等，2004 Wang等，2004 ）来衡量两归一化残差之间的相似度，SSIM值越接近于1，证明残差之间相似度越高，其实验结果如 图8（b） 图8（b） 所示。当残差统计窗口大小为 <math id="M95"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212746&type= 7.95866632 2.70933342 时，SSIM值达到了0.9423，定量证明了他们之间的相似性。由于两残差的归一化过程为线性运算，从而间接证明了，非经过归一化的残差之间满足近似线性的关系。 同时， 图8（b） 图8（b） 显示了不同分辨层（中分辨层以及低分辨层）下，随着统计窗口不断变大响应SSIM值的变化，统计窗口大小为 <math id="M96"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212746&type= 7.95866632 2.70933342 到 <math id="M97"><mn mathvariant="normal">15</mn><mo>×</mo><mn mathvariant="normal">15</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212744&type= 11.76866722 2.70933342 。实验结果表明，随着统计窗口的不断变大，SSIM值不断降低，小窗口统计下残差之间的线性关系更为明显，由此在残差关联时，本文选定关联统计窗口大小为 <math id="M98"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22212746&type= 7.95866632 2.70933342 。近似线性的关联对于两残差整体统计时可能并不适用，然而对于局部窗口下的统计是适用的。同时，此结果也验证了，在小窗口尺寸下，低空间分辨层两残差之间的平均SSIM值依然为0.9以上，由此证明了这种近似线性联系在不同分辨率下均成立。 1,2; 中等空间分辨率融合LWIR图像直接进行拉普拉斯超分辨与本文提出的残差关联的超分辨算法整体实验结果以及局部放大结果如 图9 图9 所示。 1;2; 由上述实验结果可以看出，经由残差关联后，由于引入了高分VIS图像丰富的空间信息，高分融合超分辨LWIR图像相较于未经残差关联后的图像空间细节信息更为丰富，边缘更为清晰，其空间特性得到了明显的改善。 （2）亚像元温度反演效果。随后，基于融合超分辨LWIR图像，采用经典的NEM-TES算法（ Gillespie等，1998 Gillespie等，1998 ）进行温度发射率分离，得到亚像素级的温度以及发射率反演结果。 为了验证本文提出超分辨算法对于目标亚像素级温度、发射率特性反演的准确性，以原中等空间分辨率下LWIR图像温度反演结果作为参考，对中等空间分辨率下LWIR图像进行两次下采样。以两次下采样后的LWIR图像为输入，基于本文提出的算法超分辨还原至中等空间分辨率，并进行温度发射率分离，将温度以及发射率反演结果与参考值进行比较，统计各个类别温度的均方根误差。实验结果如 图10 图10 所示，其各个类别及整体反演误差如 表1 表1 所示。 1,2; 地物类型 温度均方根误差/K 发射率均方根误差 道路 0.33 2.8×10 -2 树木 1.35 8.1×10 -2 红色屋顶 0.43 4.2×10 -2 灰色屋顶 0.52 4.7×10 -2 混凝土屋顶 0.73 3.8×10 -2 植被 0.56 3.5×10 -2 裸地 0.46 3.6×10 -2 总体 0.72 4.4×10 -2 由上述结果可以看出，与温度参考图比较，本文提出的算法得到了较好的亚像素温度反演结果，总体温度反演的均方根误差小于1 K，总体发射率反演均方根误差小于0.05。各类地物的温度以及发射率均与参考地物温度以及发射率保持一致。然而，针对较小的温度异常区域以及较为孤立的小类别区域，例如树木，本文算法温度反演的结果仍出现了细节丢失的情况，与SGF算法误差来源相似，此误差主要来源于超像素分割未能准确识别此类小区域，将其与周边大类区域分割到一起，因而构造的导向滤波器未能兼顾。 在过去热红外反演地表温度过程中，通常裸地、道路等像元的反演误差大于植被像元，但是在本文中道路、裸地的误差反而小于植被像元误差，这是由本文算法特性以及图像特点造成的。 首先在本文算法自适应低秩表达部分，不同的地物类型低秩特性是不同的，与植被相比，道路及裸地的纹理更为单一，其低秩特性更为明显，因而在导向滤波器构造融合增强热红外图像时具有更小的误差传递。其次，在本文数据中道路、裸地往往都是大片连通的，然而对于植被而言很多都是小片孤立的，由此在超像素单元划分过程中，很多植被与其他地物类型划分到同一超像素单元，由此导向滤波器构造部分，植被区域误差要大于道路与裸地。 以超像素块作为处理的基本单元，可以在类内取得较好的平滑效果，然而其超像素分割的误差难免会传递至后续过程，造成误差积累。尽量多的超像素块可以一定程度上解决这一问题，但是随着超像素块的增多，块内地物的类内空间特性便随之减弱，由此需要针对具体应用选择相应的超像素块数量。 若面向的是地物分类问题，在兼顾小样本类别的前提下，超像素块的数量可以酌情减小，以保持其类内空间特性的完整；若本文面向的是异常检测问题，超像素块数量应尽量多，以保证异常小目标位于单独的超像素块内。 （3）融合超分辨热红外图像分类效果。为了进一步验证本文超分辨算法的有效性，本文对原始LWIR图像以及融合超分辨的LWIR图像进行了分类，并统计了区域包含的7中地物类型的分类精度。 在实验过程中，使用经典的支持向量机SVM（Support Vector Machine）进行分类，最对各类地物选取了10%的样本进行了训练，剩余90%样本进行测试，其分类结果如 图11 图11 所示。 1,2;3; 由实验结果可知，融合超分辨LWIR图像分类结果更为精细，并且有着更为平滑的分类效果。这进一步验证了本文算法对原始LWIR图像空间特性（噪声抑制、类内平滑以及边缘增强）上的改善。 实验定量统计了各地物类别的分类精度、平均分类精度AA（Average Accuracies）以及Kappa系数，结果如 表2 表2 所示。各类地物的分类精度均有了巨大的提升，由于VIS图像空间信息的引入，原本难以准确区分的地物类别，例如树木与植被，均实现了良好的区分，其总体分类精度提升了20%以上。 地物类别 原LWIR 融合超分辨LWIR 道路 0.9752 0.9910 树木 0.2468 0.9358 红色屋顶 0.3892 0.9622 灰色屋顶 0.6179 0.9387 混凝土屋顶 0.7191 0.9948 植被 0.9320 0.9891 裸地 0.5480 0.9718 Kappa 0.6834 0.9745 AA 0.7542 0.9796 4　结论 1 本文针对热红外遥感图像空间分辨率不足的问题，提出了基于多分辨率超像素低秩表达与残差关联的热红外图像空间超分辨算法，在保护热红外图像光谱信息的同时，实现了其空间信息的增强。算法主要特点体现在以下方面：（1）基于多分辨率下超像素分割及低秩恢复，使用超像素块代替传统的方块作为低秩恢复单元，以提升各单元内地物种类的稳定并抑制结构性噪声；（2）通过构建导向线性滤波器，在保护热红外图像光谱信息的前提下，实现可见光图像高空间分辨率向热红外图像的迁移；（3）在低分辨层建立融合超分辨图像残差与可见光图像残差之间关联，并应用于高分辨层，从而保证高分辨率融合超分辨图像的细节信息。 本文主要从空间特性的改善效果、光谱信息的保护效果、热红外图像超分辨效果3个方面验证算法的有效性。实验结果表明，本文提出的算法自适应统一各类地物内部的空间特性，图像边缘得到了增强，且有着优异的空间平滑效果，残差关联超分辨图像有着更为精细的图像空间细节。与传统SGF融合算法相比，无论对于“均质”还是“异质”区域，本文算法均能很好的保护热红外图像光谱信息。本文验证了残差关联模型的有效性，证明了在不同分辨率下，可见光图像残差与融合热红外图像残差之间的近似线性关联均能够成立。与温度参考图相比，基于超分辨图像热红外图像的亚像素级温度反演有着较高的温度反演精度，总体温度反演的均方根误差小于1 K。由本文算法得到的融合超分辨热红外图像有着更高的分类精度，相较于原热红外图像的平均分类精度提升了20%以上。 本文分析了针对较小的温度异常区域以及孤立的小类别区域温度反演误差较大的原因，并讨论了面向不同应用的超像素块数量的选择策略：在兼顾小样本类别的前提下，较少超像素块适用于图像分类问题；较多超像素块适用于异常检测问题，以保证小目标位于单独超像素块内。 参考文献（References） Cai R R and Wang B . 2017 . Hyperspectral imagery restoration based on low-rank representation . Journal of Fudan University (Natural Science) , 56 ( 3 ): 346 - 358 Hyperspectral imagery restoration based on low-rank representation 蔡荣荣 , 王斌 . 2017 . 一种基于低秩表示的高光谱图像恢复方法 . 复旦学报(自然科学版) , 56 ( 3 ): 346- 358 [ DOI: 10.15943/j.cnki.fdxb-jns.2017.03.011 http://dx.doi.org/10.15943/j.cnki.fdxb-jns.2017.03.011 ] 一种基于低秩表示的高光谱图像恢复方法 Candes E J and Donoho D L . 2000 . Curvelets , multiresolution representation, and scaling laws// Proceedings SPIE 4119 , Wavelet Applications in Signal and Image Processing VIII. San Diego : SPIE : 4119 [DOI: 10.1117/12.408568] Curvelets Chen J S , Li Z Q and Huang B . 2017 . Linear spectral clustering superpixel . IEEE Transactions on Image Processing , 26 ( 7 ): 3317 - 3330 [ DOI: 10.1109/TIP.2017.2651389 http://dx.doi.org/10.1109/TIP.2017.2651389 ] Linear spectral clustering superpixel Da Cunha A L , Zhou J and Do M N . 2006 . The nonsubsampled contourlet transform: theory, design, and applications . IEEE Transactions on Image Processing , 15 ( 10 ): 3089 - 3101 [ DOI: 10.1109/TIP.2006.877507 http://dx.doi.org/10.1109/TIP.2006.877507 ] The nonsubsampled contourlet transform: theory, design, and applications Ding M , Wei L and Wang B F . 2013 . Research on fusion method for infrared and visible images via compressive sensing . Infrared Physics and Technology , 57 : 56 - 67 [ DOI: 10.1016/j.infrared.2012.12.014 http://dx.doi.org/10.1016/j.infrared.2012.12.014 ] Research on fusion method for infrared and visible images via compressive sensing Do M N and Vetterli M . 2005 . The contourlet transform: an efficient directional multiresolution image representation . IEEE Transactions on Image Processing , 14 ( 12 ): 2091 - 2106 [ DOI: 10.1109/TIP.2005.859376 http://dx.doi.org/10.1109/TIP.2005.859376 ] The contourlet transform: an efficient directional multiresolution image representation Fasbender D , Radoux J and Bogaert P . 2008 . Bayesian data fusion for adaptable image pansharpening . IEEE Transactions on Geoscience and Remote Sensing , 46 ( 6 ): 1847 - 1857 [ DOI: 10.1109/TGRS.2008.917131 http://dx.doi.org/10.1109/TGRS.2008.917131 ] Bayesian data fusion for adaptable image pansharpening Foster L A , Brock B W , Cutler M E J and Diotri F . 2012 . A physically based method for estimating supraglacial debris thickness from thermal band remote-sensing data . Journal of Glaciology , 58 ( 210 ): 677 - 691 [ DOI: 10.3189/2012JoG11J194 http://dx.doi.org/10.3189/2012JoG11J194 ] A physically based method for estimating supraglacial debris thickness from thermal band remote-sensing data Garcia F , Mirbach B , Ottersten B , Grandidier F and Cuesta Á . 2010 . Pixel weighted average strategy for depth sensor data fusion // 2010 IEEE International Conference on Image Processing . Hong Kong, China : IEEE : 2805 - 2808 [ Pixel weighted average strategy for depth sensor data fusion DOI 10 . 1109/ICIP .2010. 5651112 ] 1109/ICIP Gillespie A , Rokugawa S , Matsunaga T , Cothern J S , Hook S and Kahle A B . 1998 . A temperature and emissivity separation algorithm for Advanced Spaceborne Thermal Emission and Reflection Radiometer (ASTER) images . IEEE Transactions on Geoscience and Remote Sensing , 36 ( 4 ): 1113 - 1126 [ DOI: 10.1109/36.700995 http://dx.doi.org/10.1109/36.700995 ] A temperature and emissivity separation algorithm for Advanced Spaceborne Thermal Emission and Reflection Radiometer (ASTER) images He K M , Sun J and Tang X O . 2010 . Guided image filtering // Proceeding of 11th European Conference on Computer Vision . Heraklion : Springer : 1 - 14 [ DOI: 10.1007/978-3-642-15549-9_1 http://dx.doi.org/10.1007/978-3-642-15549-9_1 ] Guided image filtering Jiao L C and Tan S . 2003 . Development and prospect of image multiscale geometric analysis. Acta Electronica Sinica, 31(12A): 1975-1981 (焦李成, 谭山 . 2003. 图像的多尺度几何分析: 回顾和展望. 电子学报, 31(12A): 1975 - 1981 ) [DOI: 10.3321/j.issn:0372-2112.2003.z1.007] Development and prospect of image multiscale geometric analysis. Acta Electronica Sinica, 31(12A): 1975-1981 (焦李成, 谭山 Kang X D , Li S T and Benediktsson J A . 2014 . Spectral–spatial hyperspectral image classification with edge-preserving filtering . IEEE Transactions on Geoscience and Remote Sensing , 52 ( 5 ): 2666 - 2677 [ DOI: 10.1109/TGRS.2013.2264508 http://dx.doi.org/10.1109/TGRS.2013.2264508 ] Spectral–spatial hyperspectral image classification with edge-preserving filtering Kustas W P , Norman J M , Anderson M C and French A N . 2003 . Estimating subpixel surface temperatures and energy fluxes from the vegetation index-radiometric temperature relationship . Remote Sensing of Environment , 85 ( 4 ): 429 - 440 [ DOI: 10.1016/s0034-4257(03)00036-1 http://dx.doi.org/10.1016/s0034-4257(03)00036-1 ] Estimating subpixel surface temperatures and energy fluxes from the vegetation index-radiometric temperature relationship Li H , Manjunath B S and Mitra S K . 1995 . Multisensor image fusion using the wavelet transform . Graphical Models and Image Processing , 57 ( 3 ): 235 - 245 Multisensor image fusion using the wavelet transform Li X and Qin S Y . 2011 . Efficient fusion for infrared and visible images based on compressive sensing principle . IET Image Processing , 5 ( 2 ): 141 - 147 [ DOI: 10.1049/iet-ipr.2010.0084 http://dx.doi.org/10.1049/iet-ipr.2010.0084 ] Efficient fusion for infrared and visible images based on compressive sensing principle Liao W Z , Huang X , Van Coillie F , Gautama S , Pižurica A , Philips W , Liu H , Zhu T T , Shimoni M , Moser G and Tuia D . 2015a . Processing of multiresolution thermal hyperspectral and digital color data: outcome of the 2014 IEEE GRSS data fusion contest . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 8 ( 6 ): 2984 - 2996 [ DOI: 10.1109/JSTARS.2015.2420582 http://dx.doi.org/10.1109/JSTARS.2015.2420582 ] Processing of multiresolution thermal hyperspectral and digital color data: outcome of the 2014 IEEE GRSS data fusion contest Liao W Z , Huang X , Van Coillie F , Thoonen G , Pižurica A , Scheunders P and Philips W . 2015b . Two-stage fusion of thermal hyperspectral and visible RGB image by PCA and Guided filter // 2015 7th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS) . Tokyo : IEEE : 1 - 4 [ DOI: 10.1109/WHISPERS.2015.8075405 http://dx.doi.org/10.1109/WHISPERS.2015.8075405 ] Two-stage fusion of thermal hyperspectral and visible RGB image by PCA and Guided filter Li Z L , Duan S B , Tang B H , Wu Y , Ren H Z and Yan G j . 2016 . Review of methods for land surface temperature derived from thermal infrared remotely sensed data . National Remote Sensing Bulletin , 20 ( 005 ): 899 - 920 Review of methods for land surface temperature derived from thermal infrared remotely sensed data 李召良 , 段四波 , 唐伯惠 , 吴骅 , 任华忠 , 阎广建 . 2016 . 热红外地表温度遥感反演方法研究进展 . 遥感学报 ， 20 ( 005 ): 899 - 920 热红外地表温度遥感反演方法研究进展 Manolakis D , Golowich S and DiPietro R S . 2014 . Long-wave infrared hyperspectral remote sensing of chemical clouds: a focus on signal processing approaches . IEEE Signal Processing Magazine , 31 ( 4 ): 120 - 141 [ DOI: 10.1109/MSP.2013.2294804 http://dx.doi.org/10.1109/MSP.2013.2294804 ] Long-wave infrared hyperspectral remote sensing of chemical clouds: a focus on signal processing approaches Manolakis D , Pieper M , Truslow E , Lockwood R , Weisner A , Jacobson J and Cooley T . 2019 . Longwave infrared hyperspectral imaging: principles, progress, and challenges . IEEE Geoscience and Remote Sensing Magazine , 7 ( 2 ): 72 - 100 [ DOI: 10.1109/MGRS.2018.2889610 http://dx.doi.org/10.1109/MGRS.2018.2889610 ] Longwave infrared hyperspectral imaging: principles, progress, and challenges Mao K B , Qin Z H and Xu B . 2005 . Method for land surface temperature retrieval from ASTER data . Journal of Institute of Surveying and Mapping , 22 ( 1 ): 40 - 42 Method for land surface temperature retrieval from ASTER data 毛克彪 , 覃志豪 , 徐斌 . 2005 . 针对ASTER数据的单窗算法 . 测绘学院学报 , 22 ( 1 ): 40- 42 [ DOI: 10.3969/j.issn.1673-6338.2005.01.013 http://dx.doi.org/10.3969/j.issn.1673-6338.2005.01.013 ] 针对ASTER数据的单窗算法 Pieri D and Abrams M . 2004 . ASTER watches the world's volcanoes: a new paradigm for volcanological observations from orbit . Journal of Volcanology and Geothermal Research , 135 ( 1/2 ): 13 - 28 [ DOI: 10.1016/j.jvolgeores.2003.12.018 http://dx.doi.org/10.1016/j.jvolgeores.2003.12.018 ] ASTER watches the world's volcanoes: a new paradigm for volcanological observations from orbit Qin Z H , Zhang M H , Karnieli A and Berliner P . 2001 . Mono-window algorithm for retrieving land surface temperature from landsat TM6 data . Acta Geographica Sinica , 56 ( 4 ): 456 - 466 Mono-window algorithm for retrieving land surface temperature from landsat TM6 data 覃志豪 , Zhang M H , Karnieli A , Berliner P . 2001 . 用陆地卫星TM6数据演算地表温度的单窗算法 . 地理学报 , 56 ( 4 ): 456- 466 [ DOI: 10.11821/xb200104009 http://dx.doi.org/10.11821/xb200104009 ] 用陆地卫星TM6数据演算地表温度的单窗算法 Sun L , Jeon B , Zheng Y H , Xu Y and Wu Z B . 2017 . Homogeneous region based low rank representation in hidden field for hyperspectral classification // 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS) . Fort Worth : IEEE : 4758 - 4761 [ DOI: 10.1109/IGARSS.2017.8128065 http://dx.doi.org/10.1109/IGARSS.2017.8128065 ] Homogeneous region based low rank representation in hidden field for hyperspectral classification Van Der Meer F D , Van Der Werff H M A , Van Ruitenbeek F J A , Hecker C A , Bakker W H , Noomen M F , Van Der meijde M , Carranza E J M , De Smeth J B and Woldai T . 2012 . Multi- and hyperspectral geologic remote sensing: a review . International Journal of Applied Earth Observation and Geoinformation , 14 ( 1 ): 112 - 128 [ DOI: 10.1016/j.jag.2011.08.002 http://dx.doi.org/10.1016/j.jag.2011.08.002 ] Multi- and hyperspectral geologic remote sensing: a review Wang C C , Yang G J , Ma Z and Xing Z R . 2009 . Fusion of VNIR and thermal infrared remote sensing data based on GA-SOFM neural network . Geo-Spatial Information Science , 12 ( 4 ): 271 - 280 [ DOI: 10.1007/s11806-009-0093-4 http://dx.doi.org/10.1007/s11806-009-0093-4 ] Fusion of VNIR and thermal infrared remote sensing data based on GA-SOFM neural network Wang J D , Li X W , Sun X M and Liu Q . 2000 . Inversion of temperature of non-isothermal pixel components using thermal radiation directional model . Chinese Science E Series , 30 ( S1 ): 54 - 60 Inversion of temperature of non-isothermal pixel components using thermal radiation directional model 王锦地 , 李小文 , 孙晓敏 , 刘强 . 2000 . 用热辐射方向性模型反演非同温像元组分温度 . 中国科学(E辑) , 30 ( S1 ): 54-60 [ DOI: 10.3321/j.issn:1006-9275.2000.z1.008 http://dx.doi.org/10.3321/j.issn:1006-9275.2000.z1.008 ] 用热辐射方向性模型反演非同温像元组分温度 Wang J N , Jiao L C , Liu H Y , Yang S Y and Liu F . 2015 . Hyperspectral image classification by spatial–spectral derivative-aided kernel joint sparse representation . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 8 ( 6 ): 2485 - 2500 [ DOI: 10.1109/JSTARS.2015.2394330 http://dx.doi.org/10.1109/JSTARS.2015.2394330 ] Hyperspectral image classification by spatial–spectral derivative-aided kernel joint sparse representation Wang Z , Bovik A C , Sheikh H R and Simoncelli E P . 2004 . Image quality assessment: from error visibility to structural similarity . IEEE Transactions on Image Processing , 13 ( 4 ): 600 - 612 [ DOI: 10.1109/TIP.2003.819861 http://dx.doi.org/10.1109/TIP.2003.819861 ] Image quality assessment: from error visibility to structural similarity Weng Q H , Rajasekar U and Hu X F . 2011 . Modeling urban heat islands and their relationship with impervious surface and vegetation abundance by using ASTER images . IEEE Transactions on Geoscience and Remote Sensing , 49 ( 10 ): 4080 - 4089 [ DOI: 10.1109/tgrs.2011.2128874 http://dx.doi.org/10.1109/tgrs.2011.2128874 ] Modeling urban heat islands and their relationship with impervious surface and vegetation abundance by using ASTER images Wright J , Ganesh A , Rao S , Peng Y and Ma Y . 2009 . Robust principal component analysis: exact recovery of corrupted low-rank matrices via convex optimization . Neuro Computing , 87 ( 4 ): 3 - 56 [ DOI: 10.1109/CVPR.2016.567 http://dx.doi.org/10.1109/CVPR.2016.567 ] Robust principal component analysis: exact recovery of corrupted low-rank matrices via convex optimization Wu Y Y , Jin C , Pang L W , Zhao J L , Song Y , Hu T G , Zhao D R and Xu J F . 2019 . Distribution characteristics of surface thermal environment in Zhejiang province based on thermal infrared remote sensing . National Remote Sensing Bulletin , 23 4 Distribution characteristics of surface thermal environment in Zhejiang province based on thermal infrared remote sensing ) (吴文渊 , 金城 , 庞毓雯 , 赵丽佳 , 宋瑜 , 胡潭高 , 赵登荣 ， 徐俊峰 . 2019 . 热红外遥感浙江地表热环境分布研究. 遥感学报, 23(4)) 热红外遥感浙江地表热环境分布研究. 遥感学报, 23(4)) Xu Y , Wu Z B , Wei Z H , Mura M D , Chanussot J and Bertozzi A . 2016 . GAS plume detection in hyperspectral video sequence using low rank representation // 2016 IEEE International Conference on Image Processing (ICIP) . Phoenix : IEEE : 2221 - 2225 [ DOI: 10.1109/ICIP.2016.7532753 http://dx.doi.org/10.1109/ICIP.2016.7532753 ] GAS plume detection in hyperspectral video sequence using low rank representation Zhou T Y and Tao D C . 2011 . Godec: Randomized low-rank and sparse matrix decomposition in noisy case // Proceedings of the 28th International Conference on International Conference on Machine Learning . Washington : Omnipress : 33 - 40 Godec: Randomized low-rank and sparse matrix decomposition in noisy case 10.11834/jrs.20219358 1007-4619（2021）11-2255-15 苗馨远，张晔，张钧萍.2021.多分辨率低秩导向滤波的热红外图像空间融合.遥感学报，25（11）： 2255-2269 苗馨远，张晔，张钧萍.2021.多分辨率低秩导向滤波的热红外图像空间融合.遥感学报，25（11）： 2255-2269 Miao X Y， Zhang Y and Zhang J P. 2021. Spatial fusion enhancement of thermal infrared images based on multi-resolution analysis and low-rank guided filter. National Remote Sensing Bulletin， 25（11）：2255-2269 Miao X Y， Zhang Y and Zhang J P. 2021. Spatial fusion enhancement of thermal infrared images based on multi-resolution analysis and low-rank guided filter. National Remote Sensing Bulletin， 25（11）：2255-2269 国家自然科学基金（编号：61871150） Supported by National Natural Science Foundation of China (No. 61871150) 2020-10-26 2021-11-07 2021-11-26 2021-03-12 遥感学报 11 25