1 引言高光谱遥感是成像技术和光谱技术相结合的多维信息获取技术,可以同时获取地面目标的光谱信息和空间信息(童庆禧 等,2016)。高光谱遥感器通常能够在可见光到短波红外波段区间内成像,获取到的高光谱遥感图像其光谱分辨率可达到纳米级,光谱波段数量可达到几十个甚至上千个。此外,高光谱图像中每个像元均附带一条对应地面目标的光谱曲线,因而能够探测出来一些隐藏在狭窄波段内的地物特征(何明一 等,2013)。高光谱遥感影像解译在高光谱遥感影像智能化分析中发挥着至关重要的作用,并逐渐成为研究热点之一(Zhu等,2022)。随着成像光谱仪技术的进步,高光谱遥感图像凭借光谱分辨率高、图谱合一的特点,已经在环境监测、精准农业、海水污染治理等领域得到了广泛应用(Wang等,2022)。然而,受空间分辨率的限制,大尺度高光谱遥感图像中普遍存在大量包含多种地物的混合像元(张良培 等,2014)。在数据处理与分析过程中,混合像元问题始终会对地物信息提取的准确性造成影响(张兵和孙旭,2015)。目前,处理混合像元问题最有效的分析方法是混合像元分解,其目的是从亚像元视角获取成像区域内各类地物的端元和像元内各类端元所对应的丰度(Bioucas-Dias等,2013)。现阶段,构建合理有效的混合像元分解方法已成为实现地物信息精细化获取的重要环节(张兵,2016)。处理混合像元问题,首先要将成像时的光谱混合机理用数学形式进行表达,即,建立光谱混合模型。光谱混合模型是解混方法设计的基础,也是连接物理成像与光谱解译的桥梁。目前,光谱混合模型主要可以分为两类:线性混合模型LMM(Linear Spectral Mixture Model)和非线性混合模型NLMM(Nonlinear Spectral Mixture Model)(Dobigeon等,2014)。线性混合模型假设成像光谱仪接收到的信号是光照到物体后的直接反射,混合像元等同于端元光谱的线性加权求和,其中的权重即为相应的丰度(Keshava和Mustard,2002)。非线性光谱混合模型是对一类模型的统称,包括,紧密型混合模型(Nobbs,1985;Rasti等,2022b)、多层次混合模型(Somers等,2009),其建模过程通常会考虑到光子运动、大气散射等复杂的自然现象,得到的结果在理论上更接近于实际情况(Heylen等,2014)。但由于线性混合模型结构简单、普适性好,因此现有的解混方法大多是基于线性混合模型而建立(Bioucas-Dias等,2012)。本文将基于线性光谱混合模型和基于非线性光谱混合模型的解混方法分别称为“线性解混方法”和“非线性解混方法”。传统的线性解混方法通常以线性方式考虑端元与丰度两类变量的关系,而传统的非线性解混方法则是通过不同途径来求解非线性光谱混合过程中的变量或参数(Dobigeon等,2014)。根据是否将端元信号作为先验条件,解混方法可分为非监督和监督两类。非监督的方法通常以盲信号分离的方式来实现解混,而监督解混方法需要提前获取端元(Dobigeon等,2014)。此外,稀疏解混(Sparse Unmixing)是一种传统的线性解混方法,需要建立丰富的光谱库作为已知的端元集合,从中找到最优的端元子集并求解该子集对应的丰度,其训练过程属于半监督,因而也被称为“半监督解混方法”(Iordache等,2011)。传统的高光谱解混方法为实现混合像元分解探索了道路,并在一定程度上缓解了混合像元对地物信息获取的影响。但是,传统方法通常只借助计算数学、统计学、解析几何、矩阵分解、稀疏回归等理论来处理混合像元问题,难以深入挖掘数据潜藏的相关性特征来加强结果准确性,也难以应对复杂场景下混合像元分解任务的工作需求(Chen等,2023b)。近年来,深度学习的发展对遥感领域产生了重要影响,也为高光谱解混提供了新的思路。如今,深度学习凭借其强大的学习与预测能力,逐渐成为解混算法设计的主流工具。自动编码器、卷积神经网络、循环神经网络、残差神经网络等主流深度学习框架已经在解混方法设计中成功应用。鉴于目前遥感领域对基于深度学习的解混技术缺乏归纳。本文将现有的解混方法按照光谱混合模型和训练方式进行归类和整理,对各类方法的优缺点进行介绍,并整理了目前已公开的深度学习解混方法的代码链接,以帮助相关研究人员了解和学习相关内容。最后,本文总结了未来解混研究需要关注的问题,为开展解混相关研究提供参考。2 光谱混合模型介绍2.1 线性光谱混合模型假设高光谱数据集中的每个像元是由若干个已知的纯光谱(端元)线性组合而成,具体来说,高光谱图像Y=yi,y2,.yn.,yN∈RL×N表示该图像包含L个光谱波段和N个像元。yn表示该图像中任意一个像元,则线性光谱混合模型的数学表达式为yn=∑i=1maiei+ε (1)式中,ei、m、ai分别表示端元、端元数量和丰度向量,ε表示噪声。线性模型包括两个常用的约束条件,分别是“丰度非负约束”ANC(Abundance Nonnegativity Constraint)和“丰度和为一”约束ASC(Abundance Sum-to-one Constraint),数学表达式为∑i=1mai=1, ai≥0 (2)在解混过程中,ANC保障了丰度值非负,而ASC保障了像元内所有成分占比的合理性。图1展示了线性光谱混合模型的示意图。10.11834/jrs.20243165.F001图 1线性光谱混合模型示意图Fig. 1Schematic diagram of linear spectral mixture model2.2 非线性光谱混合模型线性光谱混合模型是一种适用于大尺度数据的粗略假设,不考虑描述光子与物体接触时发生的能量传递过程和多重散射现象(Bioucas-Dias等,2012)。为了更精确地模拟电磁波到达地面后的真实情况,研究人员们从不同角度模拟传感器在成像时电磁波在地物之间存在的物理交互,建立了不同的非线性光谱混合模型。从微观角度来看,如果不同地物紧密混合在同一区域内会出现多次光子吸收反射现象;从宏观角度来看,瞬时视场下各类地物在成像时会发生多重散射。因此,非线性光谱混合模型可以划分为两类,即“紧密型混合模型”和“多层次混合模型”(Dobigeon等,2014)。紧密型混合模型从微观角度来研究光谱混合问题,认为发生光谱混合的空间尺度非常紧密,并依据辐射传播理论对物质表面光子的非线性相互作用进行建模,紧密型混合模型的原理如图2所示。Hapke模型(Hapke,1981)是经典的紧密型混合模型,假定发生在颗粒状物质表面的散射作用在各个方向相同,在只有单一光源的前提下,根据辐射传输理论可以推导出介质表面的双向反射率分布函数:fν,ν0,νg=ων04πν+ν01+BνgPνg+Hν0Hν-1(3)式中,ν、ν0分别表示平行光出射角和入射角的余弦值,νg是入射光与出射光之间的夹角(相位角),ω是散射系数和消光系数的比值,P(νg)、B(νg)、H(ν)分别是粒子的相位函数、后向散射函数和多项散射函数。Hapke模型能有效地对紧密混合的场景进行描述,但需要提前对物质光谱进行详细分析,计算复杂度较高。紧密型模型所依赖的参数时常难以获取,适用范围常常受到限制(Dobigeon等,2014)。10.11834/jrs.20243165.F002图 2紧密型混合模型示意图Fig. 2Schematic diagram of intimate mixture多层次混合模型是从宏观角度出发来研究光谱混合问题。在一些成像区域包含植被冠层、城市建筑的复杂场景中,由于不同地物之间存在三维空间结构,入射或反射的电磁波容易在不同的高度上与周边地物发生多次散射现象。多层次混合模型所涉及的参数多,模型复杂,且高阶散射作用很微弱,目前遥感领域使用最普遍的多层次混合模型是双线性混合模型(Heylen等,2014),它只考虑二阶以内的多重散射,可以看作线性光谱混合模型上增加一个双线性项。假设y是高光谱遥感图像中的任意一个像元,双线性混合通用的数学表达式为y=∑i=1maiei+∑k=1m-1∑p=k+1mγkpek⊙ep+ε (4)式中,ek和ep为端元,γkp用来表示它们之间的非线性相关系数,⊙表示Hadamard乘积(Horn和Johnson,2012)。图3展示了在理想状态下发生双线性混合的示意图。10.11834/jrs.20243165.F003图 3双线性混合模型示意图Fig. 3Schematic diagram of bilinear mixture3 基于深度学习的解混方法本节先从各个方法所依据的光谱混合模型(线性光谱混合模型和非线性光谱混合模型)出发,对当前基于深度学习的解混方法进行初步归类。线性光谱混合模型虽然是一种粗略假设,但模型结构简单,普适性好,有利于与深度网络进行结合来实现自动化程度高的非监督解混。非线性模型虽然复杂度较高,但建模过程考虑了电磁波物理交互现象,得到的结果更加符合混合像元的形成机制。由于解混方法的训练方式也关系到该方法的适用范围和准确性,因而在模型分类的基础上再将解混方法细分为非监督方法、半监督方法(即稀疏解混)、以及监督方法。3.1 基于深度学习的线性解混方法本文将基于深度学习的线性解混方法归纳为(1)非监督解混;(2)半监督解混;(3)监督解混3种类型。3.1.1 线性非监督解混方法按照建模原理与建模方式的不同,本文将非监督归类细化为基于自动编码器的解混方法、基于“数据—模型”双驱动的解混方法、以及基于“传统—深度”相结合的解混方法。自动编码器凭借其可扩展性强的特点,在目前解混方法设计中使用最为广泛(Su等,2019)。但此类方法主要以盲信号分离方式来估算端元与丰度,利用深度学习挖掘数据隐藏的相关性特征,使解混的过程更加精细、结果更加准确。与之相对的是基于数据—模型双驱动的解混方法,随着硬件技术的进步,数据获取的成本逐渐降低,而且模型训练的优劣与数据本身关系密切,将数据驱动与模型驱动相结合,能更好地发挥两者的优势(Chen等,2023b)。此外,近年来也出现了一些将传统模式识别理论与深度学习相结合的解混方法,对传统数学模型进行分层化计算,既利用了隐藏信息,也保障了计算效率(Li等,2022)。(1)自动编码器构架下的解混方法。自动编码器主要由编码器、隐藏层和解码器3部分构成,编码器生成其输入的低维表示,解码器根据该表示重建输入。解混过程可以等同于找到一组低维表示来获取丰度,并使用解码器中节点之间的连接权来获取端元。Guo等(2015)提出的基于自编码器层叠的解混方法(mDAU),首次将自动编码器用于高光谱解混,以降低建模的不准确性和观测噪声对解混的影响。该方法将边缘去噪自编码器和非负稀疏自编码器进行堆栈,采用降噪自编码器处理高光谱图像中的噪声,然后用非负稀疏自编码器对图像进行盲信号分离来得到端元和丰度,mDAU适用于高噪声的高光谱图像,但并没有施加约束来提高方法性能。随后,受mDAU的启发,很多加入约束条件的自动编码器应用于解混。Palsson等(2017)提出了一种用于高光谱解混的多隐层编码器(SIDAEU),该自动编码器利用丰度的稀疏性,通过自适应阈值对目标函数进行优化,使用光谱信息散度SID(Spectral Information Divergence)度量作为目标函数。通过自定义层来强制执行丰度的ASC约束,采用了批量归一化层,大大增强了算法的鲁棒性。Palsson等(2018)扩展了Palsson等(2017)中所做的工作,同样采用自适应阈值的形式,该形式根据网络的目标函数进行优化,使用光谱角距离SAD(Spectral Angle Distance)作为目标函数。通过自定义层和权重约束强制执行ASC和ANC约束。该方法设计的自动编码器结构简单,证明了复杂的自动编码器不一定能产生更好的解混结果。Su等(2018)提出了堆叠非负稀疏自编码器(SNSA)来解决异常值对初始化带来的影响,该方法包含两个主要步骤。SNSA先使用堆栈式非负稀疏自编码器来检测数据中的异常值,然后用最后一个非负稀疏自编码器完成盲信号分离来获得端元和丰度,该方法能够很好地解决异常值和低信噪比的问题,却没有实现ASC约束。Ozkan等(2019a)提出了一个基于稀疏自动编码器的解混算法(EndNet),是首个基于神经网络的端到端学习算法,它通过校正激活函数ReLU和归一化层有效地应用稀疏性和非线性,使用SAD作为编码器层的内积运算符,该方法基于随机梯度,所以对于大规模数据具有可扩展性,还提出了一种新的损失函数,由具有SAD相似性的Kullback-Leibler项和额外的惩罚项组成,因此可以提高稀疏性,强化EndNet方法的丰度估算效果。Ozkan等(2019b)对深度光谱卷积网络的架构进行了一些修改,提出了一种新的高光谱分解框架(DSCN++)。DSCN++减少了梯度消失问题的可能性并增强了滤波器的选择性,得到的潜在特征通过利用多项式混合核来估计每个像元的丰度。为了优化多项式模型的系数和不确定性项,DSCN++利用Wasserstein生成对抗网络WGAN(Wasserstein Generative Adversarial Networks)来提高稳定性和捕获端元变异性,该方法适用于大规模数据。Qu和Qi(2019)提出了一种非监督的稀疏解耦去噪自编码器(uDAS),网络仅限制解码器的输出为非负。uDAS方法采用去噪约束避免引入额外的去噪误差、采用L2,1约束来减少编码器的冗余,降低重构误差,从而具有更强的鲁棒性。Su等(2019)将多隐层网络用于解混,提出了一种基于深度自编码器网络(DAEN)用于改进SNSA方法,保障了ASC约束。该网络由两部分组成,第一部分采用堆叠自编码器SAE(Stacked AutoEncoder)学习光谱特征,为解混过程生成较好的初始化;第二部分采用变分自编码器VAE(Variational AutoEncoder)进行盲信号分离,可以同时获得端元和丰度。此外,VAE的多层隐藏层确保在估计丰度时所需的约束(ASC和ANC),DAEN可以分解具有异常值和低信噪比的数据集,具有显著的鲁棒性。Palsson等(2019)采用多任务学习MTL(Multi-Task Learning)来训练自动编码器,设计了一种基于多任务学习的解混方法(MTAEU)。该方法利用MTL并行训练多个自动编码器来同时分解像元的邻域,以此来缓解端元变异性带来的影响。MTAEU收敛速度较快,利用了高光谱图像中的空间相关性。为了达到模型灵活性和低维表示之间的折衷,Borsoi等(2020)提出一种新的解混策略(DeepGun)直接从观测数据中学习端元变异性模型,该模型的解混策略分为两个步骤。第一步,利用基于变分自动编码器的深度生成端元模型学习场景中每个材料的潜在端元变异性流形,学习过程使用直接从观测到的高光谱图像中提取的纯像元信息。第二步,使用交替最小二乘策略估计扩展版本的线性解混参数。DeepGUn提出了一个低维且物理准确的模型,可以更好的描述端元变异性,并且显著提高了丰度估计的准确性。Dou等(2020)提出了一种新的基于自动编码器的高光谱解混方法(OSPAEU),充分地利用先验知识并降低异常值带来的影响。首先使用基于正交子空间投影的稀疏先验假设来探索丰度之间的正交性。其次,文中提出了超拉普拉斯(hyper-Laplacian)损失来模拟重建误差。此外,OPSAEU还开发了一种检测原始高光谱图像中的异常像元的方法用于缓解异常像元的干扰,并将其融入了端元初始化过程中。然而,由于所提出的稀疏先验假设一个像元内混合的端元不超过两个,对含有多个端元时不成立,因此具有局限性。为了充分利用空间信息,Palsson等(2021)提出了一种基于卷积神经网络的解混方法(CNNAEU),这是第一个基于CNN的谱空间解混方法。该方法利用高光谱图像的空间和光谱结构对端元和丰度进行估计。使用空间滤波来提取特征,从而直接利用高光谱图像的空间结构,隐藏卷积层的特征即为丰度。CNNAEU在端元提取方面具有良好表现,可实现空间正则化,但生成的丰度为二进制形式,其扩展版本CNNAEU2使用Softmax函数强制执行ASC约束改进了这种情况。Gao等(2022)受感知机制的启发,提出了一种循环一致性解混网络(CyCU-Net),该网络是首个通过放宽原始像元级重建假设并施加循环一致性约束,将高级语义信息转移到基于自编码器的解混网络中的研究,减少了重建过程中的信息损失。通过所提出的感知损失来实现循环一致性,感知损失由两个光谱重建项和一个丰度重建项组成。该方法具备有效性和稳健性,但却没有考虑光谱—空间信息。Rasti等(2022d)受到深度图像先验理论的启发,提出了一个协同式解混框架(UnDIP),它包含两个主要步骤。首先,使用几何端元提取方法提取端元,并在整个解混过程中固定端元,然后利用深度图像先验估计丰度,该先验依赖于所提取的端元和观测的高光谱数据。并在整个空间域上应用全局卷积,以提取空间信息,网络的输入为高斯噪声,之后对网络进行训练,通过迭代最小化损失函数来生成丰度。UnDIP的主要创新之处在于为反演任务引入了一种新的解混深度先验。该方法不依赖频谱库,提高了丰度估计的准确性,并且对噪声具有鲁棒性。Min等(2022)通过考虑观测数据和重建数据间的特征差异,提出了一种基于联合度量神经网络的解混方法(JMnet),将Wasserstein距离和特征匹配作为正则化项,SAD作为底层损失函数。该神经网络由自动编码器和鉴别器两部分组成,其自动编码器用于端元提取和丰度估计,鉴别器用于计算Wasserstein距离来稳定地提供有用的梯度信息,鉴别器的中间层采用特征匹配来比较观测特征与重构特征之间的特征差异,从而进一步提高解混性能。然而,该网络结构较浅,没有考虑图像先验信息。Jin等(2023)提出了一种基于对抗自编码的非监督解混网络(AAENet),旨在减少噪声和初始化条件对解混的影响,AAENet先采用超像素分割将高光谱图像分割成空间均匀区域作为预处理。然后,设计无约束加权自编码器以最小化每组超像素的重建误差。假设具有空间相关性的同一区域中的像元共享相同的统计特性(均值和协方差),对丰度进行建模以遵循适当的先验分布。之后在对抗性训练过程中将空间信息传输到网络中,通过将丰度的聚合后验与特定的先验分布相匹配以校正解混的权重,大大提高了模型的性能和鲁棒性。Shi等(2022)提出了一个概率生成模型网络(PGMSU)来解决端元变异性问题,并实现非监督解混。PGMSU从观察到的像元中推断端元的潜在表示,编码它们的变异性。生成模型从潜在表示中为每个像元生成端元,同时通过推理模型估计丰度,然后使用相应的丰度将生成的端元线性混合。利用神经网络的非线性建模能力拟合任意端元分布。PGMSU计算效率高,可处理端元变异性问题,但需要进一步完善使其适应更复杂的高光谱数据。Jin等(2022)提出了双流自动编码器解混网络(TANet)用来提取具有物理意义的端元。先采用超像素分割作为预处理,从图像中提取端元。第一个自动编码器从图像中提取伪纯像元到它们相应丰度的映射。第二个自动编码器执行相同的无限制加权,以最大限度地减少原始像元数据的重建误差。TANet的两个自动编码器的参数共享相同的权值,并且可以通过对纯或近似纯候选像元的学习来校正权值。Qi等(2022)提出了一种新的空间—光谱协同解混的双流网络(SSCU-Net),旨在充分利用高光谱数据的空间信息进行解混,SSCU-Net包括基于超像素分割的空间自编码网络和基于卷积网络的光谱自编码网络。两个自动编码器网络以协作方式有效地训练,协作策略包括丰度的协作损失和端元信息的权重共享交替训练策略,同时提出了一种基于丰度信息的超像素分割方法,极大地方便了空间信息的利用,提高了解混网络的精度。然而,SSCU-Net采用的两个自编码网络的结构设计较为简单,没有使用先进的重建损失函数。Fang等(2022)提出了一种基于贝叶斯全卷积的解混网络(BCUN),BCUN采用全卷积神经网络和图像先验增强了丰度图中空间信息的表征和估计。设计了一种基于完全卷积神经网络(FCNN)的深度图像先验,将具有各向异性协方差矩阵的多元高斯条件分布和一种基于马氏距离的新型损失用于全卷积网络训练,用“纯像元”方法对端元进行建模。将上述关键组件连贯地集成到贝叶斯框架中,并通过设计的期望最大算法解决产生的最大后验MAP(Maximum A Posteriori)问题。该方法探索了高光谱图像中的空间相关性和噪声异质性,性能优异。为避免过度平滑,Xu等(2022)提出了一个新的全局—局部平滑自动编码器(GLA)用于高光谱解混,旨在探索高光谱图像的局部同质性和全局自相似性,GLA网络主要包括两个模块:局部连续条件随机场平滑LCS(Local Continuous conditional random field Smoothing)模块和全局循环平滑GRS(Global Recurrent Smoothing)模块。在LCS模块中,使用一种基于条件随机场的平滑策略来描述局部同质区域内的联合空间—光谱信息,降低了丰度图边界模糊的风险。GRS模块旨在提取全局自相似性信息,通过嵌入递归神经网络RNN(Recurrent Neural Network)来捕获光谱特征空间中的像元关系。该方法提高了丰度估计的准确性,但没有考虑端元变异性的情况。由于仅使用高光谱图像数据进行解混不能准确区分复杂场景中的地物,Han等(2022a)提出了一种基于深度学习与多模态的解混方法(MUNet),MUNet将激光雷达数据的高度差集成到高光谱图像中,利用光探测和测距(LiDAR)数据在压缩和激发SE(Squeeze-and-Excitation)驱动的注意力下的高度差异来指导解混过程,从而提高了解混的准确性。MUNet充分融合了多模态信息,并采用属性剖面AP(Attribute Profile)提取不同目标的几何结构,很好地使用了激光雷达获取的空间信息。Ghosh等(2022)提出了一种基于Transformer的解混方法(DeepTrans-HSU),首先使用卷积编码器将高光谱数据编码,以表示具有较少通道数的辨别特征,其次使用多头自注意力机制来捕获从编码器中导出长距离依赖关系,进而发现全局的特征依赖性,保留了图像中大部分的原始信息,增强了网络的特征提取能力。为了解决基于自动编码器的解混方法严重依赖手动设计,不太适合特定的数据集的问题,Han等(2022b)提出了一种高光谱解混自动神经架构搜索模型(AutoNAS),通过同时考虑通道配置和卷积核来确定最适合实际需求的基于自动编码器的解混网络架构。在AutoNAS中,首先设计了基于高光谱图像的自监督训练机制用于生成超网的训练样本。然后,在训练阶段通过对超网权重应用不同的仿射变换,采用仿射参数共享策略来寻找最佳的通道配置。此外,在获得的通道配置的基础上,将具有额外计算约束的进化算法引入网络中,通过评估超网中不同架构的解混结果来实现灵活的卷积核搜索。该方法能够在保持最佳的解混性能的同时大大降低人工成本。朱治青等(2023)构建了一种深度双约束卷积网络来实现解混(DDCCN)。DDCCN利用卷积网络的优势,协同使用光谱—空间信息学习图像的特征,同时利用高斯平滑计算和分配权重来实现自适应平滑进而优化丰度结果,并且使用了L2,1正则化来防止过拟合且保障丰度的稀疏性,该方法有效地利用空间信息协同光谱信息来提升解混精度。Qi等(2023)为了充分利用高光谱数据的光谱—空间信息,通过光谱分割引入多视角光谱信息,提出了多视角空间—光谱双流网络(MSSS-Net)。MSSS-Net是一个共享解码器的双流深度解混网络,两个自动编码器采用递归神经网络协作利用多视角光谱和空间信息。空间流网络分支提取像元及其邻域的空间特征,而多视角光谱流网络分支则利用像元的多视角光谱信息,并采用一个级联的双向和单向的递归神经网络编码器结构,以学习更深的像元特征。MSSS-Net以SAD作为损失函数,缺乏更有效的重建损失函数,并且由于使用多视角信息,需要更多数据集来评估解混性能。(2)基于“数据—模型”双驱动的解混。为了设计更具可解释性的解混网络结构,一些研究人员开展了数据—模型双驱动的解混研究,利用深度神经网络DNN(Deep Neural Network)从数据中学习先验知识,并将其与基于物理模型的反演算法结合使用进行解混。或将传统优化算法中的一些步骤转换为网络层来辅助解译。为了增强方法的可解释性、降低对大型数据集的依赖。Qian等(2020)受到线性混合模型和迭代收缩阈值算法ISTA(Iterative Soft Thresholding Algorithm)的启发,构建了两种解混网络架构MNNs(Model-inspired Neural Network)。其中MNN-AE(MNN-Autoencoder)用于丰度估计,MNN-BU(MNN-Blind Unmixing)用于盲解混。MNN-AE与MNN-BU都使用小规模的训练集进行训练,把解混作为前馈过程,将迭代过程转移到网络的隐藏层,提高了运行效率,并且可以通过学习提高性能,但该方法将端元编码到网络中,可能会导致端元和丰度间的不兼容,并且该网络只实现了丰度的展开迭代优化过程,没有充分吸收先验知识。Xiong等(2022)基于线性光谱混合模型与LP稀疏约束非负矩阵分解(LPNMF)构建了一种用于高光谱解混的可解释性深度交替神经网络(SNMF-Net),可以弥补MNN-BU方法的不足。SNMF-Net的网络结构与线性谱混合模型和LPNMF的交替优化一致,网络中所有参数和子模块可以与LPNMF的交替优化算法链接,具有基于模型和基于学习的方法的混合优点。该网络整合了解混的先验知识、优化算法和稀疏表示理论,具有更高的可解释性和更强的学习能力,并且对训练样本的要求更少,但该网络没有考虑图像的空间信息。Zhou和Rodrigues(2022)提出了基于交替方向乘数的解混网络结构U-ADMM-BUNet。U-ADMM-BUNet将稀疏回归问题用交替方向乘数法ADMM(Alternating Direction Method of Multipliers)求解,实现了数据与模型对解混过程的共同引导,还提出了新的复合损失函数进行训练以提高网络性能。在训练集有限的情况下,该方法仍然可以实现更快的收敛,具备更好的性能。(3)基于“传统—深度”相结合的解混。由于高光谱图像矩阵中的数值具有明确的物理意义,解混方法在丰度估计步骤中常常需要施加非负性约束,非负矩阵分解NMF(Nonnegative Matrix Factorization)可以在非负性约束下保障丰度的非负性,在解混中得到广泛应用。为了缓解大多数基于NMF的方法只考虑单层信息,而忽略了包含隐藏信息的层次特征的限制。Fang等(2018)提出了一种用于解混的L1稀疏约束深度非负矩阵分解(L1-DNMF)方法,该方法将NMF展开为多层来设计深度NMF(DNMF)结构,在每一层中,丰度矩阵直接分解为下一层的丰度矩阵和端元矩阵,并向每层添加稀疏约束,还提出了一种替代的更新方法来进一步微调网络,L1-DNMF比单层NMF分解更适合复杂和高度混合的高光谱数据。Feng等(2018)提出了一种新的稀疏约束全变分深度NMF技术用于高光谱解混(SDNMF-TV)。SDNMF-TV将NMF算法扩展到深度NMF模型。该模型分为预训练阶段和微调阶段,其中预训练阶段对所有因子进行逐层预训练,微调阶段用于减小总重构误差。其次,对丰度矩阵施加L1,2约束来满足稀疏性、使用全变差TV(Total Variation)正则化器来提高丰度的分段平滑性。但该方法不适用于含有混合噪声(即稀疏噪声和高斯噪声)的高光谱数据。Li等(2022)提出了一种自监督鲁棒深度矩阵分解模型(SSRDMF)。SSRDMF在编码器中使用多层非线性结构将观测到的高光谱数据直接映射到相应的丰度,接着由解码器解码丰度,用连接权来估算端元。该方法通过对稀疏噪声进行显式建模,降低了高斯噪声和稀疏噪声的影响。此外,还引入了自监督约束来探索光谱信息,有利于进一步提高解混性能。Feng等(2022)提出了一种基于协熵的类自编码器非负矩阵分解(CANMF)和全变分(CANMF-TV)方法。首先利用类似自编码器的NMF进行高光谱解混,它集成了解码器和编码器。引入熵致度量CIM(Correntropy-Induced Metric)来构建CANMF模型,进而有效处理噪声。此外,在CANMF模型中加入TV正则化器,通过提高丰度的分段平滑性来保留空间上下文信息,从而提高解混性能。Rasti等(2022c)将高光谱数据的几何信息考虑在内,提出了基于高深度最小单行体的卷积解混网络。MiSiCNet网络结合了高光谱数据中的光谱信息、空间信息和几何信息,通过在端元提取的损失函数中加入最小单纯形体积惩罚项来利用几何信息,使用卷积滤波器合并空间信息,并隐式地应用了丰度的先验。该方法对噪声、纯像元缺失的情况具有鲁棒性。受相邻混合像元间共享相似稀疏丰度的启发,Cui等(2023)提出了一种用于盲解混的群稀疏正则化展开(GSUU)网络,它展开了正则化矩阵分解目标函数。具体而言,GSUU网络由两个交替迭代工作的模块组成,分别是用于提取端元的A模块和用于丰度估计的S模块,根据传统迭代NMF方法的优化和更新规则设计网络结构和学习过程。因此,GSUU结合了基于模型和基于学习的优点,具有较高的效率和可解释性。此外,GSUU中引入了空间群稀疏性先验,以联合建模端元的空间相关性和稀疏性,但该方法需要获取端元数量作为先验信息。3.1.2 线性半监督解混方法半监督方法通过从给定的光谱库中选择适当的端元来估计丰度,也被称为稀疏解混(Sparse Unmixing)。稀疏解混需要在过完备光谱库的基础上进行,要求光谱库里样本总数量大于波段数。由于大部分稀疏解混方法没有考虑ASC约束,(Rasti等,2022a)提出了第一个基于深度学习的稀疏解混方法(SUnCNN),它使用深度卷积自动编码器生成依赖于光谱库的丰度。SUnCNN将稀疏解混重新表述为对深度网络参数的优化,并将输入映射到稀疏最优丰度,此外,该方法使用Softmax激活层保障ASC约束。SUnCNN比传统稀疏解混性能优越,然而,其卷积层仅捕获较小局部区域内的空间—光谱联合信息,未能提取更有价值的全局特征。为了提高光谱空间信息的有效利用,Kong等(2022)提出了一种基于全局谱空间特征提取的半监督解混网络(GSSFLN)来利用整个图像的光谱空间信息,编码器通过双分支CNN和光谱空间残差块来获取深度联合光谱空间信息,双分支网络分别沿空间维和光谱维进行卷积运算,实现全局空间信息和光谱信息的分离提取,完成从高维光谱数据到潜在丰度表示的映射,然后,GSSFLN将分离的光谱空间特征融合到联合的光谱空间信息中。解码器的权重固定了一个已知的光谱库来完成高光谱图像的重构。该方法考虑了全局空间信息,性能优越。Shao等(2023)提出了一种式隐式变量迭代解混网络(IVIU-Net)用来解决参数初始化对解混方法的影响。通过在稀疏解混算法中引入可学习参数来提高模型的解混性能和自适应能力,然后将特定的空间卷积模块集成到网络中,以提高潜在丰度的平滑性。此网络的基础模型相对简单,对噪声不具备鲁棒性,而且限制输入的高光谱图像尺寸,使用范围受到限制。为了解决SUnCNN存在的问题,Kong等(2023)提出了一种结合CNN和Transformer进行解混的窗口Transformer卷积自编码器(WiTCAE)。WiTCAE首先利用Transformer编码器中基于窗口的像素级多头自注意(WP-MSA)机制来探索全局信息,然后使用3个连续的CNN进一步联合提取空间光谱特征,并将通道数调整为光谱库中包含的端元数。此外,CNN建立了窗口之间的联系,平滑了由于窗口分割造成的不连续,并在特征提取后输出丰度估计的结果。解码器是一个具有固定权重和零偏差的卷积层,用于遵循稀疏解混的线性解混模型。3.1.3 线性监督解混方法深度学习通常包含大量参数,若将端元作为已知条件,可以大幅度减轻学习负担,并且提升网络预测的准确性。基于此,一些研究人员采用了有监督的训练方式来完成解混任务。Zhang等(2018)中提出一种基于卷积神经网络的线性监督解混方法。首次尝试使用深度CNN来解决解混问题,所提出的方法使用由两部分组成的CNN架构:第一部分用于提取特征,第二部分对提取的特征进行映射来获得丰度。文中还提出了基于像素和立方体的CNN,有效解决了传统解混方法中的丰度空间相关性问题,并且使用Dropout层来避免过拟合。但该方法需要大量的难以获取的标记样本,具有局限性。Khajehrayeni和Ghassemian(2020)提出了基于深度卷积自编码器的解混方法(DCAE),包括:基于像元的DCAE和基于立方的DCAE。前者仅利用光谱信息估计丰度,后者则综合利用光谱和空间信息,将解码器的权重设置为端元,可以在监督场景中解决问题。此外,受视觉几何网络VGG(Visual Geometry Group)的启发,在所提出的网络的所有层中都使用了大小为3的卷积核,进一步提升了丰度估算的准确性。Khajehrayeni和Ghassemian(2021)提出了一种适用于监督场景的自编码器网络。将初始编码器权重设置为端元,通过全约束最小二乘法进行丰度初始化。采用稀疏自动编码器实现有监督的解混任务,该网络的设计考虑了误差的敏感性和尺度不变性,并对丰度施加了稀疏性约束,在丰度估计方面有了很大的改进,但端元信息需要事先给定。Wan等(2021)提出了一种基于一维CNN的监督解混架构。新开发的基于像元的CNN模型是一个端到端框架,具有简单快速的处理过程,可以通过训练样本来学习从混合光谱到丰度向量的映射过程,从而提高解混精度。使用均方根误差RMSE(Root Mean Square Error)和L1正则化作为网络的损失函数,RMSE用于测量预测丰度与真实丰度之间的偏差,L1正则化用于约束预测丰度的稀疏性。此外,该方法还能去除光谱中的冗余信息,但需要大量的标记样本,有局限性。为了解决避免手动建立正则化器以及复杂的正则化器在优化时带来的影响,Zhao等(2022c)提出了一个即插即用(Plug-And-Play)的降噪模块用于高光谱解混。Plug-And-Play使用乘法器的交替方向法ADMM将优化问题分解为两个迭代子问题。一个是依赖于前向模型的正则优化问题,另一个是与先验模型相关的接近算子,可看作是图像去噪问题。该框架是灵活可扩展,它允许使用广泛的降噪器取代以前的模型来挖掘先验,但无法自动选择参数。3.2 基于深度学习的非线性解混现阶段,现有基于深度学习的非线性解混方法主要包含非监督解混和监督解混两类。3.2.1 非线性非监督解混方法与线性非监督解混方法的归类方式类似,非监督解混也可以细化为基于自动编码器的解混方法、基于“数据—模型”双驱动的解混方法、以及基于“传统—深度”相结合的解混方法3类。(1)自动编码器构架下的解混方法。Wang等(2019)提出了一种基于深度自编码器网络的盲非线性高光谱解混方法(NAE)。NAE中包含了预训练过程。在NAE的框架中,编码器的作用是将高光谱数据压缩为与丰度向量相关联的低维向量,然后由解码器解压缩编码向量来重构输入数据。训练过程中,解码器线性分量的权重可以估算出端元,隐藏层可以估算出丰度,不需要额外的训练数据。Zhao等(2021a)提出了一种由线性混合分量和可加性非线性混合分量组成的通用光谱混合模型及其相应的解混方法。在该方法中,端元在非线性混合成分中的重要性根据其相关的丰度进行加权,通过自编码器网络从数据本身学习非线性混合成分的固有非线性。解码器将非线性相互作用施加在丰度加权的端元上,最终可以从网络特定层的输出和权重中提取端元和丰度,还施加了额外的正则化来增强解混性能。虽然该方法性能优越,但可以通过考虑图像的上下文信息和端元变异性进一步提高性能。Su等(2021)提出了基于多任务联合自编码器的解混方法(DMBU)。DMBU采用MTL框架下进行解混,该方法同时执行两个相互作用的任务,两个任务别对应非线性模型的线性部分和非线性部分。在第一个任务中,DMBU使用深度自编码器线性估计端元及其相关的丰度。在第二个任务中,DMBU使用另一个深度自编码器学习散射作用影响,且第二个任务的迭代学习需要第一个任务去激活。两个深度自动编码器在MTL框架下进行训练,并以相对重建误差作为停止准则。该方法不需要任何先验知识,可以准确建模二阶散射相互作用的影响,但还需要考虑真实场景中的空间相关性和端元变异性来进一步增强方法的实际利用价值。韩竹等(2020)提了一种非监督的增强型非线性自编码网络方法(ENAE),ENAE实现步骤主要包括两部分:第一部分用于网络结构的初始化,确定编码器的节点数以及端元和丰度的初值。第二部分引入了端元正则项来减弱端元间的共线性,并通过盲信号分离来获取端元和丰度。ENAE引入端元正则化约束减弱共线性效应,从而提高高光谱图像混合像元分解精度。然而,该方法只显示了基本的自编码非线性网络的搭建,没有进行功能扩展,且参数调整较复杂。Zhao等(2022a)提出了一种基于3D-CNN的解混方法,充分利用了光谱—空间信息,并处理了端元变异性。该方法使用自动编码器构架,其编码器利用3D卷积获取空间相关性特征,其解码器采用扰动线性混合模型PLMM(Perturbed Linear Mixture Model)来显式地解释端元变异性。该方法通过变分贝叶斯学习以导出端元的概率分布,对编码器网络使用结构化稀疏正则化器来避免过拟合,并使用L2,1范数保障丰度的稀疏性。虽然该网络考虑了端元变异性,具备优越的性能,但开发更为复杂的深层架构或许可以更好的对端元变异性进行建模。Chen等(2023a)提出了一种用于多次反射的多任务自动编码模型(MAHUM),堆叠多个模型来处理复杂地形的各种反射,可以提高算法在复杂环境中的鲁棒性。该框架使用基于3D-CNN的网络共同学习光谱空间先验,并利用其他解混方法的优势来适应不同的像元。所提出的方法可以定量评估数据的每片区域,提高了算法的可解释性。但该方法没有合理的解释非线性部分,对多重散射的研究不足,权重计算也需要简化。(2)基于“数据—模型”双驱动的解混。Zhao等(2021b)提出了基于长短期记忆网络的非线性解混方法(LSTM-DNN)。利用长短期记忆网络LSTM(Long Short-Term Memory)的特点来控制输出。采用RNN对高光谱图像进行序列数据处理,进而捕获高光谱数据的光谱相关性。在学习过程中引入了注意力机制来选择性地关注输入的部分,并将输入序列映射到所需的维度。此外,引入了TV正则化来增强丰度的平滑性,但该网络没有充分利用空间信息。Shahid和Schizas(2022)提出了一种与核化层相结合的自动编码器网络,将混合像元映射到更高维空间中以实现解混,利用k均值聚类来估计端元,并使用径向基函数RBF(Radial Basis Function)来测量核化空间中的距离进而估计丰度。该方法能够根据不同的非线性混合模型准确地重建混合像元,网络结构灵活,通用性强。Zhao等(2022b)提出了一种由线性混合分量和可加性非线性混合分量组成的通用光谱混合模型及解混方法,适用于非线性未知场景的解混,该方法通过丰度加权对光谱非线性混合进行建模。采用3D卷积来捕获相邻像元的光谱空间相关性特征。在解码器中,将非线性施加到由丰度加权的端元上,增强了解混的准确性,此方法对噪声具有鲁棒性且具有泛化能力,但没有集成图像的全局信息。Hong等(2022)提出基于通用自监督双流孪生的深度解混网络(EGU-Net)来提高端元的提取能力。在EGU-Net中,一个网络流以分层方式从高光谱场景中获得端元的属性,并通过参数共享策略将信息传输到另一个解混网络流中。EGU-Net不仅考虑了光谱维的信息,还利用了空间维的相关性特征来提升解混效果,使得解混结果更精确更具可解释性,该网络可以通过更先进的重建损失函数来进行优化,并且可以借助多模态数据开发更强大的网络框架。(3)基于“传统—深度”相结合的解混。由于盲线性解混方法不适合应用于单散射反照率的情况(其反照率空间中的最小结构误差不一定是反射率空间中最小的),Rasti等(2022b)提出了一种使用Hapke模型和卷积神经网络非线性的非监督解混方法(HapkeCNN)。HapkeCNN把传统的Hapke非线性解混模型与CNN模型相结合来实现解混,对噪声具有鲁棒性。采用单散射反照率的线性混合假设来估计端元和丰度,并提出了一个新型损失函数,该函数包含3项内容,分别是用于非线性估算的Hapke模型的二次项;用于保障反射率在合理范围的重建误差项;以及保障端元可靠性的最小体积项。3.2.2 非线性监督解混方法为了更精细的解译亚像元信息,可以通过人工参与把端元光谱作为已知条件。这种方式虽然减弱了解混的自动化程度,但进一步保障了端元的准确性。此外,由于把原本作为变量求解的端元变为了常量,可以把更多的关注放在对非线性光谱混合的参数求解上,最终得到更接近实际情况的解混结果。Yang和Wang(2018)提出了一种基于波段的非线性解混方法(BNLSU)。该方法克服了不同波段具有相同混合模式的隐式假设的缺点,通过将多线性光谱混合模型的概率参数扩展为向量形式,建立相关的非线性分量,扩展模型中可以包含任意阶的多次散射。此外,BNLSU加入丰度的稀疏性、概率参数的平滑性两个约束来控制优化。该方法准确地反映了每个光谱的非线性变化,计算成本较低,但对噪声的鲁棒性较低。为了利用像元光谱的底层流形结构,提高丰度和非线性概率参数估计的准确性。Li等(2019)提出了一种基于多线性混合模型的图正则化高光谱解混方法(G-MLM)。G-MLM利用数据中嵌入的图结构引入拉普拉斯图正则化器对丰度和非线性概率参数进行正则化,在丰度上也施加了稀疏约束。采用ADMM算法对优化问题进行求解,并采用超像素分割策略降低优化难度,提高了算法效率,但该方法没有联合利用图和空间结构进行模型性能增强。Koirala等(2019)提出了一种新的有监督非线性解混方法。先从可用的训练数据中获取端元及其丰度的初始值生成线性混合光谱。然后,使用回归技术学习真实的训练光谱与生成的光谱之间的映射关系,并给出了3种不同的映射方法,分别是基于人工神经网络的映射、基于高斯过程的映射,和核岭回归的映射。最后,利用学习到的回归模型对未知光谱进行映射后得到端元,用全约束最小二乘法计算出丰度,该方法通过一定的扩展可以处理端元变异性的情况。Koirala等(2021)提出了一种有监督的方法GSU来分解含有端元变异性的矿物粉末混合物。GSU通过计算混合物与端元之间的测地线距离来估计丰度。然后利用学习从获得的测地线丰度到遵循线性模型的光谱的映射,使用高斯过程进行训练得到丰度。该方法独立于模型,可以处理端元变异性,然而仅适用于二元混合物,不适合多元混合物。受到生成对抗网络GAN(Generative Adversarial Network)启发,Tang等(2020)提出了一种数据驱动、无模型的监督解混方法(CGU),利用GAN中使用的周期一致性损失与传统方法中使用的重建损失函数之间的联系来辅助建模。循环一致性损失使得解混过程的学习只依赖于训练数据,而不需要显式的混合模型。CGU网络具有稳健性和泛化能力,但依赖已知的先验。Wang等(2020)基于广义双线性模型GBM(General Bilinear Model)和两种先进的去噪器BM3D、DnCNN分别提出了两种新的非线性解混方法PnP-NTF-BM3D和PnP-NTF-DnCNN。该框架利用即插即用技术,使用两种去噪器来加强稳定性并获取丰度的空间相关性特征,提升了解混的准确性,但当端元数量增加时,该方法具有局限性。图4采用树状关系网,对当前基于深度学习的解混方法进行了归类,并罗列了各个类别中近年来一些常见的基于深度学习的解混方法。表1列举了目前各个深度学习解混方法的属性关系、初始化条件及其概要描述。表2整理了实现深度学习解混的代码下载地址,并按照光谱混合模型进行了划分。10.11834/jrs.20243165.F004图4基于深度学习的高光谱解混方法分类(为方便起见,对于原文没有正式名称的解混方法,本文统一按照第一作者加发表年份命名)Fig. 4Classification of hyperspectral unmixing methods based on deep learning10.11834/jrs.20243165.T001表1基于深度学习的解混方法的属性关系及初始化条件Table 1Attributes and initializations of deep learning-based unmixing methods方法名称学习方式涉及光谱变异性初始化方法名称学习方式涉及光谱变异性初始化mDAU非监督否VCA+FCLSDeep-Gun非监督是FCLSSIDAEU非监督否VCA+FCLSPGMSU非监督是VCASNSA非监督否VCA+ FCLS(Ozkan等,2019b)非监督是光谱库EndNet非监督否VCA+ FCLSSDNMF-TV非监督否VCA+FCLS(Zhang等,2018)监督否VCASSRDMF非监督否VCAuDas非监督否VCA+FCLSCANMF-TV非监督否VCA+FCLSDAEN非监督否VCA+FCLSGSSFLN半监督否光谱库MTAEU非监督是随机(Khajehrayeni和Ghassemian,2020)监督否VCAOSPAEU非监督否DMaxD(Khajechrayeni和Ghassemian,2021)监督否VCACNNAEU非监督否随机(Wan等,2021)监督否光谱库CyCU-Net非监督否VCA(Zhao等,2022c)监督否FCLSUnDIP非监督否SiVMNAE非监督否VCAJMNet非监督否随机(Zhao等,2021a)非监督否VCATANet非监督否Region-based VCADMBU非监督否VCA+FCLSGLA非监督否VCA+FCLSENAE非监督否VCA+FCLSAAENet非监督否VCA+FCLSLSTM-DNN非监督是VCASSCU-Net非监督否VCA+FCLS(Shahid和Schizas,2022)非监督否K-meansBCUN非监督否VCA(Zhao等,2022b)非监督否VCAMiSiCNet非监督否SiVMHapkeCNN非监督否VCA+FCLSMUNet非监督否VCAEGU-Net非监督是VCADeepTrans非监督否VCA(Zhao等,2022a)非监督是VCAMSSS-Net非监督否VCAPnP-NTF-DnCNN\\BM3D监督否FCLSDDCCN非监督否VCABNLSU监督否VCAMNN-BU非监督否VCA+FCLSG-MLM监督否VCA+N-FindrU-ADMM-BUNet非监督否VCA(Koirala等,2019)监督是光谱库IVIU-Net非监督否随机GSU监督是光谱库SNMF-Net非监督否VCA+FCLSCGU监督否光谱库GSUU非监督否VCA+FCLSL1-DNMF非监督否VCA+FCLSMAHUM:非监督否VCA+FCLSAutoNAS非监督是VCASUnCNN半监督否光谱库WiTCAE半监督否光谱库注: 初始化方法中常出现的顶点成分分析VCA (Vertex Component Analysis)、全约束性最小二乘法FCLS (Full Constrained Least Square)分别为传统的经典端元提取算法和丰度估计算法,同时也是目前最常用的初始化方法。10.11834/jrs.20243165.T002表2基于深度学习的解混代码链接地址Table 2Download links of unmixing codes分类依据算法简称源代码链接线性mDAU (Guo等,2015)https://github.com/burknipalsson/hu_autoencoders备注:非监督方法,结合边缘去噪自编码器和非负稀疏自编码器进行解混SIDAEU (Palsson等,2017)https://github.com/burknipalsson/hu_autoencoders备注:非监督方法,采用多隐层编码器、自适应阈值进行解混DAEU (Palsson等,2018)https://github.com/burknipalsson/hu_autoencoders备注:SIDAEU的扩展版,根据网络的目标函数优化自适应阈值EndNet (Ozkan等,2019a)https://github.com/burknipalsson/hu_autoencoders备注:非监督方法,采用稀疏自动编码器,利用稀疏性和非线性uDas (Qu和Qi,2019)https://github.com/aicip/uDAS备注:非监督方法,使用稀疏解耦去噪自编码器、去噪约束DAEN (Su等,2019)https://github.com/yuanchaosu/TGRS-daen备注:非监督方法,结合堆叠自编码器和变分自编码器进行解混MTAEU (Palsson等,2019)https://github.com/burknipalsson/hu_autoencoders备注:非监督方法,采用多个自动编码器并行训练进行解混OSPAEU (Dou等,2020)https://github.com/burknipalsson/hu_autoencoders备注:非监督方法,基于正交子空间投影的稀疏先验假设探索丰度正交性CNNAEU (Palsson等,2021)https://github.com/burknipalsson/hu_autoencoders备注:非监督方法,基于卷积神经网络,利用空间和光谱结构进行解混CyCU-Net (Gao等,2022)https://github.com/hanzhu97702/IEEE_TGRS_CyCU-Net备注:非监督方法,采用级联自编码主导循环一致性UnDIP (Rasti等,2022d)https://github.com/BehnoodRasti/UnDIP备注:非监督方法,利用深度图像先验,一种协同式解混框架TANet (Jin等,2023)https://github.com/meixiaoguang/TANet备注:非监督方法,采用双流自动编码器进行解混,两个自编码器共享参数AAENet (Jin等,2023)https://github.com/meixiaoguang/AAENet备注:非监督方法,基于对抗自动编码器,采用超像素分隔作为预处理SNMF-Net (Xiong等,2022)http://www.xiongfuli.com/cv/code/SNMF.zip备注:非监督方法,基于Lp稀疏约束非负矩阵分解构建网络BCUN (Fang等,2022)https://github.com/yfang1201/BCUN-for-HSI-unmixing备注:非监督方法,基于贝叶斯全卷积网络、光谱观测条件分布假设进行解混GLA (Xu等,2022)https://levir.buaa.edu.cn/code/GLA_code.rar备注:非监督方法,使用全局-局部平滑自动编码器进行解混MiSiCNet (Rasti等,2022c)https://github.com/BehnoodRasti/MiSiCNet备注:非监督方法,基于高深度最小单行体卷积网络,利用空谱和几何信息MUNet (Han等,2022a)https://github.com/hanzhu97702/IEEE_TGRS_MUNet备注:非监督方法,基于深度学习与多模态的解混方法,利用雷达信息DeepTrans (Ghosh等,2022)https://github.com/preetam22n/DeepTrans-HSU备注:非监督方法,结合 Transformer网络和卷积编码器进行解混SUnCNN (Rasti等,2022a)https://github.com/BehnoodRasti/SUnCNN备注:半监督方法,基于深度卷积自动编码器,使用Softmax保障ASC约束PGMSU (Shi等,2022)https://github.com/shuaikaishi/PGMSU备注:非监督方法,利用概率生成模型来解决端元变异性非线性NAE (Wang等,2019)https://github.com/zhaomin0101/NAE备注:非监督方法,基于深度自编码器网络进行解混DMBU (Su等,2021)https://github.com/yuanchaosu/TGRS-dmbu备注:非监督方法,利用多任务联合自动编码器完成解混Nonlinear-Unmixing-Autoencoder (Shahid和Schizas,2022)https://github.com/KaziTShahid/Nonlinear-Hyperspectral-Unmixing-Autoencoder备注:非监督方法,使用一种与核化层结合的自动编码器进行解混EGU-Net (Hong等,2022)https://github.com/danfenghong/IEEE_TNNLS_EGU-Net备注:非监督方法,一种双流孪生的深度解混网洛,充分利用光谱-空间信息3DCNN (Zhao等,2022b)https://github.com/zhaomin0101/3DCNN-HU备注:非监督方法,采用3D卷积来捕获相邻像元的光谱空间相关性特征HapkeCNN (Rasti等,2022b)https://github.com/BehnoodRasti/HapkeCNN备注:非监督方法,将Hapke非线性解混模型与CNN模型相结合来实现解混此外,通常使用模拟高光谱数据集和真实高光谱数据集来验证高光谱解混方法的有效性和优越性,以下介绍一些常用的高光谱真实数据集。Samson高光谱数据集,其原始数据的图像像元大小为95×95像素。该图像的光谱范围覆盖从401—889 nm,包含了156个波段,其光谱分辨率高达3.13 nm。此数据中包括了:土壤、树木和水体3种端元。Jasper Ridge数据集是由美国加利福尼亚州中部的Jasper Ridge山脊上的机载可见光/红外成像光谱仪生成的。该数据包含512×614个像素,224个波段,每个波段覆盖的波长范围从0.38—2.5 μm,影像包含植被、水体、土壤和道路4种地物。Urban数据集也是高光谱解混研究中使用最广泛的高光谱数据之一,由Hydice传感器于1995年10月在美国德克萨斯州采集。这幅图像包含307×307个像素210个波段,其波长范围为0.4—2.5 μm,空间分辨率和光谱分辨率分别为2 m和10 nm。影像包含柏油路、草地、树木和屋顶4种地物。4 结论至此,本篇论文完成了对现阶段基于深度学习的解混方法的介绍,并按照光谱混合模型与各个方法的学习方式进行了归类。深度学习在隐藏信息挖掘、特征表达、方面具有显著优势,因而逐渐被广泛用于构建解混方法。也推动着解混研究朝着多层级、模块化、可插拔方向发展。在处理混合像元问题时,端元变异性也是解混过程经常遇到的实际问题。在复杂场景中,光谱信号是随着图像空间分辨率以及像元分类体系的不同而变化的,并不是一个固定的值,这类问题被称为端元变异性问题,忽略端元变异性的问题有时可能导致解混的结果严重偏离实际情况(Zhuang等,2015)。因此,在算法设计和使用过程中也需要注意。现阶段,基于深度学习的解混方法在解混精度和性能上已经取得了极大的提升,也预示着深度学习在混合像元分解中将继续发挥重要作用。然而,高光谱遥感数据的质量仍然难以避免噪声、光照变化、地物阴影等外在条件的影响,这些外部影响存在严重削弱了图像的空间和光学特征,对现阶段的高光谱遥感数据解译造成不小的困难。因此,如何更深入的挖掘空间相关性特征来提升网络预测能力、以及如何避免或减弱数据污染对混合像元分解的干扰,是实现地物信息精细化提取的实际需求,对实现精细化对地观测意义重大,也是未来混合像元分解研究需要关注的重要问题。如今,解混技术不仅被用于处理图像中的混合像元问题,而且通过解混技术得到的地物丰度图也能反映出地物的分布情况。相对于传统像元级的“硬”分类而言,这种用地物含量来反映地物分布情况的亚像元级“软”分类有更多的适用场景。在农作物产量评估、稀疏植被变化监测、植被共生关系评估等一些难以用硬分类准确反映地物分布情况的问题上,软分类技术可以有效解决此类问题。在深度学习的推动下,未来将出现更多泛化性好、准确性强的解混方法,解混技术的进步也将为农业、生态等其他重要领域提供更多可靠的工具,对遥感技术朝着多元化、定量化方向发展起到积极的推动作用。
使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,
确定继续浏览么?
复制成功,请在其他浏览器进行阅读
复制地址链接在其他浏览器打开
继续浏览