“[{"title":"光学遥感图像的小样本目标检测","chapter":"1　引言","content":"遥感图像目标检测是为了确定遥感图像中目标物体的位置并正确识别目标对象的类别（刘小波 等，2021；姚艳清 等，2021；周培诚 等，2021），如检测遥感图像中的船只（姚红革 等，2020；于野 等，2020）；对遥感图像进行目标检测具有广阔的应用前景，在交通安全、应急救援等方面都具有重要作用（姚群力 等，2019）。然而，在军事等某些特殊场景下，遥感图像采集成本高，无法拍摄大量图像，难以构建大规模的遥感图像数据集，导致模型的检测效果往往不尽如人意。基于上述分析，针对遥感图像的小样本目标检测的研究是一个非常具有前景和价值，十分值得探索的方向。小样本学习通常有C个类别，每类具有K个样本，总共C×K个样本，要求模型从这C×K个样本数据中学习识别目标的能力，也被称为C-way K-shot问题，多数研究聚焦在图像分类任务中。小样本目标检测任务，相比单纯的小样本分类任务更为复杂和困难，需要标识出目标的位置信息，是目标检测和小样本学习的融合研究，一般会联合小样本学习算法与训练过程的策略，配合精心构建的目标检测网络，从数据、特征或优化策略等多个方向引导，使得模型能够在只有少量有标注的训练数据中更好地适应于特定任务的检测。现有的小样本目标检测方法基于模型结构、度量学习、数据增强等方向开展研究。基于模型结构的方法一般是基于已有的检测模型，设计出新的模块用于引入额外的信息，进而减少对样本数据集的依赖，实现检测性能的提升。Fan等（2020）提出了一种新的注意力网络，通过权重共享充分学习目标间的匹配关系以及相同类别的通用知识，使得区域建议网络能更好地过滤信息。Yang等（2020）设计出一个上下文转换器（context-transformer）模块，能够发现基类和新类的关联关系，借助上下文之间的关联改善目标分类错误的情况。基于度量学习的方法是提取到目标的特征，将其与支持图像特征转换至同一个嵌入空间，然后计算距离或相似度以完成对不同类别目标的检测（张振伟 等，2022）。此类方法主要聚焦于小样本目标检测的分类部分，用于类别相似度度量。Zhang等（2019）利用对比网络解决小样本目标检测任务中的度量问题，训练好的模型无需调整参数就可直接对新类进行目标检测。Karlinsky等（2019）将模态的中心作为类的表示向量，提出了一种基于数据多模态的度量学习方法，可以训练学习到网络参数。基于数据增强的方法是基于已有的少量样本，设计算法进行变换，通过直接增加训练样本的数量或间接增强特征，从而增加模型的输入信息，扩充原有小样本数据集，生成一个更大的数据集，降低模型的过拟合。Zhang和Wang（2021）为了解决训练数据缺乏变化的问题，设计出一种幻觉器网络，该网络学习在特征空间中生成额外的、对训练有帮助的样本，产生了显著的性能提升。Zhang等（2020）提出了一种冗余RPN的机制，提出更多的感兴趣区域，用以解决小样本条件下的建议忽略效应。目前针对小样本背景下目标检测的研究取得了一定成果，但仍然存在少量样本导致卷积层不能有效提取图像的特征（Chen等，2019），模型对小样本类别的目标定位能力弱（Zhang等，2020），以及分类器不能有效区分不同类别目标（Sun等，2021）等问题。因此，本文针对遥感图像小样本目标检测任务中存在的对小样本类别的目标定位能力弱、模型特征提取不充足以及不同类别目标区分度不高等问题，提出了一种基于协同注意力模块和对比学习分支的小样本目标检测算法。该方法基于改进模型对小样本类别目标的定位及检测能力的研究目的，通过协同注意力的指导与对比损失的区分，提升准确性能与分类准确率。","result":"介绍了遥感图像目标检测的重要性和应用前景，指出了在特殊场景下由于图像采集成本高、数据量少导致的检测效果不佳问题。小样本学习在C-way K-shot问题中的应用，以及小样本目标检测任务的复杂性和挑战。现有研究主要从模型结构、度量学习和数据增强三个方面进行探索。模型结构方法通过设计新模块引入额外信息，度量学习方法通过特征嵌入空间的相似度计算进行分类，数据增强方法通过样本变换增加输入信息。然而，现有方法仍存在特征提取不足、目标定位能力弱和分类器区分度不高等问题。针对这些问题，本文提出了一种基于协同注意力模块和对比学习分支的算法，旨在提升小样本类别目标的定位和检测能力，提高准确性能和分类准确率。","language":"zh"},{"title":"光学遥感图像的小样本目标检测","chapter":"2　研究方法","content":"本文在两阶段微调方法TFA（Two-stage Fine-tuning Approach）的基础上进行改进，分为基础训练阶段和小样本微调阶段。首先对训练样本进行数据增强，然后在特征提取网络中引入协同注意力模块，提升网络对目标的敏感性；在检测阶段加入设计的对比学习分支，配合联合训练策略，通过反向传播增大类间距离，提升分类准确性。2.1　数据增强小样本目标检测任务的关键问题是样本数量不足，过少的训练数据会使得网络模型训练不稳定，过拟合严重。基于此，本文通过传统数据增强和Mosaic数据增强两种方式对样本数据集进行增强。2.1.1　传统数据增强本文采用的传统数据增强方式是在图像中添加随机噪声，在实际场景中，对图像进行采集会受到环境的影响而产生噪声，会造成图像清晰度降低，局部区域亮度变高。在深度学习中，训练时往往会在输入数据中加入高斯噪声，以提高模型的鲁棒性和泛化能力，详见图1。通过向输入数据添加噪声，模型被迫学习对输入中的微小变化具有鲁棒性的特征，这可以助其在新的、看不见的数据上表现更好。本文在微调阶段的制作的小样本数据集中加入高斯噪声，以提高模型的泛化能力。图1加入高斯噪声前、后效果对比Fig. 1Comparison of the effect before and after adding Gaussian noise2.1.2　Mosaic数据增强除了对小样本数据集进行传统的数据增强外，为了进一步扩充数据集，本文还对训练样本进行了Mosaic数据增强。而Mosaic数据增强方法的主要思想是将4张图片进行随机裁剪，再拼接到一张图上作为训练数据，可以丰富图片的背景，进而扩充了目标周围的语义信息。此外，在使用 Mosaic图像增强后的数据进行模型训练时，可以一次计算4张图片的信息，实现了训练时间成本的降低、检测精度的提高，增强了模型的泛化能力和实时性能。使用Mosaic方法进行数据增强的步骤如下：首先从数据集中每次随机读取4张图片，然后分别对四张图片进行翻转（对原始图片进行左右的翻转）、缩放（对原始图片进行大小的缩放）、色域变化（对原始图片的明亮度、饱和度、色调进行改变）等操作，进行图片的组合和框的组合，将4张图像固定的区域截取下来，然后将其拼接起来，拼接成一张新的图像，新的图像上含有标注信息等一系列的内容。通过传统的与Mosaic数据增强对小样本数据集进行扩充，生成新的样本图像，能一定程度上缓解小样本条件下，深度学习目标检测模型的过拟合与数据稀疏的问题。2.2　协同注意力模块设计在小样本目标检测任务中，常规的深度学习模型在小样本数据集上特征提取能力弱，无法获得充足的有效信息，使得对小样本类别目标的定位效果较差，遥感图像复杂的背景信息干扰加剧了这个问题。本文设计出一个协同注意力模块，包括背景衰减注意力和空间感知注意力，能够从充足的基类数据集中提取与目标定位相关的注意力，然后应用到微调阶段中，赋予特征点在多个维度上的不同权重，协助模型更好地实现对小样本遥感图像的目标检测。背景衰减注意力结构如图2。图2背景衰减注意力结构Fig. 2Background attenuation attention structure该过程可以表述为 （1）表示原有特征图Y上第i点的特征向量；Ω表示空间点的集合，表示线性可学习矩阵。然后将计算出的结果与原有特征图进行加权，得到特征增强后的特征图。该过程可以表示为 (2)式中，为常数超参数。经过背景衰减模块，能够将特征图的原始信号沿通道维度与重要性得分对齐，与目标相关的区域可以增强或保持特征，相反，不相关区域的信号，在加权后会变得模糊，相当于信号的一种叠加，能够去除特征图中无关的背景噪声，达到突出目标的有效特征，抑制无关特征的效果。空间感知注意力结构见图3。图3空间感知注意力结构Fig. 3Spatial aware attention structure首先将输入的特征图经过两个学习的权重矩阵处理为嵌入向量，是原始特征通道数C的四分之一。计算过程表示如式（3）所示。 (3)特征图上各部分的关联性得分由式（4）计算而来： (4)式中，，为所有像素的平均嵌入值，然后在空间维度上执行softmax函数σ。除了考虑特征图与自身的相关性，关注还应该基于图像本身，因此，空间感知注意力函数计算公式如下： (5)式中，为常系数，。此时，的输出形状为HW×HW，代表基于背景衰减注意力处理后特征图（HW）的每个空间位置的多个注意力图（HW）。因此，位置感知向量可以由下式得到： (6)式中，Ω为特征图的所有像素。由式（6）可知，Z的所有向量根据每个像素位置i自适应加权并聚合为一个向量。2.3　对比学习分支设计检测器把小样本目标误分类成了易混淆的基类目标才是导致小样本精度下降的主要原因（Sun等，2021）。本文加入一个对比学习损失函数，通过与交叉熵损失函数一起作用，用于引导模型学习增强不同类别间的差异，更好地对目标进行分类。首先将区域提案特征表示映射成更适合于对比的向量表示，这种投影模块对提高其前层的表示质量具有重要意义（Chen等，2020），然后将特征向量进行L2范数归一化，过程如图4，即对向量X的每个维度数据x1，x2，…，xn都除以得到一个新向量。图4对比损失计算过程Fig. 4Contrastive loss calculation process本文提出的对比损失函数定义如下： （7）式中，Ω为所有特征向量的集合，为与向量i同类的特征向量集合，即正样本集合，i·j表示计算向量之间的余弦相似度。整体结构如图5。图5对比学习分支和交叉熵损失分支组成的整体网络结构Fig.5The overall network structure composed of contrastive learning branch and cross entropy loss branch该网络结构由两个分支组成，交叉熵（CE）损失分支和对比学习（CL）分支。计算公式如下： (8)式中，α为随着训练轮次变化的权重，变化趋势图像如图5，指代上一小节的对比损失函数，指代交叉熵损失函数。通过α动态调整两个损失函数所占的权重，引导网络早期希望通过损失函数反向传播学习更好的特征表示，后期在将特征区分开后，损失函数注重对分类器的训练。2.4　模型的训练模型的训练过程包括基础训练阶段与小样本微调阶段。在基础训练阶段中，充足的基类训练样本用于训练设计的协同注意力模块，包括背景衰减注意力和空间感知注意力。之后的小样本微调阶段，制作用于微调的小样本数据集，对于基类与新类的每个类别，只选取K张有标注的图像，借助从大规模基类中学习的协同注意力，指导微调阶段特征图的生成，同时加入对比学习分支，基于对比损失函数，配合联合训练策略，从不同类别的样本中学习更好的分类能力。整体框架如图6所示。图6本文算法整体框架示意图Fig.6The overall framework of the algorithm in this article","result":"在两阶段微调方法TFA的基础上改进，提出了一种针对光学遥感图像小样本目标检测的方法。该方法分为两个阶段：基础训练和小样本微调。在基础训练阶段，通过数据增强技术，包括传统数据增强和Mosaic数据增强，解决样本数量不足的问题，提高模型的鲁棒性和泛化能力。Mosaic数据增强通过随机裁剪和拼接四张图片，丰富背景信息，降低训练时间成本，提高检测精度和模型泛化能力。\n\n在小样本微调阶段，设计了协同注意力模块，包括背景衰减注意力和空间感知注意力，以增强模型对小样本类别目标的定位能力。背景衰减注意力通过加权特征图，去除无关背景噪声，突出目标特征；空间感知注意力则通过计算特征图上各部分的关联性得分，增强空间维度上的相关性。\n\n此外，本文还引入了对比学习分支，通过对比学习损失函数引导模型学习增强不同类别间的差异，提高分类准确性。对比学习损失函数与交叉熵损失函数结合，通过动态调整权重，使网络在训练过程中先学习更好的特征表示，后注重分类器的训练。\n\n模型训练包括基础训练和小样本微调两个阶段。在基础训练阶段，使用大量基类训练样本训练协同注意力模块；在小样本微调阶段，利用少量有标注的新类图像，结合协同注意力和对比学习分支，学习更好的分类能力。整体框架如图6所示，包括对比学习分支和交叉熵损失分支，通过联合训练策略提高小样本目标检测的性能。","language":"zh"},{"title":"光学遥感图像的小样本目标检测","chapter":"3　实验结果与分析","content":"本文实验所用GPU为NVIDIA TITAN Xp，相关实验都是在Linux系统中进行，操作系统型号及版本为Ubuntu 18.04，本文借助环境管理器Anaconda管理相关的实验环境，Python版本是3.7。3.1　实验数据集3.1.1　NWPU VHR-10遥感数据集由650张有标注和150张无标注的遥感图像组成，由Google Earth和Vaihingen（Niemeyer等，2014）数据集裁剪形成，并被专家人工标注，具有极高的分辨率，一共有3651个实例。数据集中的类别有网球场、飞机、舰船、篮球场、田径场等十个类别。各个类别目标的尺度变化多样，分布地形的情况各不相同。在本文实验中以其中的7个类别为基类，用于基础训练阶段，其余3个类别（飞机，棒球场，网球场）为新类，基类样本数量不变，新类样本数量为K张。3.1.2　DIOR遥感数据集包括23463张遥感图像与190288个实例，是一种常用于遥感图像目标检测的大规模基准数据集。有着桥梁、烟囱、水坝、高速公路服务区等20类的目标，相较于NWPU VHR-10数据集，目标物体的多样性和尺寸的多样性都有所增加。图像的尺寸大小是800×800，分辨率为0.5—30 m。在本文实验中以其中的15个类别作为基础类别，另外5个类别（飞机，棒球场，网球场，火车站，风车）作为新类别，基类样本数量不变，新类样本数量为K张。3.2　评价指标选取在目标检测领域，评估算法模型精度的指标广泛采用均值平均精确度mAP（mean Average Precision），即各类AP的均值。AP表示某类目标的准确率在不同的召回率下的积分，将召回率Recall作为横轴，以准确率Precision作为纵轴，可以得到一条Precision-Recall曲线，对应类别Precision-Recall曲线下面的面积即为算法模型在该类别的AP。准确率和召回率的定义分别为 （9） （10）式中，TP、FP、FN分别表示真阳性、假阳性以及假阴性的个数。AP定义为 （11）mAP用于衡量模型的检测性能，计算公式如下： （12）式中，n代表类别的个数，代表第i类的精度。3.3　实验参数选取训练的神经网络模型使用SGD（Stochastic Gradient Descent）（史加荣 等，2021）作为优化器，Learning Rate设置为0.02，还在训练时使用Step策略，将训练的第16个和第22个Epoch时将学习率乘以0.1，降低学习率，使得梯度下降的速度减缓。在遥感数据集上进行训练时，由于图像尺寸的差异，对于NWPU VHR-10遥感数据集，将图像的尺寸统一调整为1024像素，即长边的长度为1024像素，图像的原始比例长宽比保持不变，而DIOR遥感数据集中的图像尺寸还是原来的800×800像素。从数据集中随机选择每类的K张图像进行实验，对NWPU VHR-10数据集采用的K值为3、5、10，对DIOR数据集采用的K值为5、10、20。实验都以使用ResNet101为主干网络backbone的Faster R-CNN为基础，所用数据集为基类的所有数据集和基新类制作的小样本数据集。3.4　本文算法和一些先进算法的对比实验为了体现出本文提出算法对于小样本目标检测任务的优越性，将本文算法与TFA（Wang等，2020）、FR（Kang等，2019）、FSODM（Li等，2021）、DeFRCN（Qiao等，2021）、MFDC（Wu等，2022）等算法进行对比实验，实验结果见表1和表2。注： 加黑数值表示最佳算法结果数据。表1NWPU VHR-10数据集各方法的对比实验结果Table 1Comparative experimental results of each method on the NWPU VHR-10 dataset注： 加黑数值表示最佳算法结果数据。表2DIOR数据集各方法的对比实验结果Table 2Comparative experimental results of each method on the DIOR dataset基于元学习的方法FR在实验结果上不如基于微调的TFA方法优越。在基于微调的TFA实验中，先在大量基类上进行训练，网络通过大量的与新类同源数据集的基类，学习到了些许纹理特征，类无关的参数得到了训练，然后在制作的小样本数据集上微调网络参数，使得检测器可以快速地适应新类别的目标。FSODM专门针对遥感图像做了模块上的改进，效果好于经典方法TFA和FR。DeFRCN和MFDC方法是较先进的小样本目标检测方法，训练效果相比其他方法有所提升，但本文方法在检测性能上更具有优越性。在每组实验上，以ResNet101为backbone的本文方法在NWPU VHR-10和DIOR遥感数据集上的实验结果都超过了现有的最先进的方法。如图7和图8，为小样本新类在各方法下的结果，从展示出的对比结果图中能够显著地基线方法TFA的错检和漏检问题，与之相比，本文方法在所用的两个数据集中都有着优越的检测性能。（a） 飞机 （b） 棒球场 （c） 网球场（a） Airplane （b） Baseball field （c） Tennis court图7NWPU VHR-10 TFA和本文方法实验效果对比图Fig. 7NWPU VHR-10 comparative experimental results chart in TFA and the algorithm of this thesis（a） 棒球场 （b） 飞机 （c） 网球场 （d） 火车站 （e） 风车（a） Baseball fields （b） Airplane （c） Tennis courts （d） Trainstation （e） Windmill图8DIOR TFA和本文方法对比实验结果图Fig. 8DIOR comparative experimental results chart in TFA and the algorithm of this thesis3.5　本文算法各模块的消融实验为了证明本文所提出改进算法的各个部分对算法模型对于小样本类别目标的检测性能提升的有效性，本节根据本文算法主要模块的有无，对NWPU VHR-10和DIOR两类遥感数据集所做的四组消融实验，结果如表3、表4所示，第一组实验为对照组，用于与其他几组实验比较检测效果。表3、4中前两列分别为上述协同注意力和对比学习分支的简称，表格中的（√）代表该模块是否添加进此次实验，后面3列为实验效果。注： 加黑数值表示最佳算法结果数据。表3NWPU VHR-10数据集消融实验结果Table 3Results of ablation experiments on the NWPU VHR-10 dataset注： 加黑数值表示最佳算法结果数据。表4DIOR数据集消融实验结果Table 4Results of ablation experiments on the DIOR dataset表3和表4中的实验结果充分体现了本文所提出算法中各部分的有效性，从实验结果的第一行和第二行可以看出，在加入协同注意力模块后，模型对于新类的检测效果有所提升。图9为加入注意力模块前后的特征图对比。可见：第一行为注意力模块处理之前的特征图，第二行为注意力模块引导特征分布后的特征图，第三行为处理的原图像。从图中加入协同注意力模块前后的特征图对比可以看出，第一行特征图和第二行特征图相比，背景无关特征被削弱，协同注意力模块处理后的特征图中目标的特征信息更加明显，目标更易被模型检测到，重要的局部信息更加突出，能够指导模型关注重点的目标区域。（a） 飞机 （b） 棒球场 （c） 网球场（a） Airplane （b） Baseball field （c） Tennis court图9加入协同注意力模块前后特征图对比Fig. 9Comparison of feature maps before and after adding co-attention module从表3、4中实验结果的第一行和第三行可以看出，对比学习分支的加入，提升了模型整体对新类目标的检测性能，充分证明了本文提出的对比学习损失函数的有效性和在此基础上构建的对比学习分支的优越性。从表3、4中第四行的实验结果可以看出，本文设计的基于协同注意力和对比学习分支的改进算法的有效性。从表3、4中消融实验的结果，本文所提算法的协同注意力模块和对比学习分支都十分必要且有效，在提升遥感图像小样本目标检测任务的性能方面都起到了重要作用，在两个遥感数据集上的消融实验结果也直接有力地证明了本文算法各部分的有效性。从展示的部分实验效果图（图7和图8）可以看出，本文设计的改进算法能在小样本的条件下对遥感图像实现较好的检测结果。","result":"实验在Linux系统环境下，使用NVIDIA TITAN Xp GPU和Anaconda管理Python 3.7环境进行。实验使用了NWPU VHR-10和DIOR两个遥感数据集，分别包含3651和190288个实例，涵盖多个类别，用于评估小样本目标检测算法。评价指标采用mAP，通过计算Precision-Recall曲线下的面积来衡量模型性能。\n\n实验中，使用SGD优化器和Step学习率调整策略，对不同数据集调整图像尺寸，并从数据集中随机选择K张图像进行训练。基础模型采用ResNet101作为Faster R-CNN的主干网络。本文算法与TFA、FR、FSODM、DeFRCN和MFDC等先进算法进行对比，结果显示本文方法在两个数据集上均取得了最佳性能。\n\n消融实验进一步证明了本文算法中协同注意力模块和对比学习分支的有效性。协同注意力模块通过引导特征分布，增强了目标特征信息，使模型更容易检测到目标；对比学习分支则提升了模型对新类目标的整体检测性能。消融实验结果表明，这两个模块对于提升遥感图像小样本目标检测任务的性能至关重要。\n\n实验效果图展示了本文算法在小样本条件下对遥感图像的优越检测结果，与基线方法TFA相比，本文方法显著减少了错检和漏检问题。","language":"zh"},{"title":"光学遥感图像的小样本目标检测","chapter":"4　结论","content":"遥感图像小样本目标检测任务存在定位不准和分类混淆的问题。本文在TFA方法的基础上，提出一种基于协同注意力模块和对比学习分支的小样本目标检测算法。本文具体贡献包括：（1）设计了协同注意力模块，从大量基类中学习与目标定位相关的注意力，提升模型对小样本类别的定位性能。（2）设计了对比学习分支，学习更好的特征表示，提高了分类的准确率。（3）提出一种基于微调的迁移学习范式的小样本目标检测模型。首先，对训练样本进行传统数据增强和Mosaic数据增强，然后利用协同注意力模块生成的背景衰减注意力和空间感知注意力，在大量的基础类别数据集中提取与目标定位相关的注意力，然后应用到微调阶段中，赋予特征点在多个维度上的不同权重。之后设计出对比学习分支，用于引导相同类别的特征分布一致，从而减少对于相似类别的误判，将同类别样本和不同类别样本之间的相似度进行比较，同类目标的特征向量分布越相似，不同类的向量分布越不相似，则对比损失函数值越小，通过反向传播扩大不同类别间特征的区分度，增大不同类别之间的距离，进而提升了模型的分类准确率，减少对新类目标的错误分类。最后，提出了基于微调的迁移学习范式的小样本目标检测模型，对充足的基类样本数据集训练，提取到充分的类无关信息，然后在小样本微调阶段只需要少量的新类样本就能训练适应特定类别的权重参数。为了证明所提算法的有效性，通过在NWPU VHR-10和DIOR2类遥感数据集上进行消融与对比实验，在每组实验下的准确率都比基线方法分别提高了25%和15%左右，也高于现有的其他先进方法。本文算法在实验中展现了检测的有效性与优越性，但对于尺度过大或过小的目标，算法在这些物体上的检测性能较差，同时，本文并未对小样本数据集进行数据的增强与扩充，没有实际地解决样本数量过少这一问题。因此，下一步将设计更好的网络的结构从而能覆盖到各个尺度的目标，并从特征层面对样本进行扩充。","result":"针对遥感图像小样本目标检测问题，提出了一种基于协同注意力模块和对比学习分支的算法。主要贡献包括：设计协同注意力模块以提升定位性能，引入对比学习分支以提高分类准确率，以及提出基于微调的迁移学习范式。通过在NWPU VHR-10和DIOR2数据集上的实验，验证了算法的有效性，准确率较基线方法显著提升。然而，算法在处理尺度异常目标时性能不足，且未解决样本数量不足的问题。未来工作将优化网络结构，增强特征层面的样本扩充。","language":"zh"}]”