“[{"title":"面向遥感图像目标感知的群目标检测框架","chapter":"1　引言","content":"遥感技术是获取大规模地理信息的重要手段，随着遥感图像获取技术的不断改进和发展，遥感图像被广泛应用于土地利用、城市规划、交通监测、灾害防治、生态保护（Chen等，2006；Lenhart等，2008；Liu和Wu，2016；Lopez和Frohn，2017；李强 等，2022）等众多民用领域。在遥感图像中，地物目标是最关键的信息之一，包括建筑物、道路、水体、森林等。然而，由于遥感图像具有分辨率高、数据量大、复杂多样等特点，传统目标检测方法已经无法满足对大规模遥感图像数据的自动化处理需求，因此需要开发高效、准确、自动化的遥感图像目标检测技术。遥感目标检测主要目的是从遥感图像中自动检测出目标物。目前，遥感目标检测已经取得了显著的研究成果，如基于深度学习的目标检测算法和多源遥感数据融合技术等，但仍然存在一些问题，如遥感图像中目标物种类繁多、光照和天气等因素的干扰以及遥感图像分辨率低等。因此，如何提高遥感目标检测的准确率和效率，是当前遥感目标检测研究亟待解决的问题。现有遥感图像目标检测方法主要从以下3个角度来提升性能：（1）增强特征鲁棒性，能够提高检测的性能和稳定性，使得算法在不同的场景和条件下都能够准确地识别目标，现有手段主要有多尺度特征融合，多模态特征融合及注意力机制。代表性算法有ICN（Azimi等，2019），CAD-Net（Zhang等，2019），DRN（Pan等，2020）和改进的CenterNet（田壮壮 等，2023）。ICN提出了一个带多个不同尺度卷积核的级联网络来提取鲁棒的多尺度特征，以提升检测精度。CAD-Net利用注意力调制特征以及全局和局部上下文来解决从遥感图像中检测目标的挑战。DRN提出了一个由特征选择模块和动态优化头组成的动态优化网络，它能够自动调制感受野并以对象感知的方式动态地改进检测效果。（2）改善损失传导机制，从这方面可以提高网络对目标的检测准确度和鲁棒性。其中，多尺度损失，联合损失，梯度裁剪应用广泛，代表性算法有RetinaNet（Lin等，2017），DAL（Ming等，2021）和R3Det（Yang等，2021）。DAL提出了一种动态锚点学习方法，利用新定义的匹配度算法来综合评估锚点的定位潜力，并进行更有效的标签分配。R3Det提出了一个端到端的精细化单级旋转检测器，通过使用从粗到细粒度的渐进回归方法来快速准确地检测目标。（3）从语义级提升检测性能，能够利用更高级别的语义信息，包括目标物体的形状、大小、方向和背景等因素来提高遥感目标检测的准确性和鲁棒性。代表性算法有ROI Transformer（Ding等，2019），CenterMap（Wang等，2021）和Mask-OBB（Wang等，2021）。CenterMap将边界框回归转换为中心概率图预测问题，从而在很大程度上消除了目标定义和背景像素上的模糊性。Mask-OBB将边界框回归转换为像素级分类问题，这可以在很大程度上消除歧义。上述方法虽然取得了较好的检测精度，但仍存在一些问题。增强特征鲁棒性可以普遍提高检测的性能和稳定性，适应更多的场景，而针对目标小而密集的场景表现得不够出色。改善损失传导机制可以提高网络对目标的检测准确度和鲁棒性，而无法提高小目标的召回率。同时，现有的语义关系联合上下文背景信息，忽略了周围前景信息可能带来的影响，因此需要更高级别的语义信息来提高检测的准确性。本文通过对现有算法分析发现造成上述问题的根本原因是单目标检测因其受限的感受野和内在的学习机制始终无法充分地利用上下文信息。因此，本文创新性地构建了群目标检测框架，首先提出群目标的概念定义，并采用搜索式自动化标注设计了群目标自动化标注方案，最后提出了一个群目标检测算法，旨在充分挖掘多个相同或者不同类型目标之间的上下文关联信息，对同属一个群体的目标进行关联，从而更进一步地提升检测精度。","result":"介绍了遥感技术在民用领域的广泛应用，指出了遥感图像目标检测的重要性和挑战。遥感图像具有高分辨率、大数据量和复杂性，传统目标检测方法已不适用。现有研究通过增强特征鲁棒性、改善损失传导机制和提升语义级检测性能来提高检测准确率和效率。然而，现有方法在小目标检测、召回率和利用上下文信息方面仍存在不足。本文提出了群目标检测框架，定义了群目标概念，设计了自动化标注方案，并提出了群目标检测算法，以挖掘目标间的上下文关联信息，提升检测精度。","language":"zh"},{"title":"面向遥感图像目标感知的群目标检测框架","chapter":"2　群目标检测框架","content":"2.1　群目标的概念定义传统的目标检测算法是独立地对每个目标进行逐一定位，忽略了多个相同或不同类型目标之间的上下文情景信息，空间位置信息，而群目标检测不是独立地对每个目标进行逐一定位，能够充分挖掘多个相同或者不同类型目标之间的上下文情境信息，对不同位置的目标进行关联分析。本文提出通过检测群目标，将单目标在空间上加以约束，从而提升检测效果。一般来讲，群目标可以定义为：在表观形状、空间位置等方面具有相符性的多个目标联合体被称为一组群目标。群目标既可以包含不同类型、但相互关联的多个目标，也可以包含同一类型多个实例联合在一起的多个目标，可以根据不同的目标特性、关联关系及应用场景进行定义。在具体实践中，群目标检测需要考虑目标之间的关联性和群体结构，即同时检测出包含多个目标实例的群目标整体，并识别它们之间的群体关系或群体属性。针对本文关注的遥感图像目标感知应用场景，基于以下两个方面给出群目标的定义：（1）空间接近：当不同目标间的距离非常接近时，这些目标无论是否属于同一类别都可以被视为一个群体。如图1（a）所示，右下角的小车和飞机排列紧密，两类物体共同组成群目标。（2）类别相同：当目标之间属于相同的类别或者具有相似的特征时，这些目标即使不符合空间接近也可以被视为一个群体。如图1（b）所示，所有的小车组成群目标，所有的飞机组成群目标。（a）空间接近 （b）类别相同（a） Spatial approach （b） Same category图1群目标两种定义方式Fig. 1Two definition of group object上述两种定义方式对群目标的侧重点有所不同，第1种定义方式侧重于空间上的距离关系，而第2种定义方式侧重于目标间的语义关联。对比两种定义方式，空间接近更符合实际情况，因此本文将基于空间接近的方式进行标注。2.2　群目标自动化标注方案2.2.1　聚类式自动化标注基于上述群目标的第一种定义，即空间接近，本文在已有目标检测实例标注的基础上设计了群目标自动化标注方案，以DOTA-v1.0数据集为例，标注结果如图3所示。本文基于Kmeans聚类算法（易茹，2020）在已有数据标签上进行标注，Kmeans算法根据给定的分类数量随机选取一定簇的数量进行聚类，而在遥感数据集中，目标大小及数量不是固定的，因此需要根据空间距离分布和数量大小动态地调整分簇数量。具体来说，计算每张图片最远两个目标间的距离dis，按照以下逻辑计算分类数量group_num。具体计算过程如下：当disdis2，若numnums2，group_num=5，其余情况group_num=4；如果dis>dis1且nums1，group_num=2，若num>nums2，group_num=4，其余情况group_num=3。（a）随机标记 （b）距离最远标记 （c）平均距离最远标记 （d） 标注结果（a）Random labelling （b）Farthest distance labelling （c） Farthest average distance labelling （d） Labelling result图2群目标自动化标注流程Fig. 2Automatic labelling process of group object图3聚类式标注示例Fig.3Examples of K-means labelling其中，dis1、dis2代表距离阈值，nums1、nums2代表数量阈值，得到分类数量后，为了避免K-means算法随机选取分簇中心造成分类结果重叠分布，相互覆盖，本文在分簇中心点选择上做出调整，K-means方法一次性随机选取n个点作为初始分簇中心，不同的是，本文首先选取一个中心点，然后计算其和所有其他点的相对距离，选取最远的点作为下一个中心点，然后再次遍历所有其他点到已有中心点的距离平均值，选取平均距离最大的点作为下一个中心点。如图2所示，首先随机选取一点A（图2（a）），计算其他目标与之距离，得到距离最远的B（图2（b）），然后计算剩余目标与已有中心点的距离，得到平均距离最大的C点（图2（c）），由此得到3个聚类中心进行聚类，最终群目标标注如图2（d）所示。针对不同数据集，需要根据其分布动态调整自适应分簇阈值区间。基于此标注方法，得到的标注结果如图3所示。2.2.2　搜索式自动化标注由于聚类方法的初始点选取是随机的，聚类结果存在一定的不确定性，因此本文提出了第2种聚类方法，搜索式聚类。受图论思想启发，结合空间接近的定义，本文制定了搜索式群目标标注的规则，即对于任一目标A，如果在以其中心点为圆心，半径为r的范围内，存在另一个目标B，那么A和B共同归属于一个群目标。对于一张图片而言，遍历所有的目标，计算每一个目标和哪些目标的距离在规定范围内，记录所有的符合条件的目标，然后根据这些目标生成矩形框，标注为集群，结果如图4所示。相比于聚类式方法，搜索式方法更加简单直观，具有更好的确定性，只要给定搜索距离，分类结果就是确定的，而聚类方法初始一个点的选择是随机的。因此，本文后续的实验选用了第二种搜索式方法进行标注，并在消融实验证明了该方法的优越性，同时对搜索距离进行了定性分析。图4搜索式标注示例Fig.4Examples of search labeling2.3　群目标检测算法2.3.1　概述与传统单一目标检测不同，群目标检测在大范围上预测一群目标的位置，为了利用群目标带来的空间位置约束，使单目标检测向群目标靠拢，本文提出了对称区域卷积神经网络（Dual-RCNN），利用群中心约束关联群目标和单目标的位置信息。算法整体流程如图5所示，给定一个输入的图像，通过骨干特征提取网络获得多尺度特征，然后将特征输入到上下两个并行检测分支，即群目标检测分支和单目标检测分支。每个分支与传统检测算法Faster RCNN（Girshick，2015；Ren等，2017）类似。每个分支除了预测群目标和单目标之外，本方法还设计了群中心约束，对上下2个分支的提议检测框结果进行匹配，利用中心点偏移量在空间位置上加以约束，以优化单目标以及群目标分支检测结果。图5群目标检测算法框架图Fig. 5Framework of group object detection2.3.2　单目标分支该分支由RPN，ROIpooling以及RCNNPredictor构成。RPN由AnchorGenerator及RPNHead构成，RPNHead由两个3×3的卷积分支构成，分别预测由AnchorGenerator产生的锚框的类别（前景或背景），以及该锚框的修正参数（中心点偏移量，长宽偏移量），最后RPNHead和AnchorGenerator会得到含有目标的提议框，由于目标大小不同，得到的提议框大小是变化的。通过ROIpooling将维度不一致的提议框转化成统一大小的特征向量，然后做展平处理，之后通过RCNNPredictor进行预测，该模块主要由几个全连接层构成，得到最终的检测类别和检测框位置。2.3.3　群目标分支群目标分支和单目标分支组成类似，同样由RPN，ROIpooling以及RCNNPredictor构成。不同的地方在于群目标分支对应的地面实测为群目标标注。2.3.4　群中心约束为了充分利用群目标提供的空间信息，本文在算法中引入了群中心约束，从群目标检测分支得到群目标预测提议框，从单目标检测分支得到单目标预测提议框，获得这两个结果后，对两者进行匹配，为每个单目标匹配对应的群目标，即该单目标归属于哪个群。具体匹配规则为，针对每一个单目标，计算所有群目标中心点和该单目标中心点的绝对距离，距离最近的群目标为该单目标的唯一匹配（图6）。图6单目标匹配群目标示意图Fig. 6Single object matches group object如图6所示，对于一个单目标来说，在o1，o2，o3，o4，o5这5个距离中，o2最小，所以该单目标就与o2对应的群目标匹配。匹配过程中，每个单目标匹配一个群目标，而每个群目标会匹配多个单目标。匹配完成后，计算所有单一目标与其所匹配的群目标之间的中心点相对偏移量，让所有单目标预测该偏移（对应框架图中OffsetPredictor）。并计算匹配的单目标和群目标中心点的绝对距离，然后除以其所匹配的群目标框的对角距离，得到相对偏移量。按照同样的方法计算真实的相对偏移量，相对偏移损失计算公式如下： (1)式中，代表预测的偏移值，代表真实的偏移值，N代表预测的单目标提议数量。模型总的损失函数为 (2)式中，代表RPN部分的提议框分类和回归损失，代表RCNNPredictor部分的分类和回归损失。计算公式如下： (3)式中，是Softmax loss，用于分类锚框属于前景还是背景；为Smooth L1 loss，用于修正锚框，前面乘一个表示只回归有目标的框；表示网络预测出来第i个锚框是目标的概率，表示对应真实值。若第i个锚框与某个真实目标的交并比>0.7，则=1；若IOU<0.3，则=0；表示参数化坐标向量，表示预测框和锚框之间的偏移；表示对应真实偏移。的表示方法和相同，不同的在于回归的类别数量不同。2.3.5　训练给定一个输入大小为1024像素×1024像素×3通道的图片，经过骨干特征提取网络后，获得5个多尺度特征，经过RPN网络，对所有提议框筛选得到分数排在前2000的提议框。得到2000个提议之后，在训练阶段，从2000个提议里随机选取256个正样本，256个负样本用于后续的训练，然后通过ROI融合所有尺度，得到（批大小，512，7，7）的特征，最后通过RCNNPredictor得到输出结果，包括512个样本的分类结果（512，类别数）以及每个样本的检测框位置参数（512，4）。2.3.5　推理在推理过程，移除偏移分支，直接得到单目标和群目标提议，结合预测的回归参数计算最终的bbox坐标，移除背景信息和低概率小尺寸目标，然后进行NMS处理，返回最终预测结果。","result":"介绍了面向遥感图像目标感知的群目标检测框架，包括群目标的概念定义、自动化标注方案、检测算法的概述和详细流程。\n\n群目标检测框架与传统目标检测不同，它通过检测群目标，将单目标在空间上加以约束，以提升检测效果。群目标可以定义为在表观形状、空间位置等方面具有相符性的多个目标联合体，可以包含不同类型、但相互关联的多个目标，也可以包含同一类型多个实例联合在一起的多个目标。\n\n自动化标注方案包括聚类式和搜索式两种方法。聚类式方法基于Kmeans聚类算法，在已有数据标签上进行标注，通过动态调整分簇数量来适应遥感数据集中目标大小和数量的不确定性。搜索式方法则通过遍历所有目标，计算每个目标与其他目标的距离，生成矩形框标注为集群，具有更好的确定性。\n\n群目标检测算法采用对称区域卷积神经网络（Dual-RCNN），利用群中心约束关联群目标和单目标的位置信息。算法包括单目标分支和群目标分支，每个分支都由RPN、ROIpooling和RCNNPredictor构成。通过群中心约束，对两个分支的提议检测框结果进行匹配，优化检测结果。\n\n训练过程中，从筛选得到的提议框中随机选取正负样本进行训练，通过ROI融合所有尺度的特征，最后通过RCNNPredictor得到输出结果。推理过程中，移除偏移分支，直接得到单目标和群目标提议，结合预测的回归参数计算最终的bbox坐标，进行NMS处理后返回预测结果。","language":"zh"},{"title":"面向遥感图像目标感知的群目标检测框架","chapter":"3　测试实验","content":"为了验证本方法的有效性，本文在目前最热门的DOTA-v1.0（Xia等，2018；Ding等，2022）数据集上进行了广泛实验。3.1　数据准备DOTA-v1.0数据集包含了2806张来自不同传感器和平台的航空影像，每张影像大小都在4000像素×4000像素内，分为飞机（PL）、舰船（SH）、储罐（ST）、棒球场（BD）、网球场（TC）、篮球场（BC）、田径场（GTF）、海港（HA）、桥梁（BR）、大型车辆（LV）、小型车辆（SV）、直升机（HC）、环岛（RA）、足球场（SBF）、游泳池（SP）15个类别，总计188282个目标，每个目标都标记为一个带方向的边界框。同时，对每张图片添加了额外的群目标标注，每张图像被分成1—5个集群，每个集群以矩形框的形式进行标注。本文使用训练集和验证集进行训练。通过将测试结果发送到DOTA的在线评估服务器来获得最终的检测精度。3.2　训练参数配置本方法使用4张英伟达3090显卡来进行训练，训练中单卡批大小为1，采用同步批归一化，测试时也是在1张3090显卡进行，实验在mmdetection开源框架上进行。在训练过程中统一使用水平、垂直及对角翻转的图片增强。本方法采用SGD优化器优化整个网络，动量为0.9，权重衰减为0.0001。将原始图像裁剪成1024像素×1024像素，裁剪的步长设置为824，即两个相邻部分之间的像素重叠为200。对于多尺度训练和测试，首先在0.5、1.0和1.53个尺度上调整原始图像的大小。训练12个epoch，初始学习率设置为0.005，并在epoch为8和11时降为原有的十分之一。3.3　实验结果及分析本文将提出的群目标检测框架和其他12种主流的旋转物体检测框架进行了对比，结果如表1所示。注： 加粗数据的显示代表该列的最大值。表1DOTA数据集检测精度对比Table 1Comparison of detection accuracy on DOTA dataset /%可见在DOTA-v1.0数据集上，该方法超越了所有参与对比的其他方法，获得了78.2%的mAP。本文算法Dual-RCNN的可视化结果如图7所示。可见该方法在困难的情境下发现了原来未检测到的目标，提高了召回率。图8为该算法在有无群中心约束情况下的检测结果对比，可见在小目标密集的情况下，该方法检测到了更多小目标，更好地关注到了小目标周围区域的其他小目标，加强了目标与目标之间的位置信息关联。同时，本文对比了一些算法在群目标检测上的精度，结果见图9。可见在群目标和单目标的相互优化下，本算法在群目标检测上表现地更加出色。本文通过对15种类别目标尺度分析，统计了所有标注种类的平均长宽，得到像素统计结果如下：飞机107、舰船33、储罐43、棒球场135、网球场104、篮球场117、田径场231、海港103、桥梁41、大型车辆39、小型车辆24、直升机65、环岛145、足球场259、游泳池45。本文认定长宽小于50的类别为小目标，因此在统计后将桥梁，小车，大车，轮船，存储罐，泳池归类为小目标，其余为大目标。由此得到的大小目标检测的mAP如表2所示，结果表明，本文提出的的群目标检测在面对小目标时有着更加突出的表现，通过群目标检测很好的提高了小目标检测准确率和召回率。图7Dual-RCNN在DOTA数据集的可视化检测结果（群目标 单目标）Fig.7Visualization of Dual-RCNN on DOTA dataset. Group prediction with blue rectangle， single prediction with other color图8群约束对检测结果的影响对比Fig. 8Visualization comparison of constraint图9不同方法的群目标检测精度对比Fig. 9Comparison of object detection results of different methods on group object detection表2不同尺度目标的检测精度对比Table 2Comparison of object detection results of different scales%3.4　消融实验3.4.1　群中心约束分析验证群中心约束对检测结果的影响如表3所示。可见在有群中心约束监督的情况下，检测精度提升了1.7个百分点。这表明，群中心约束在空间范围上对单目标进行约束，提高了目标检测精度。表3群中心约束对mAP的影响Table 3Effect of group center constraint on mAP /%3.4.2　标注方式分析本文对提出的两种标注方法进行了实验比较。针对聚类式标注，group_num的取值首先与分类的最大集群数量有关，基于此我们在考虑分类的最大集群数量时进行了实验验证，固定其他参数不变，调整最大分类数量，得到实验结果如图10所示，由此可见，选择最大分类数量为5是最合适的。然后，统计得出在DOTA数据集中，平均每张图片包含67个目标，为了保证每张图片群的个数不唯一，第一个阈值nums1不宜过大，限定其在平均数量的1/4范围内，nums1可选值为5、10和15。阈值nums2不超过平均数量的1/2，nums2可选值为20、25、30和35。我们对这些取值进行组合实验，并得出了如表4的实验结果。因此，我们选择了nums1=15，nums2=25。最后实验结果如表5所示，其中，L代表图片对角线长，r代表搜索距离。聚类式标注方法在各种情况下的最好结果是77.42%，搜索式标注方法最好结果是78.21%，显著优于聚类式标注。搜索式具有更强的规律特点，仅取决于搜索距离，效果更好。图10群目标最大集群数量与Map相关性Fig. 10Correlation between group object quantity and Map表4不同nums参数的对比Table 4Results of different nums注：黑体表示最优结果。表5不同标注方式及距离参数对结果的影响Table 5Effect of different annotation methods and distance parameters on results3.4.3　群目标标注搜索距离分析对于搜索式标注方法，确定搜索距离是一个关键的选择，本文对不同的搜索距离进行了实验对比，结果如表5所示。可见搜索距离偏大和偏小都会阻碍群目标检测性能，因为当搜索距离偏小时，群目标框将会趋近于单目标框，搜索距离偏大时，一个标注将可能涵盖过多单目标，使模型的针对性下降。针对DOTA数据集图片尺度为1024像素×1024像素，实验确定搜索距离为75是最有效的。","result":"在DOTA-v1.0数据集上进行了广泛实验，验证了所提群目标检测框架的有效性。数据集包含2806张航空影像，涵盖15个类别，总计188282个目标。实验使用4张英伟达3090显卡，基于mmdetection框架，采用SGD优化器，训练12个epoch。实验结果显示，所提方法在DOTA-v1.0数据集上超越了其他12种主流旋转物体检测框架，获得了78.2%的mAP。Dual-RCNN的可视化结果表明，该方法在困难情境下提高了召回率。有无群中心约束的检测结果对比显示，该方法在小目标密集情况下检测到更多小目标，加强了目标间的位置信息关联。群目标与单目标检测精度对比表明，所提算法在群目标检测上表现更出色。对15个类别目标尺度的分析表明，所提群目标检测在小目标上表现更佳，提高了小目标检测的准确率和召回率。\n\n消融实验进一步分析了群中心约束、标注方式和搜索距离对检测结果的影响。群中心约束分析表明，引入群中心约束可提升1.7个百分点的检测精度。标注方式分析比较了聚类式和搜索式标注方法，结果表明搜索式标注方法效果更好，其规律特点更强，仅取决于搜索距离。搜索距离分析发现，搜索距离对群目标检测性能有显著影响，DOTA数据集上75像素的搜索距离最有效。","language":"zh"},{"title":"面向遥感图像目标感知的群目标检测框架","chapter":"4　结论","content":"本研究提出了一个面向遥感图像感知的群目标检测框架，旨在解决当前遥感图像感知中目标特征信息不足、准确率差的问题，针对小目标集群检测效果出色。主要结论如下：（1）提出群目标检测理念，并对群目标概念进行定义；（2）基于群目标定义，提出群目标自动化标注方法；（3）提出群目标检测算法Dual-RCNN，利用中心约束引导检测框回归。实验结果表明，相比于其他遥感目标检测算法，Dual-RCNN能够召回更多小目标，有效提升小目标检测精度。本文的研究使目标检测不再局限于单个目标，将集群信息利用起来，以缓解遥感目标分辨率低，准确率差的问题。然而，不同的定义方法及标注方式还是会对群目标检测产生一定的影响，在后续的研究中，将会对这些变量作进一步探索，以找到最佳方案，进一步地提高群目标检测能力。","result":"总结了面向遥感图像目标感知的群目标检测框架，提出了群目标检测理念，定义了群目标概念，并提出了自动化标注方法和Dual-RCNN检测算法。实验结果表明，该框架在小目标集群检测方面表现优异，有效提升了小目标检测精度。同时指出，不同的定义方法和标注方式对检测效果有影响，未来研究将进一步探索以提高检测能力。","language":"zh"}]”