基于特征注意力金字塔的遥感图像目标检测方法

基于特征注意力金字塔的遥感图像目标检测方法 Feature attention pyramid-based remote sensing image object detection method first-author 汪西莉，研究方向为智能信号处理、模式识别、图像处理。E-mail： wangxili@snnu.edu.cn 汪西莉，研究方向为智能信号处理、模式识别、图像处理。E-mail： wangxili@snnu.edu.cn wangxili@snnu.edu.cn 陕西师范大学 计算机科学学院, 西安 710119 陕西师范大学 计算机科学学院, 西安 710119 School of Computer Science, Shaanxi Normal University, Xi'an 710119, China School of Computer Science, Shaanxi Normal University, Xi'an 710119, China 遥感图像场景复杂、目标大小不一、分布不均衡等特点增加了目标检测的难度，而适于检测不同尺度目标的特征金字塔融合不同深度的特征图时，没有考虑特征图各自的重要性，没有强调目标区域的特征，为此本文提出基于特征注意力金字塔的遥感图像目标检测方法FAPNet（Feature Attention Pyramid Network）。首先，使用通道拼接方式融合不同深度的特征图，给用于检测的特征图提供不同大小感受野的特征，并基于通道注意力对融合的特征图在通道维度重标定，根据特征图所负责检测目标的尺度自适应地调整不同大小感受野特征的权重，强化感受野大小与待检测目标尺度匹配度较高的特征，弱化匹配度较低的特征。其次，使用叠加的扩张空间金字塔池化结构，结合弱监督分割网络建模位置注意力，强化目标区域特征，弱化背景区域特征，进一步提升目标检测方法的性能。实验结果表明，相较于RetinaNet，针对汽车目标，所提方法在UCAS-AOD数据集和RSOD数据集上检测精度AP分别提升了3.41%和2.26%，针对多类目标所提方法在各目标上取得了较优的AP结果，且mAP结果优于其他比较方法。 The characteristics of remote sensing images, such as complex scenes, different sizes of targets and unbalanced distributions, increase the difficulty of target detection. However, feature pyramids that are suitable for detecting targets of different scales do not consider the importance of different feature maps when fusing the feature maps, let alone emphasize the features of target areas. For this purpose, this paper proposes a feature attention pyramid-based remote sensing image object detection method (namely, the feature attention pyramid network, FAPNet). First, the feature maps of different depths are fused by channel concatenation, and the features of different sized receptive fields are provided for the feature maps used for detection. The channel attention mechanism is used to recalibrate the fused feature maps in the channel dimension. The feature maps from different depths are adaptively adjusted according to the scale of the object to be detected to strengthen the feature that matches highly between the size of the receptive field and the object to be detected and weaken the feature with a low degree of matching. Second, the weakly supervised attention module uses the superimposed atrous spatial pyramid pooling structure and convolutional segmentation module to model spatial attention weights to adjust the feature distribution of the feature map used for prediction, strengthen the object area feature, and weaken the background area feature, which further improves the performance of object detection methods. The experimental results show that compared with RetinaNet, the proposed method improves the accuracy (AP) for car targets by 3.41% and 2.26% on the UCAS-AOD dataset and RSOD dataset, respectively, achieves better AP results on each target for multiclass targets and is superior to other comparative object detection methods on the mAP indicator for multitargets. A feature attention pyramid-based remote sensing image object detection method is proposed in this paper. Its contribution lies in the designed feature attention pyramid module and weakly supervised attention module. With the new modules, the proposed method can extract target features more accurately in complex scenes with targets of different sizes by channel attention and spatial attention, thus improving the performance of detection. The experimental results show that the proposed method is superior to the RetinaNet and FAN methods and is more suitable for remote sensing image object detection tasks with complex scenes and multiscale targets. 遥感图像 目标检测 弱监督分割 注意力机制 特征金字塔 remote sensing image object detection weakly supervised segmentation attention mechanism feature pyramid 1　引言 1 遥感图像目标检测在国防军事领域和国民经济领域有广泛的应用。随着卷积神经网络的兴起，遥感图像目标检测研究进展迅速。遥感图像的特点，如图像场景复杂、地物类型多、目标偏小且密集、目标尺度不一等，导致遥感图像目标检测极具挑战性。 目标多尺度问题是基于深度学习方法解决遥感图像目标检测任务的挑战之一，解决这个问题通常有3种策略。（1）采用图像金字塔（ Singh和Davis，2018 Singh和Davis，2018 ； Hu和Ramanan，2017 Hu和Ramanan，2017 ），这类策略可以有效提升检测精度，但会显著增加内存需求和计算量，无法实现实时目标检测。（2）在单层特征图上使用锚框机制检测不同尺度目标（Ren等，2015； Redmon和Farhad，2017 Redmon和Farhad，2017 ； Dai等，2016 Dai等，2016 ），但是单层特征图的特征包含信息有限，目标检测性能受限。（3）采用特征金字塔（ Lin等，2017 Lin等，2017 ）在多层特征图上使用锚框机制检测不同尺度目标，可以取得更好的检测性能且内存和计算量耗费较少。此外，特征金字塔可以方便地嵌入到先进的目标检测方法中，构成端到端的目标检测方法，受到了研究者的关注。 特征金字塔结构有很多变体，比较典型的有：基于主干网络并通过卷积添加更多层来构造特征金字塔，如SSD（Single Shot MultiBox Detector）（ Liu等，2016 Liu等，2016 ）；利用反卷积层增强浅层特征的语义信息构造特征金字塔，如DSSD（Deconvolutional Single Shot Detector）（ Fu等，2017 Fu等，2017 ）；而STDN（Scale-Transferrable Detection Network）（ Zhou等，2018 Zhou等，2018 ）只使用DenseNet （ Huang等，2017 Huang等，2017 ）的最后一个dense模块，通过池化和STM（Scale-Transfer Module）构造特征金字塔；还有利用跳跃连接和自顶向下的路径构造特征金字塔，如FPN（Feature Pyramid Network）（ Lin等，2017 Lin等，2017 ）和RetinaNet（ Lin等，2020 Lin等，2020 ）。国内研究很多是基于典型特征金字塔结构改进的，如基于FPN的特征金字塔使用多层特征图堆叠网络，融合语义特征和细节特征，克服细节信息丢失问题，提升目标检测方法的精度（ 杨爱萍 等，2020 杨爱萍 等，2020 ）；在FPN特征金字塔结构的基础上，引入显著性机制融合不同感受野下的特征，提升遥感图像目标检测的精度（ 于野 等，2020 于野 等，2020 ）等。 尽管特征金字塔对不同尺度目标的特征提取具有显著的作用，但仍有一些局限性。特征金字塔有两个关键点，一是融合多层特征图以增强用于检测的特征图的语义信息和细节信息，另一个是在不同分辨率的特征图上检测不同尺度的目标。显然不同层的特征图有不同大小的感受野，其融合有利于不同尺度目标的检测。但现有的特征金字塔融合时未考虑不同层的特征图重要程度不同的问题，导致融合后用于检测的特征图的感受野大小难以与所负责检测目标的尺度更为精确地匹配。 人识别图像时，通过快速扫描全局图像获得需要重点关注的目标区域，对其投入更多的注意力以获取更多的目标信息，抑制其他无用信息，极大地提高了视觉信息处理的效率与准确性。目前基于深度学习的视觉注意力机制主要分为通道注意力和位置注意力。通道注意力先在空间维度上压缩特征，然后在通道维度降维和升维，生成每个特征通道的注意力权重，通过加权完成通道维度上对原始特征的重标定，如SENet（Squeeze-and-Excitation Networks）（ Hu等，2020 Hu等，2020 ）使用全局平均池化压缩特征生成注意力权重。而位置注意力先在通道维度上压缩特征，然后在空间维度降维和升维，生成每个位置的注意力权重。如Residual Attention Network（ Wang等，2017a Wang等，2017a ）使用编码解码的方式生成位置注意力权重，但其没有进行特征压缩，因此生成三维权重系数图，计算成本较高。也有将通道注意力和位置注意力相结合的研究，如CBAM（Convolutional Block Attention Module）网络（ Woo等，2018 Woo等，2018 ），先使用通道注意力调整原始特征，再使用位置注意力调整特征。CBAM的每个子模块都采用最大和平均两种方式压缩特征，注意力信息更加丰富。上述注意力机制不需要额外的监督信息，此外还有施加额外监督信息的注意力机制，如FAN（Face Attention Network）（ Wang等，2017b Wang等，2017b ）使用全卷积分割模块建模位置注意力权重，但其弱监督信息使得位置注意力不仅强调了目标，也强调了目标框内的背景。 基于以上分析，为使特征图的感受野大小与其负责检测目标的尺度更为精确地匹配，并通过弱监督信息建立强化目标的位置注意力，本文提出特征注意力金字塔FAP（Feature Attention Pyramid）和弱监督注意力模块WSA（Weakly Supervised Attention）。首先，使用通道拼接的方式融合不同深度的特征图，并在特征融合时使用通道注意力机制对各特征图在通道维度重标定，强化感受野大小与待检测目标尺度匹配度较高的特征，弱化匹配度较低的特征，提升目标检测方法对不同尺度目标的检测精度。其次，在RetinaNet网络Focal Loss损失的基础上添加弱监督注意力损失，使用叠加的ASPP（Atrous Spatial Pyramid Pooling）结构（ Chen等，2018 Chen等，2018 ）来提取特征和建模位置注意力权重，通过强调目标（而非包含背景的目标框）调整特征图的特征分布，提升目标检测性能。 为评价提出的特征注意力金字塔模块和弱监督注意力模块的有效性，设计了一个端到端的单阶段检测方法FAPNet。FAPNet首先使用ResNet-50（ He等，2016 He等，2016 ）主干网络提取卷积特征，然后使用特征注意力金字塔模块融合不同深度的特征图，生成多个不同分辨率的特征图用于后续的预测，最后在目标检测头网络中添加弱监督注意力模块，调整用于预测的特征图的特征分布，进一步提升目标检测性能。在UCAS-AOD（ Zhu等，2015 Zhu等，2015 ）和RSOD（ Long等，2017 Long等，2017 ）遥感图像数据集上的实验结果表明，本文方法超越了单阶段目标检测基准方法以及其他先进的方法。 2　方法 1 本文提出的FAPNet模型框架如 图1 图1 所示，首先，使用ResNet-50主干网络（ 图1 图1 中Backbone：ResNet50）从输入图像中提取特征，生成不同分辨率的特征图Res-2、Res-3、Res-4、Res-5；然后，利用所提特征注意力金字塔模块（ 图1 图1 中的Neck：FAP）融合特征，形成用于预测的特征图P3、P4、P5，并使用步长为2的卷积生成用于预测的特征图P6、P7；最后，在目标检测头网络部分（ 图1 图1 中的Head：Cls+box+WSA）添加弱监督注意力模块WSA，生成空间注意力权重调整特征图的特征分布，在多层特征图上预测边界框的位置和类别分数（ 图1 图1 中的Cls+box subnets），并使用非极大值抑制（ Dalal等，2005 Dalal等，2005 ）筛选检测结果。后续介绍各核心组件。 2.1　特征注意力金字塔（FAP） 2 本节首先介绍RetinaNet网络的特征金字塔结构，分析其不足，然后介绍本文所提特征注意力金字塔模块。 RetinaNet的特征金字塔结构使用插值法上采样低分辨率特征图到与高分辨率特征图的分辨率相同，使用元素相加的方式融合深层特征图和浅层特征图，使做检测的特征图既有丰富的语义信息又有丰富的细节信息，RetinaNet特征金字塔结构有效且速度快。 在特征金字塔结构中，不同分辨率的特征图负责检测不同尺度的目标，而检测不同尺度的目标需要不同大小感受野的特征，因此不同分辨率的特征图应具有与待检测目标尺度相匹配的感受野。但是RetinaNet的特征金字塔将不同深度的特征图融合时没有考虑其重要性差异，它们的重要性应该随其所负责检测目标的尺度而变化，从而为不同分辨率的特征图提供和感受野大小匹配度更高的特征。为此提出特征注意力金字塔模块，考虑目标尺度，融合不同深度的特征图时对不同大小感受野特征施以不同的权重。 特征注意力金字塔结构如 图1 图1 中的Neck：FAP所示。从Res-5开始使用插值法上采样深层特征图至与浅层特征图（ 图1 图1 中的Res-4）分辨率相同，然后使用通道拼接方式（ 图1 图1 中的*）与浅层特征图（ 图1 图1 中的Res-4）融合，再使用通道注意力机制（ 图1 图1 中的SE）对融合的特征图在通道维度重标定，以此类推，直到浅层特征图Res-3。这样做在Res-5经过SE施加了本层通道注意力，即通道维度重标定，其结果和Res-4卷积结果拼接后经过SE进行了Res-4这一层的通道维度重标定，进而该结果和Res-3卷积结果拼接后经过SE进行Res-3这一层的通道维度重标定，这种融合及施加注意力的方式对浅层融合了其下深层的具有通道注意力的卷积结果，在本层又进行一次通道维度重标定，对不同层的不同通道施以了不同的权重，来强化感受野大小与待检测目标尺度匹配度较高的特征，弱化匹配度较低的特征，以利于对不同尺度目标的检测。 特征注意力金字塔结构输出用于检测的特征图P3、P4、P5，另加深层特征图P6、P7作为最终用于检测的特征图。其中特征图P3来自于Res-3和P4的融合，P4来自于Res-4和P5的融合，因此P3包含不同深度特征图Res-3、Res-4、Res-5的特征，即包含不同大小感受野的特征。此外，每次融合后，使用通道注意力机制对融合的特征图在通道维度重标定，自适应地调整不同大小感受野特征的权重，使不同深度特征图的重要性在融合时随待检测目标尺度的变化而变化，因此融合后的特征图可以更有针对性地检测不同尺度的目标。 特征注意力金字塔的处理过程如 图2 图2 所示。首先，通过双线性插值上采样深层特征图（ 图2 图2 中的2x up）形成自顶向下的路径，自顶向下路径上的特征图具有丰富的语义信息。其次，通过 <math id="M1"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556466&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556463&type= 8.29733276 2.62466669 卷积操作统一主干网络的不同分辨率特征图的通道数形成自底向上的路径，自底向上路径上的特征图具有丰富的细节定位信息。然后，通过通道拼接方式融合来自于自顶向下路径和自底向上路径的相同分辨率的特征图，实现特征图语义信息与细节信息的融合（ 图2 图2 中的Concatenate）。同时使用通道注意力机制（ Hu等，2020 Hu等，2020 ）在通道维度对融合的特征图重标定，强化感受野大小与所负责检测目标尺度匹配度较高的特征，弱化匹配度较低的特征。最后，使用 <math id="M2"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556466&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556463&type= 8.29733276 2.62466669 的卷积操作将拼接融合导致加倍的特征通道数还原。 给定自底向上和自顶向下路径上的特征图分别为 <math id="M3"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556364&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556358&type= 20.15066719 4.06400013 和 <math id="M4"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556371&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556380&type= 22.26733208 4.06400013 ，则融合调整后的特征图 <math id="M5"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>S</mi><mi>E</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556376&type= 23.36800003 5.24933338 可表示为： <math display="block" id="M6"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>S</mi><mi>E</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfenced><mo>=</mo><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>⊗</mo><mi>S</mi><mi>E</mi><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556392&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556398&type= 55.54133606 5.24933338 <math display="block" id="M7"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>;</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556412&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556409&type= 24.89200020 5.24933338 <math display="block" id="M8"><mi>S</mi><mi>E</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced><mo>=</mo><mi>δ</mi><mfenced separators="|"><mrow><mi>M</mi><mi>L</mi><mi>P</mi><mfenced separators="|"><mrow><mi>A</mi><mi>v</mi><mi>g</mi><mi>P</mi><mi>o</mi><mi>o</mi><mi>l</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556424&type= 49.19132996 5.33400011 <math display="block" id="M9"><mi>M</mi><mi>L</mi><mi>P</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced><mo>=</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><mi>σ</mi><mfenced separators="|"><mrow><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556433&type= 40.89400101 5.24933338 式中， <math id="M10"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556663&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556644&type= 2.87866688 2.87866688 表示逐像素相乘， <math id="M11"><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556470&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556456&type= 10.92199993 3.80999994 表示卷积核为 <math id="M12"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556466&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556463&type= 8.29733276 2.62466669 的卷积操作，［；］表示通道拼接融合， <math id="M13"><mi>A</mi><mi>v</mi><mi>g</mi><mi>P</mi><mi>o</mi><mi>o</mi><mi>l</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556507&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556476&type= 16.51000023 3.80999994 表示全局平均池化操作， <math id="M14"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556522&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556521&type= 2.45533323 2.62466669 表示ReLU激活函数， <math id="M15"><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556726&type= 1.77800000 2.62466669 表示Sigmoid激活函数， <math id="M16"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556532&type= 4.06400013 3.72533321 和 <math id="M17"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556538&type= 4.06400013 3.72533321 表示MLP（multi-layer perceptron）的权重。 2.2　弱监督注意力模块 （WSA） 2 若能强化用于检测的特征图中目标区域的特征，弱化背景区域的特征，则有利于进一步提升目标检测的精度。为此使用一个卷积神经网络分支建模位置注意力权重，根据像素级标签对位置注意力建模过程进行学习，生成位置注意力权重作用于待检测的特征图。 本文借鉴FAN设计位置注意力模块的思想，但FAN位置注意力用于目标检测存在两个问题，一是FAN使用像素级标签，用图像分割网络预测某一像素是目标的概率并将其作为位置注意力权重。对于没有像素级标签的数据集，将图像中目标边界框内的区域全部标记为目标类别，以此作为图像分割网络的标签，进行弱监督分割网络训练。二是图像中某一位置的注意力权重不仅与自身及相邻像素相关，还与其他较远距离的同类像素相关，而FAN位置注意力模块只关注自身及相邻像素。为此，本文在建模位置注意力权重时，使用扩张空间金字塔池化结构 （ASPP），通过普通卷积捕获短距离像素间的相关信息，通过扩张卷积捕获长距离像素间的相关信息，达到既考虑自身和相邻像素信息，又考虑远距离像素信息的目的，期望对同类目标的注意力加以增强。 弱监督注意力模块WSA的结构如 图3 图3 所示，在WSA模块中叠加3个ASPP结构建模注意力权重， 图3 图3 中rate表示扩张卷积系数，Concat （Concatenate）表示通道拼接，Sigm（Sigmoid）表示激活函数，GAP（Global Average Pooling）和interp（interpolation）分别表示全局平均池化和上采样。对学习到的注意力权重特征图，先经过指数化（ 图3 图3 中的exp， exponential），将注意力权重值调整至大于1的范围以强化目标位置像素，然后乘到用于预测的特征图上，重标定特征图。 记施加位置注意力之前和之后的特征图分别为 <math id="M18"><mi mathvariant="bold-italic">F</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556572&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556567&type= 18.03400040 2.96333337 和 <math id="M19"><msub><mrow><mi>M</mi></mrow><mrow><mi>W</mi><mi>S</mi><mi>A</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556586&type= 12.53066730 3.72533321 ，则： <math display="block" id="M20"><msub><mrow><mi>M</mi></mrow><mrow><mi>W</mi><mi>S</mi><mi>A</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>⊗</mo><mi>W</mi><mi>S</mi><mi>A</mi><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556597&type= 40.04733276 3.72533321 <math display="block" id="M21"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msup><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556616&type= 19.72733307 3.80999994 <math display="block" id="M22"><mi>W</mi><mi>S</mi><mi>A</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced><mo>=</mo><mi>e</mi><mi>x</mi><mi>p</mi><mfenced separators="|"><mrow><mi>δ</mi><mfenced separators="|"><mrow><mi>A</mi><mi>S</mi><mi>P</mi><msup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556638&type= 46.73600006 5.24933338 式中， <math id="M23"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556663&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556644&type= 2.87866688 2.87866688 表示逐像素相乘， <math id="M24"><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msup><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556670&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556665&type= 10.92199993 3.80999994 表示卷积核为 <math id="M25"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556674&type= 8.29733276 2.70933342 的卷积操作， <math id="M26"><mi>A</mi><mi>S</mi><mi>P</mi><msup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556685&type= 13.88533401 3.80999994 表示 <math id="M27"><mi>A</mi><mi>S</mi><mi>P</mi><mi>P</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556724&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556691&type= 13.12333298 3.80999994 操作连续使用3次，相邻两次操作之间跟随ReLU激活函数， <math id="M28"><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556726&type= 1.77800000 2.62466669 表示Sigmoid激活函数， <math id="M29"><mi>e</mi><mi>x</mi><mi>p</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556719&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556715&type= 9.05933285 3.80999994 表示指数化函数。 2.3　模型训练 2 使用在ImageNet数据集上预训练得到的ResNet-50模型参数初始化FAPNet模型。输入图像为800像素 <math id="M30"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556722&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556737&type= 1.77800000 2.62466669 800像素。FAPNet模型的损失函数由注意力损失 <math id="M31"><msub><mrow><mi>L</mi></mrow><mrow><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556754&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556744&type= 3.13266683 3.72533321 （ 图1 图1 中的Attention loss）、回归损失 <math id="M32"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556768&type= 2.79399991 3.72533321 和分类损失 <math id="M33"><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556776&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556763&type= 2.87866688 3.72533321 （ 图1 图1 中的Cls+box loss）之和构成，损失函数如 式（8） 式（8） 所示： <math display="block" id="M34"><mtable columnalign="left"><mtr><mtd><mi>L</mi><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi></mrow></munder><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msubsup><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>c</mi></mrow></msubsup></mrow></mfrac></mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></munder><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi></mrow></munder><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msubsup><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>r</mi></mrow></msubsup></mrow></mfrac></mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></munder><mrow><mi>I</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">1</mn></mrow></mfenced><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></mrow><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi></mrow></munder><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>a</mi></mrow></msub></mrow><mfenced separators="|"><mrow><msub><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556784&type= 47.24399948 27.43199921 式中， <math id="M35"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556790&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556787&type= 3.38666677 3.72533321 和 <math id="M36"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556793&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556804&type= 3.38666677 3.72533321 被用来平衡3个损失项，设置为 <math id="M37"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556818&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556813&type= 16.93333435 3.72533321 。 k 表示特征金字塔层次的索引（ <math id="M38"><mi>k</mi><mo>∈</mo><mfenced open="[" close="]" separators="|"><mrow><mn mathvariant="normal">3,7</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556826&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556823&type= 15.83266735 3.89466691 ）， <math id="M39"><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556832&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556844&type= 3.38666677 3.72533321 表示金字塔层次 <math id="M40"><msub><mrow><mi>P</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556980&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556978&type= 3.38666677 3.72533321 上定义的锚框的集合， <math id="M41"><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556854&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556852&type= 3.21733332 4.82600021 为1表示正锚框， <math id="M42"><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556873&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556842&type= 3.21733332 4.82600021 为0表示负锚框， <math id="M43"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556875&type= 2.79399991 4.57200003 表示模型预测的分类结果， <math id="M44"><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556881&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556866&type= 1.77800000 3.72533321 表示预测边界框的坐标， <math id="M45"><msubsup><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556887&type= 2.20133328 4.06400013 表示与正锚框匹配的真值框的位置坐标。 注意力损失 <math id="M46"><msub><mrow><mi>L</mi></mrow><mrow><mi>a</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556905&type= 17.44133186 4.31799984 是像素级的sigmoid交叉熵损失， <math id="M47"><msub><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556912&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556910&type= 3.72533321 3.72533321 表示每一层次生成的注意力热图， <math id="M48"><msubsup><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556918&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556915&type= 3.89466691 4.06400013 是弱监督像素级标签。 回归损失 <math id="M49"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556921&type= 12.61533356 4.31799984 是平滑L1定位损失， <math id="M50"><mi>I</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">1</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556937&type= 13.97000027 4.57200003 限制回归损失只回归正锚框的位置， <math id="M51"><msubsup><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mo>=</mo><msub><mo>∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msub><mrow><mi>I</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556941&type= 31.58066559 5.24933338 。 分类损失 <math id="M52"><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556952&type= 15.23999977 4.57200003 是focal loss损失， <math id="M53"><msubsup><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556968&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556966&type= 3.80999994 4.06400013 表示 <math id="M54"><msub><mrow><mi>P</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556980&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556978&type= 3.38666677 3.72533321 中参与分类损失计算的锚框的数量。 3　实验结果与分析 1 3.1　实验配置及评价指标 2 实验使用的设备是64位Ubuntu系统的z840-HP工作站，硬件配置为Intel（R）Xeon（R）CPU E5-2623 v4 2.60 GHz处理器、128 GB内存和2 TB硬盘。模型训练与测试使用pytorch深度学习平台和12 GB显存的NVIDIA Pascal Titan X GPU。 FAPNet是多类目标检测器。分别在UCAS-AOD（ Zhu等，2015 Zhu等，2015 ）数据集和RSOD（ Long等，2017 Long等，2017 ）数据集上评价本文方法的性能，使用mAP和运行时间作为评价指标。 定义精确率 <math id="M55"><mi mathvariant="normal">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556983&type= 2.11666679 2.62466669 （Precision）为 <math display="block" id="M56"><mi mathvariant="normal">P</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42556986&type= 20.06599998 7.28133297 召回率 <math id="M57"><mi mathvariant="normal">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557009&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557001&type= 2.53999996 2.70933342 （Recall）为 <math display="block" id="M58"><mi mathvariant="normal">R</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557006&type= 20.91266632 7.36600018 式中， <math id="M59"><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557028&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557017&type= 4.14866638 2.62466669 指正类被判定为正类； <math id="M60"><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557038&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557021&type= 4.57200003 2.70933342 指正类被判定为负类； <math id="M61"><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557054&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557040&type= 4.14866638 2.62466669 指负类被判定为正类； <math id="M62"><mi mathvariant="normal">T</mi><mi mathvariant="normal">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557048&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557045&type= 4.57200003 2.70933342 指负类被判定为负类。 AP（Average Precision）被定义为在11个不同召回率水平 <math id="M63"><mfenced open="[" close="]" separators="|"><mrow><mn mathvariant="normal">0,0.1,0.2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">1</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557050&type= 34.03599930 3.89466691 上的最大精确率的平均值： <math display="block" id="M64"><mi mathvariant="normal">A</mi><mi mathvariant="normal">P</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">11</mn></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>r</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mn mathvariant="normal">0,0.1</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></munder><mrow><msub><mrow><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></mrow><mfenced separators="|"><mrow><mi>r</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557052&type= 36.66066742 8.89000034 式中， <math id="M65"><msub><mrow><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mfenced separators="|"><mrow><mi>r</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557072&type= 9.99066734 3.72533321 指在召回率为 <math id="M66"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557080&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42557089&type= 1.26999998 2.62466669 时的最大精确率。AP是单个类别目标的评价指标，mAP指多个类别目标的AP的平均值。 3.2　UCAS-AOD数据集实验 2 UCAS-AOD数据集有汽车图像510张，包含汽车样本7114个；有飞机图像1000张，包含飞机样本7482个。数据集以7∶3的比例随机划分为训练集和测试集，划分与对比方法保持一致。使用随机梯度下降法训练模型，初始学习率为0.001，在20 epochs和40 epochs分别降低到0.0001和0.00001，在50 epochs时停止训练。 图4 图4 展示了本文方法FAPNet和对比方法RetinaNet、FAN在UCAS-AOD数据集上的部分检测结果。在UCAS-AOD测试数据集上的实验结果见 表1 表1 ，比较方法包括RetinaNet，在Resnet-50基础上添加特征注意力金字塔模块的模型（使用Feature attention pyramid表示），提出的FAPNet（即在Resnet-50基础上同时添加特征注意力金字塔模块和弱监督注意力模块），以及FAN等。所有结果来自于我们的实现，数据集划分方式相同。其中RetinaNet采用特征金字塔结构和focal loss损失，FAN采用特征金字塔和注意力机制。从 表1 表1 可以看出在UCAS-AOD数据集上，对于两个目标，在Resnet-50基础上添加所提特征注意力金字塔模块使AP和mAP结果都得到了提升，继续添加弱监督注意力模块，进一步提升了AP和mAP的值。 1,2,3; 方法 汽车 飞机 mAP FAN 89.26 98.12 93.69 RetinaNet 87.28 98.13 92.71 Feature attention pyramid 89.63 98.16 93.89 FAPNet 90.69 98.28 94.48 表2 表2 对比了本文方法和其他遥感目标检测方法在UCAS-AOD数据集上的平均运行时间。其中FAPNet、FAN、RetinaNet结果来自本文实验，其他方法结果来自文献（Tayara 和Chong，2018），各实验使用的设备的GPU型号是Titan X。由于各实验实现环境不同，结果仅做趋势比较。从 表2 表2 可以看出，BoW、Transferred CNN等非端到端的深度学习遥感图像目标检测方法的测试时间较长，Faster R-CNN、Deformable CNN等两阶段遥感图像目标检测方法的测试时间较短，而SSD、RetinaNet、FAN等单阶段遥感图像目标检测方法的测试时间进一步降低，本文所提FAPNet是单阶段目标检测方法，测试时间低于两阶段目标检测方法，与典型的单阶段目标检测方法的测试时间具有可比性。 方法 Average Testing Time per Image/s 方法 Average Testing Time per Image/s BoW 5.32 Multi-Scale CN 0.11 COPD 1.07 SSD 0.09 Transferred CNN 5.24 FAN 0.10 Faster R-CNN 0.16 RetinaNet 0.08 Deformable CNN 0.20 FAPNet 0.12 3.3　RSOD数据集实验 2 RSOD数据集总计2326张图像，来自于Google Earth，类别包含飞机、油桶、操场、立交桥4种。其中飞机图像446张，包含4993个飞机样本；油桶图像165张，包含1586个油桶样本；操场图像189张，包含191个操场样本；立交桥图像176张，包含180个立交桥样本；其余是背景图像。 数据集划分与对比方法保持一致，即以7∶3的比例随机划分为训练集和测试集。使用随机梯度下降法训练模型，初始学习率为0.001，在20 epochs和40 epochs分别降低到0.0001和0.00001，在50 epochs时停止训练。 表3 表3 列出了本文方法和比较方法在RSOD测试集上的检测精度，FAPNet、RetinaNet和FAN的结果为本文实验所得，其他方法的结果来自原文献。 图5 图5 列出了本文方法在RSOD数据集上的部分检测结果，方法名称后的括号中列出了每种方法的主干网络类型。其中RFN （Rotated Feature Network）（ Zhou等，2021 Zhou等，2021 ）针对多角度目标检测，对于大小普遍偏小的飞机目标检测精度较低；Densely Connected FPN （ Tayara和Chong，2018 Tayara和Chong，2018 ）采用密集连接特征金字塔结构，对立交桥目标检测精度偏低，该模型使用ResNet-101主干网络时的mAP（94.19%）比采用ResNet-50的主干网络的mAP（91.53%）有显著提高。本文参考的基本方法RetinaNet和FAN的mAP结果优于采用ResNet-50的Densely Connected FPN和采用ResNet-101的RFN，且FAN的mAP还稍高于采用ResNet-101的Densely Connected FPN。而本文方法FAPNet在这些方法中取得了最高的mAP结果，并且每类目标的AP也是得到了最好或接近最好的结果，表明FAPNet采用提出的特征注意力金字塔模块和弱监督注意力模块，对不同类别不同尺度的目标表现了较强的检测性能。 方法 飞机 油桶 立交桥 操场 mAP RFN （ResNet-101） 79.10 90.50 100.0 99.70 92.30 Densely Connected FPN （ResNet-50） 85.76 95.55 85.28 99.55 91.53 Densely Connected FPN （ResNet-101） 86.25 95.98 94.67 99.87 94.19 RetinaNet （ResNet-50） 82.15 97.09 93.87 100.0 93.27 FAN （ResNet-50） 84.42 97.60 95.13 100.0 94.28 FAPNet （ResNet-50） 84.93 97.32 100.0 99.85 95.53 4　结论 1 提出一种基于特征注意力金字塔的遥感图像目标检测方法FAPNet，其贡献在于设计的特征注意力金字塔模块和弱监督注意力模块。特征注意力金字塔模块首先使用通道拼接的方式融合深层特征图的语义信息和浅层特征图的细节信息，给用于检测的特征图提供不同大小感受野的特征；其次，使用通道注意力机制对融合的特征图在通道维度重标定，根据负责检测目标的尺度自适应地调整不同大小感受野特征的权重，强化感受野大小与待检测目标尺度匹配度较高的特征，弱化匹配度较低的特征。弱监督注意力模块使用叠加的扩张空间金字塔池化结构和卷积分割模块建模位置注意力权重，以调整用于预测的特征图的特征分布，强化目标区域特征，弱化背景区域特征，进一步提升目标检测网络的性能。本文方法在两个公开的遥感数据集上进行了实验，并和其他同类方法加以比较，结果表明本文方法在mAP精度上超越了其他先进方法，在多类不同大小的目标上检测性能得到提升。 参考文献（References） Chen L C , Papandreou G , Kokkinos I , Murphy K and Yuille A L . 2018 . DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs . IEEE Transactions on Pattern Analysis and Machine Intelligence , 40 ( 4 ): 834 - 848 [ DOI: 10.1109/TPAMI.2017.2699184 http://dx.doi.org/10.1109/TPAMI.2017.2699184 ] DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs Dai J F , Li Y , He K M and Sun J . 2016 . R-FCN: object detection via region-based fully convolutional networks // Proceedings of the 30th International Conference on Neural Information Processing Systems . Barcelona, Spain : Curran Associates Inc.: 379 - 387 R-FCN: object detection via region-based fully convolutional networks Dalal N and Triggs B . 2005 . Histograms of oriented gradients for human detection // Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition . San Diego, CA, USA : IEEE: 886 - 893 [ DOI: 10.1109/CVPR.2005.177 http://dx.doi.org/10.1109/CVPR.2005.177 ] Histograms of oriented gradients for human detection Fu C Y , Liu W , Ranga A , Tyagi A and Berg A C . 2017 . DSSD: deconvolutional single shot detector . arXiv preprint arXiv : 1701 . 06659 [ DOI: 10.48550/arXiv.1701.06659 http://dx.doi.org/10.48550/arXiv.1701.06659 ] DSSD: deconvolutional single shot detector He K M , Zhang X Y , Ren S Q and Sun J . 2016 . Deep residual learning for image recognition // Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas, NV, USA : IEEE: 770 - 778 [ DOI: 10.1109/CVPR.2016.90 http://dx.doi.org/10.1109/CVPR.2016.90 ] Deep residual learning for image recognition Hu J , Shen L , Albanie S , Sun G and Wu E H . 2020 . Squeeze-and-excitation networks . IEEE Transactions on Pattern Analysis and Machine Intelligence , 42 ( 8 ): 2011 - 2023 [ DOI: 10.1109/TPAMI.2019.2913372 http://dx.doi.org/10.1109/TPAMI.2019.2913372 ] Squeeze-and-excitation networks Hu P Y and Ramanan D . 2017 . Finding tiny faces // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : 1522 - 1530 [ DOI: 10.1109/CVPR.2017.166 http://dx.doi.org/10.1109/CVPR.2017.166 ] Finding tiny faces Huang G , Liu Z , Van Der Maaten L and Weinberger K Q . 2017 . Densely connected convolutional networks // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : IEEE: 2261 - 2269 [ DOI: 10.1109/CVPR.2017.243 http://dx.doi.org/10.1109/CVPR.2017.243 ] Densely connected convolutional networks Lin T Y , Dollár P , Girshick R , He K M , Hariharan B and Belongie S . 2017 . Feature pyramid networks for object detection // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : IEEE: 936 - 944 [ DOI: 10.1109/CVPR.2017.106 http://dx.doi.org/10.1109/CVPR.2017.106 ] Feature pyramid networks for object detection Lin T Y , Goyal P , Girshick R , He K M and Dollár P . 2020 . Focal loss for dense object detection . IEEE Transactions on Pattern Analysis and Machine Intelligence , 42 ( 2 ): 318 - 327 [ DOI: 10.1109/TPAMI.2018.2858826 http://dx.doi.org/10.1109/TPAMI.2018.2858826 ] Focal loss for dense object detection Liu W , Anguelov D , Erhan D , Szegedy C , Reed S , Fu C Y and Berg A C . 2016 . SSD: single shot multiBox detector // Proceedings of the 2016 14th European Conference on Computer Vision . Amsterdam : Springer: 21 - 37 [ DOI: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 ] SSD: single shot multiBox detector Long Y , Gong Y P , Xiao Z E and Liu Q . 2017 . Accurate object localization in remote sensing images based on convolutional neural networks . IEEE Transactions on Geoscience and Remote Sensing , 55 ( 5 ): 2486 - 2498 [ DOI: 10.1109/TGRS.2016.2645610 http://dx.doi.org/10.1109/TGRS.2016.2645610 ] Accurate object localization in remote sensing images based on convolutional neural networks Redmon J and Farhad A . 2017 . YOLO9000: better, faster, stronger // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : IEEE: 6517 - 6525 [ DOI: 10.1109/CVPR.2017.690 http://dx.doi.org/10.1109/CVPR.2017.690 ] YOLO9000: better, faster, stronger Ren S Q , He K M , Girshick R and Sun J . 2017 . Faster R-CNN: towards real-time object detection with region proposal networks . IEEE Transactions on Pattern Analysis and Machine Intelligence , 39 ( 6 ): 1137 - 1149 [ DOI: 10.1109/TPAMI.2016.2577031 http://dx.doi.org/10.1109/TPAMI.2016.2577031 ] Faster R-CNN: towards real-time object detection with region proposal networks Singh B and Davis L S . 2018 . An analysis of scale invariance in object detection-SNIP // Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City, UT, USA : IEEE: 3578 - 3587 [ DOI: 10.1109/CVPR.2018.00377 http://dx.doi.org/10.1109/CVPR.2018.00377 ] An analysis of scale invariance in object detection-SNIP Tayara H and Chong K T . 2018 . Object detection in very high-resolution aerial images using one-stage densely connected feature pyramid network . Sensors , 18 ( 10 ): 3341 [ DOI: 10.3390/s18103341 http://dx.doi.org/10.3390/s18103341 ] Object detection in very high-resolution aerial images using one-stage densely connected feature pyramid network Wang F , Jiang M Q , Qian C , Yang S , Li C , Zhang H G , Wang X G and Tang X O . 2017a . Residual attention network for image classification // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu, HI, USA : IEEE: 6450 - 6458 [ DOI: 10.1109/CVPR.2017.683 http://dx.doi.org/10.1109/CVPR.2017.683 ] Residual attention network for image classification Wang J F , Yuan Y and Yu G . 2017b . Face attention network: an effective face detector for the occluded faces . arxiv preprint arXiv : 1711 . 07246 [ DOI: 10.48550/arXiv.1711.07246 http://dx.doi.org/10.48550/arXiv.1711.07246 ] Face attention network: an effective face detector for the occluded faces Woo S , Park J , Lee J Y and Kweon I S . 2018 . CBAM: convolutional block attention module // Proceedings of 2018 the 15th European Conference on Computer Vision . Munich : Springer: 3 - 19 [ DOI: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 ] CBAM: convolutional block attention module Yang A P , Lu L Y and Ji Z . 2020 . Multi-feature concatenation network for object detection . Journal of Tianjin University (Natural Science and Engineering) , 53 ( 6 ): 647 - 652 Multi-feature concatenation network for object detection 杨爱萍 , 鲁立宇 , 冀中 . 2020 . 多层特征图堆叠网络及其目标检测方法 . 天津大学学报(自然科学与工程技术版) , 53 ( 6 ): 647 - 652 [ DOI: 10.11784/tdxbz201904007 http://dx.doi.org/10.11784/tdxbz201904007 ] 多层特征图堆叠网络及其目标检测方法 Yu Y , Hua A , He X J , Yu S H , Zhong X and Zhu R F . 2020 . Attention-based feature pyramid networks for ship detection of optical remote sensing image . Journal of Remote Sensing , 24 ( 2 ): 107 - 115 Attention-based feature pyramid networks for ship detection of optical remote sensing image 于野 , 艾华 , 贺小军 , 于树海 , 钟兴 , 朱瑞飞 . 2020 . A-FPN算法及其在遥感图像船舶检测中的应用 . 遥感学报 , 24 ( 2 ): 107 - 115 [ DOI: 10.11834/jrs.20208264 http://dx.doi.org/10.11834/jrs.20208264 ] A-FPN算法及其在遥感图像船舶检测中的应用 Zhou K B , Zhang Z X , Gao C X and Liu J . 2021 . Rotated feature network for multiorientation object detection of remote-sensing images . IEEE Geoscience and Remote Sensing Letters , 18 ( 1 ): 33 - 37 [ DOI: 10.1109/LGRS.2020.2965629 http://dx.doi.org/10.1109/LGRS.2020.2965629 ] Rotated feature network for multiorientation object detection of remote-sensing images Zhou P , Ni B B , Geng C , Hu J G and Xu Y . 2018 . Scale-transferrable object detection // Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City, UT, USA : IEEE: 528 - 537 [ DOI: 10.1109/CVPR.2018.00062 http://dx.doi.org/10.1109/CVPR.2018.00062 ] Scale-transferrable object detection Zhu H G , Chen X G , Dai W Q , Fu K , Ye Q X and Jiao J B . 2015 . Orientation robust object detection in aerial images using deep convolutional neural network // Proceedings of the 2015 IEEE International Conference on Image Processing . Quebec City, QC, Canada : IEEE: 3735 - 3739 [ DOI: 10.1109/ICIP.2015.7351502 http://dx.doi.org/10.1109/ICIP.2015.7351502 ] Orientation robust object detection in aerial images using deep convolutional neural network 10.11834/jrs.20235011 P2 1007-4619（2023）02-0492-10 汪西莉，梁正印，刘涛.2023.基于特征注意力金字塔的遥感图像目标检测方法.遥感学报，27（2）： 492-501 汪西莉，梁正印，刘涛.2023.基于特征注意力金字塔的遥感图像目标检测方法.遥感学报，27（2）： 492-501 Wang X L，Liang Z Y and Liu T. 2023. Feature attention pyramid-based remote sensing image object detection method. National Remote Sensing Bulletin， 27（2）： Wang X L，Liang Z Y and Liu T. 2023. Feature attention pyramid-based remote sensing image object detection method. National Remote Sensing Bulletin， 27（2）： 第二次青藏高原综合科学考察研究项目（编号： 2019QZKK0405） Supported by Second Tibetan Plateau Scientific Expedition and Research (No. 2019QZKK0405) 2020-11-26 2023-02-07 2023-04-20 2021-09-13 遥感学报 2 27