面向精细化多尺度特征的遥感图像目标检测

面向精细化多尺度特征的遥感图像目标检测 Refined multi-scale feature-oriented object detection of the remote sensing images 1 2 first-author 张省， 研究方向为遥感大数据及高性能计算。E-mail：shengzhang@cumt.edu.cn 张省， 研究方向为遥感大数据及高性能计算。E-mail：shengzhang@cumt.edu.cn shengzhang@cumt.edu.cn 3 corresp 李山山， 研究方向为遥感数据处理及应用。E-mail：lishanshan@aircas.ac.cn 李山山， 研究方向为遥感数据处理及应用。E-mail：lishanshan@aircas.ac.cn lishanshan@aircas.ac.cn 4 1 5 中国矿业大学 环境与测绘学院, 徐州 221116 中国矿业大学 环境与测绘学院, 徐州 221116 School of Environment Science and Spatial Informatics, China University of Mining and Technology, Xuzhou 221116, China School of Environment Science and Spatial Informatics, China University of Mining and Technology, Xuzhou 221116, China 中国矿业大学 人工智能研究院, 徐州 221116 中国矿业大学 人工智能研究院, 徐州 221116 Artificial Intelligence Research Institute, China University of Mining and Technology, Xuzhou 221116, China Artificial Intelligence Research Institute, China University of Mining and Technology, Xuzhou 221116, China 中国科学院空天信息创新研究院, 北京 100094 中国科学院空天信息创新研究院, 北京 100094 Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China 济南市勘察测绘研究院, 济南 250013 济南市勘察测绘研究院, 济南 250013 Jinan Institute of Surveying and Mapping Survey, Jinan 250013, China Jinan Institute of Surveying and Mapping Survey, Jinan 250013, China 中国空间技术研究院卫星应用总体部, 北京 100094 中国空间技术研究院卫星应用总体部, 北京 100094 Institute of Spacecraft Application System Engineering, Beijing 100094, China Institute of Spacecraft Application System Engineering, Beijing 100094, China 遥感图像目标检测是对目标视觉特征的描述与图像先验知识的表达，解译得到的信息无论在军事领域还是在民用领域都有着广泛的应用。针对复杂场景下遥感图像目标特征提取能力不足，目标尺度差异较大、方向任意且紧密排列，传统目标检测所使用的水平框难以准确定向等问题，提出了一种精细化多尺度特征的遥感图像定向目标检测算法。首先，设计了一种基于空洞卷积的上下文注意力网络，能够利用不同空洞率的卷积核捕获局部和全局语义信息，并利用注意力机制将语义信息整合到原始特征上，提升目标特征提取能力；其次，提出了一个精细化的特征金字塔网络，通过像素混洗的方式减少特征金字塔中的通道信息损失，强化网络对差异性大的多尺度目标特征信息的理解能力；最后，研究利用滑动顶点的方式回归定向的矩形框，更好地表示遥感图像内有向目标的位置。本文以Fast R-CNN OBB为基准，通过在目标检测公开数据集DOTA和HRSC2016上验证了算法的有效性，结果显示本文算法在DOTA数据集上与基准算法比较，平均精度（mAP）提升了22.65%，最终检测精度mAP达到了76.78%。在HRSC2016数据集上，最终检测精度mAP达到了89.95%。此外，本文算法较多种先进算法相比均有具有较好的提升。 Object detection of remote sensing image is the description of visual features of the object and the expression of the image prior knowledge, and the information obtained by the interpretation has a wide range of applications in both military and civilian fields. A refined multi-scale feature-oriented object detection of remote sensing image is proposed to address the problems of insufficient feature extraction capability of remote sensing image objects in complex scenes, large variations in object scales, arbitrary and closely arranged directions, and difficulties in the accurate orientation of horizontal frames used in traditional object detection. First, a contextual attention network based on dilated convolution is designed, which can capture local and global semantic information by using convolution kernels with different dilated rates and integrate semantic information into the original features utilizing an attention mechanism to enhance feature extraction. Second, a refined feature pyramid network is proposed to reduce the loss of channel information in the feature pyramid by pixel shuffling and strengthen the network’s ability to understand multi-scale object feature information with large variances. Finally, the study uses gliding vertices to regress the oriented rectangular box to represent the location of directed objects within remote sensing images. In this work, the effectiveness of the algorithm is verified by using Fast R-CNN OBB as a baseline on the object detection public datasets DOTA and HRSC2016. Results show that the algorithm in this work improves the mean average precision (mAP) by 22.65% on the DOTA dataset compared with the baseline. The final detection accuracy mAP reaches 76.78%. The final detection accuracy mAP on the HRSC2016 dataset reached 89.95%. In addition, the algorithm in this work has a better improvement compared with the various advanced algorithms. Conclusion 2 First, the contextual attention network with dilated convolution is used to strengthen the object features, which enhances the discriminative ability of the convolutional neural network for objects and backgrounds in remote sensing images. Second, the refined feature pyramid is used to solve the problem of large variation of objects in remote sensing images. Finally, the direction factor of gliding vertices is introduced to represent the oriented objects, which reduces the regression boundedness problem that can be brought by angle regression. 遥感 深度学习 目标检测 特征提取 多尺度特征金字塔 定向回归框 remote sensing deep learning object detection feature extraction multi-scale feature pyramid oriented bounding box 1　引 言 1 随着遥感技术的不断发展，遥感数据的获取不再困难，利用遥感数据及时准确地掌握地物目标的位置分布对交通规划、精准农业、军事侦察以及海洋管理等都具有重大的意义（ 刘畅和朱卫纲，2021 刘畅和朱卫纲，2021 ）。然而，传统的遥感图像目标检测方法利用方向梯度直方图HOG（Histogram of Oriented Gradient）特征或者尺度不变特征转换SIFT（Scale-invariant feature transform），缺乏对遥感图像中目标稀疏性以及遥感图像尺度问题的考虑，同时存在计算开销大等问题（ 姚艳清 等，2021 姚艳清 等，2021 ）。因此对遥感影像中特定目标高效地定位与识别成为了当前的研究热点。 近些年来，深度学习和计算机视觉技术不断发展，在自然场景下基于卷积神经网络CNNs（Convolutional Neural Networks）的目标检测算法代替了传统HOG和SIFT的手工特征，取得了突破性的进展。R-CNN（Region-based Convolutional Neural Network）（ Girshick，2014 Girshick，2014 ）率先利用CNNs对候选目标区域提取特征，再利用机器学习方法对这些区域进行分类和定位。Fast R-CNN（ Girshick，2015 Girshick，2015 ）在其基础上利用特征图进行感兴趣区域的提取，极大地减少了计算量。Faster R-CNN（ Ren 等，2017 Ren 等，2017 ）摒弃了选择性搜索算法SS（Selected Search），利用区域生成网络RPN（Region Proposal Network）来提取感兴趣区域，提升了检测的精度和效率；此外，以YOLO（Yon Only Look Once）（ Redmon 等，2016 Redmon 等，2016 ）、RetinaNet（ Lin 等，2017b Lin 等，2017b ）等算法为代表的单阶段目标检测算法致力于提升模型整体的运算效率。YOLO算法将检测任务统一视为回归问题，将图像划分为多个子区域并在每个区域内找到目标的位置（ Redmon 等，2016 Redmon 等，2016 ）。SSD（ Liu 等，2016 Liu 等，2016 ）得益于Faster R-CNN和YOLO的思想，设计单阶段的网络模型并利用锚点框（Anchor box）来进行目标检测；RetinaNet提出了Focal loss函数，使单阶段网络更好地学习难样本，提高了单阶段检测的准确性。由于这些算法能够精准地检测自然场景下的多类目标，许多研究将这些算法直接地应用于遥感图像目标检测任务中去（ 奚祥书 等，2022 奚祥书 等，2022 ）。然而，当遥感图像包含更复杂的场景信息，图像分辨率高而目标相对较小时，传统的CNN结构将无法提取图像中精细化的目标特征。随着CNN层数的加深，感受野随之越来越大，因此一些目标在顶层特征图上出现特征消失的现象（ Lin 等，2017a Lin 等，2017a ）；此外，由于遥感图像背景复杂，传统的CNN容易受到噪声影响导致激活错误的区域，从而导致目标特征提取不足；待检测的目标尺度变化较大，单一尺度的检测方式弱化了模型对目标的感知能力（ Girshick等，2014 Girshick等，2014 ；Ren等，2015）；而且遥感图像中的目标往往定向分布，等等。因此传统的回归框不能够较好地表示遥感图像中目标的位置信息。 针对上述问题，许多研究改进自然场景下基于卷积神经网络的目标检测算法，使其更好地应用于遥感场景下的目标检测任务。 （1）对于遥感图像目标特征提取能力不足的问题，许多研究致力于在特征提取网络上进行改进。Mask OBB（Mask Oriented Bounding Box）（ Wang 等，2019 Wang 等，2019 ）引入了语义注意力机制，用于强化目标特征，过滤背景信息；YOLT（You Only Look Twice）（Van Etten，2018）为了解决高分辨率遥感图像场景信息复杂的问题，将大尺寸的图像剪裁成较小的图像块，再利用YOLO等方法对单个图像块进行检测，最终合并结果；CBDA-Net（Center-Boundary Dual Attention Network）（ Liu 等，2021 Liu 等，2021 ）则利用一个双流注意力网络提取目标中心和边界信息用于区分目标和背景。上述方法主要通过区分背景和目标来强化目标表征，但是忽略了特征的上下文语义以及缺乏更为精细化的目标特征。 （2）对应遥感图像目标检测中目标尺度变化较大的问题，许多研究采用特征金字塔（ Lin 等，2017a Lin 等，2017a ）的形式进行多层级检测。如 姚群力等（2019） 姚群力等（2019） 通过构造深层特征金字塔和聚焦分类损失，有效地提升模型对多尺度目标的检测精度； 史文旭等（2020） 史文旭等（2020） 为提高复杂场景下多尺度目标检测的性能，利用特征增强和特征融合的方法改进特征金字塔以适应不同背景下的遥感图像目标检测。然而这些方法仅利用不同尺寸的特征图来进行多尺度检测同时，也忽略了特征金字塔的通道信息损失，不利于后续目标地定位和分类。 （3）在遥感图像中目标的定向分布问题中，许多研究引入了角度值和定向检测框来表示目标的位置信息。RRPN（Rotation Region Proposal Network）（ Ma 等，2018 Ma 等，2018 ）率先利用旋转锚点框的方法去匹配密集排列的旋转目标，实现了目标方向角度的回归；SCRDet（Detection for Small， Cluttered and Rotated Objects）（ Yang 等，2019 Yang 等，2019 ）引入了平滑交并比损失在一定程度上解决了角度回归的边界问题。然而角度值回归会引发边界问题而平滑交并比利用交并比因子来缓解角度值引发的回归突变并没有从本质上解决边界问题。 本文针对遥感图像目标检测中存在的特征提取困难、尺度差异较大、有向目标方向表示三方面问题，提出了一个新的基于精细化多尺度特征的遥感图像定向目标检测算法；该方法充分考虑了遥感图像的场景复杂以及尺度问题，设计了一个基于空洞卷积的上下文注意力网络，提出了精细化的特征金字塔网络并在检测任务中引入了新的方向因子。本文具体贡献包括：（1）设计了基于空洞卷积的上下文注意力网络，提高模型对复杂背景下目标的特征表示能力；（2）设计了精细化的特征金字塔网络，有效地缓解由于遥感图像中目标尺度变化对模型性能的影响；（3）引入了新的方向因子来表示遥感图像中目标的方向信息。 2　研究方法 1 本文在Faster R-CNN OBB（Faster Region-Convolutional Neural Network for Oriented Bounding Box）上进行改进，在特征提取阶段引入了基于空洞卷积的上下文注意力网络，提高了主干网络对目标特征的表示能力；在多层级特征提取阶段，设计了一个精细化特征金字塔网络，帮助模型提取图像中多尺度目标；在回归阶段引入了新的方向因子表示目标的方向信息。下面将详细介绍各个模块。 2.1　基于空洞卷积的上下文注意力网络 2 在基于卷积神经网络的特征提取方法中，特征图的语义信息随着网络的加深而愈加丰富（ 于野 等，2020 于野 等，2020 ）。因此在目标检测方法中，往往对顶层特征图进行目标的分类和定位。然而这种特征提取很难在场景信息较大的遥感图像中提取较小目标的表征，尤其在ResNet（ He 等，2016 He 等，2016 ）下采样的过程中，模型很难提取甚至丢失这些目标的表征；此外，遥感图像存在大量的背景噪声，很容易干扰网络对目标显式特征的判断（ 周勇 等，2021 周勇 等，2021 ）。为了解决这些困难，本文设计了一个基于空洞卷积的上下文注意力网络，嵌入到ResNet-50各个阶段之间，提高模型在复杂背景下目标特征的表示能力，改进后的特征提取网络如 图1 图1 所示。 ResNet-50包含5个阶段（stage），16个残差块，50个卷积层。在每个阶段之间，利用基于空洞卷积注意力来强化特征对目标尺度的感知能力并且利用上下文信息来弱化背景噪声对目标特征提取的影响。具体的注意力网络结构如 图2 图2 所示。 空洞卷积由于其更为广泛的感受野，可以感知上下文特征而被广泛应用（ Chen 等，2017 Chen 等，2017 ）。引入空洞卷积使 ResNet 在保持参数量不变、每个阶段的卷积层视野不变的前提下，靠后的卷积层也可保持较大的特征图尺寸，从而有利于对小目标的检测，提高模型整体性能（Yu和 Koltun，2016； Chen 等，2017 Chen 等，2017 ）。本文首先利用多尺度的空洞卷积获取图像的尺度信息和上下文信息。经过不同尺度的卷积核对特征进行采样然后利用独立的卷积层来学习显著性的激活区域，最终利用sigmoid函数输出注意力权重。具体地，将每个阶段输入的特征图表示为 X i ∈R C × H × W ，其中， C 表示特征图 X 的通道数， H 和 W 表示特征图 X 的高、宽尺寸；由于第一层浅层特征不被利用， i 表示阶段索引（ i =2，3，4）。将第 i 个特征图输入到本文设计的注意力网络中，首先通过一个并行的空洞卷积金字塔。其中包含了4个不同空洞率的空洞卷积 A k （ k =1，2，3，4），空洞率分别是1，3，5，7。经过空洞卷积金字塔后，再经过独立的1×1卷积层输出4个融合上下文信息的特征图 f k （ k =1，2，3，4），具体计算方式如下： <math display="block" id="M1"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mi>k</mi></mrow></msub><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mfenced separators="|"><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417733&type= 37.50733566 4.31799984 式中， Conv k 1×1表示第 k 个1×1卷积， k= 1，2，3，4。得到的输出 ［ f 1 ， f 2 ， f 3 ， f 4 ］ ，分别表示在不同的尺度下感知不同范围上下文信息的特征图。为了聚合这些信息，利用一层1×1卷积，对4个特征图融合并激活显著性区域。最终利用sigmoid将显著性图转换为注意力权重图。具体计算过程如下 <math display="block" id="M2"><mi mathvariant="bold-italic">a</mi><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">4</mn></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417738&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417737&type= 41.90999985 8.29733276 式中， a ∈R 1 × H × W 表示输出的注意力权重图， σ 表示sigmoid函数。将得到的注意力权重图与输入的特征图融合即可获得包含尺度信息和上下文信息的特征，融合方式为： <math display="block" id="M3"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⊗</mo><mi mathvariant="bold-italic">a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417739&type= 19.38866615 4.23333359 式中， <math id="M4"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417743&type= 3.64066648 4.06400013 表示输出的强化后的特征图，⊗表示逐元素相乘计算。 2.2　精细化的特征金字塔网络 2 在遥感图像中，目标间的尺度差异较大（如车辆和港口轮船在尺度上相差数倍），无法直接使用卷积神经网络中的顶层特征检测这种多尺度目标（ 于野 等，2020 于野 等，2020 ）。多数方法采用了特征金字塔网络FPN（Feature Pyramid Network）去适应图像中的尺度变化，如 图3（a） 图3（a） 所示。特征金字塔利用了侧连接的方式来建立一个自顶向下的特征提取网络，每层都包含了相邻层级的语义信息，最终输出多个尺度的特征图，有助于模型对多尺度目标的检测。 1,2; 传统特征金字塔的特征图尺度相差一般在几倍，而遥感图像中目标的尺度变化相差更大，导致FPN很难直接适应剧烈的尺度变化（ 秦登达 等，2022 秦登达 等，2022 ）；此外，在FPN的侧连接中，为了融合不同尺度的特征往往需要进行特征通道的缩减，造成尺度信息、目标信息的丢失（ Luo 等，2022 Luo 等，2022 ）。本文为弥补上述不足，提出了精细化的特征金字塔：利用多尺度卷积核来增大网络的感受野，消除尺度剧烈变化的影响；利用像素混洗的方式消除多尺度特征融合阶段的通道信息损失。精细化的特征金字塔网络结构如 图3（b） 图3（b） 所示，假设输入特征为 F i ∈R C i × H i × W i （ i =1，2，3，4）。首先，为了适应多尺度模板信息，对各层级特征 F i 分别进行1×1卷积和3×3卷积，再通过级联操作最终输出一个通道个数相同为4 C 的特征图 <math id="M5"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417765&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417763&type= 3.47133350 4.06400013 ∈R 4C × H i × W i ，具体计算过程如下： <math display="block" id="M6"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>c</mi><mi>a</mi><mi>t</mi><mo stretchy="false">(</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417768&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417767&type= 66.12466431 4.82600021 式中， Concat （·）表示级联操作。经过上述操作可以在避免通道信息损失的情况下得到4个融合多尺度信息的特征图；而后，通过像素混洗的操作，将各层级特征图通道数统一为 C 且尺度变化为原来的2倍。为了能与下层特征融合，又利用一层池化层对特征图进行2倍下采样，得到待融合的4层特征金字塔 P i ∈R C × H i × W i ，其中具体计算如下： <math display="block" id="M7"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>P</mi><mi>o</mi><mi>o</mi><mi>l</mi><mn mathvariant="normal">2</mn><mo>×</mo><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><mi>P</mi><mi>i</mi><mi>x</mi><mi>e</mi><mi>l</mi><mi>S</mi><mi>h</mi><mi>u</mi><mi>f</mi><mi>f</mi><mi>l</mi><mi>e</mi><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417773&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417770&type= 49.95333481 5.07999992 式中， PixelShuffle （·）表示像素混洗操作。像素混洗是图像超分辨率算法中较为经典的一种，主要功能是将低分辨的特征图通过通道间的重组得到高分辨率的特征图（ Shi 等，2016 Shi 等，2016 ）。经过上述两步操作，最终待融合的特征 P i 保留了通道和尺度信息，在向下融合的过程中对多尺度的遥感图像模板进行了更精细化的表征提取，最终进行的融合过程如 图3（b） 图3（b） 中所示。 2.3　定向目标检测的方向因子 2 在遥感图像的目标检测任务中，需要最终确定场景中目标的位置及方向，采用目标检测的水平回归框，容易造成多个目标以及背景与目标之间的混叠。一些研究提出定向回归框来定位遥感或文字检测场景的目标，定义了一个新的方向因子 θ ，表示框长边与水平轴的夹角，并且固定该角度范围为［-90°，0］。 然而，在遥感场景下，顶点坐标真值无序易引起角度预测错误、回归困难等问题，这种问题被成为回归边界性（ Yang 等，2019 Yang 等，2019 ）。因此本文采用预测滑动顶点（ Xu 等，2021 Xu 等，2021 ）的方式来解决边界问题，如 图4 图4 所示。 首先，由于水平框不存在边界问题，因此网络先预测出一个水平的矩形框坐标（ x ， y ， w ， h ），通过这组坐标可以求出水平框的顶点坐标（ v 1 ' ， v 2 ' ， v 3 ' ， v 4 '）。其次引入了一组新的方向因子（ α 1 ， α 2 ， α 3 ， α 4 ），这组方向因子表示水平框4个顶点的相对偏移量。其计算方式如下所示： <math display="block" id="M8"><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mfrac><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>w</mi></mrow></mfrac></mtd><mtd><mo>,</mo></mtd><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,3</mn></mtd></mtr><mtr><mtd><mfrac><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>h</mi></mrow></mfrac></mtd><mtd><mi mathvariant="normal">其他</mi></mtd><mtd/></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417781&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417780&type= 37.50733566 17.52599907 式中， S i 表示预测框顶点 v i 和真值框顶点 v i '的绝对偏移量。因此，最终回归分支预测的回归向量为（ x ， y ， w ， h ， α 1 ， α 2 ， α 3 ， α 4 ）。 2.4　损失函数 2 本文采用一个多任务损失函数进行模型的训练，损失函数为 <math display="block" id="M9"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi></mrow></msub></mrow></mfrac><msub><mo>∑</mo><mrow><mi>i</mi></mrow></msub><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">g</mi></mrow></msub></mrow></mfrac><msub><mo>∑</mo><mrow><mi>i</mi></mrow></msub><mrow><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>×</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">g</mi></mrow></msub></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417784&type= 53.25533295 8.46666718 式中： L total 表示总损失， N cls 表示输入第二阶段网络中总的候选框个数， N reg 表示输入第二个阶段网络中正样本的个数， i 为候选框的索引。对于第 i 个候选框，若它为正样本则 p i * 为1，反之则为0。 L cls 和 L reg 分别表示分类任务和回归任务的损失，与传统目标检测类似， L cls 采用交叉熵损失（ Lin 等，2017a Lin 等，2017a ）。由于回归目标引入了新的方向因子，回归损失 L reg 的形式需要改进，其具体形式为 <math display="block" id="M10"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">g</mi></mrow></msub><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi>h</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi>α</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417790&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417788&type= 27.26266861 3.72533321 <math display="block" id="M11"><msub><mrow><mi>L</mi></mrow><mrow><mi>α</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">4</mn></mrow></munderover></mstyle><mrow><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><msub><mrow><mi>h</mi></mrow><mrow><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mover accent="true"><mi>α</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417794&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417792&type= 37.84600067 8.29733276 式中， λ 表示损失的平衡权重参数， L h 表示水平框的回归损失， <math id="M12"><msub><mrow><mover accent="true"><mi>α</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417798&type= 2.87866688 3.72533321 表示方向因子的真值。取四个点的均值均值作为斜框的中心坐标，框的角度使用四边形最长的边对应的两个顶点两个坐标，由这条边与 x 轴的夹角作为角度真值。与传统目标检测保持一致，方向因子 α i 的损失采用smooth L1 损失（ Girshick，2015 Girshick，2015 ）进行训练。 3　实验结果和分析 1 实验环境为处理器为Intel Xeon Gold 5120 CPU@2.20 GHz的服务器，GPU是4个NVIDIA GeForce RTX2080Ti GPU，显存皆为11 GB。编程环境为Python3.6.11和Pytorch1.4.0。 3.1　实验数据集介绍 2 （1）DOTA数据集：DOTA数据集如 图5（a） 图5（a） 所示。作为遥感图像定向目标检测的基准数据集，它包含2806张来自不同传感器卫星的遥感图像，主要来源为天地图。图像像素每英寸尺寸范围从800×800到4000×4000。数据集标注了188282个不同尺度、不同方向的实例目标，共分为15个类别：飞机PL（Plane）、棒球场BD（Baseball Diamond）、桥梁BR（Bridge）、田径场GTF（Ground Track Field）、小型车辆SV（Small Vehicle）、大型车辆LV（Large Vehicle）、船体SH（Ship）、网球场TC（Tennis Court）、篮球场BC（Basketball Court）、储油罐ST（Storage Tank）、足球场SBF（Soccer-ball Field）、环形交叉路口RA（Roundabout）、海港HA（Harbor）、游泳池SP（Swimming Pool）以及直升飞机（Helicopter）。 （2）HRSC2016：HRSC2016是一个遥感图像舰船检测的数据集。如 图5（b） 图5（b） 所示，其中包含了对船体定向的标注框。数据集内包含了1061张来自天地图的遥感图像，其像素每英寸尺寸范围从300×300到1599×900。数据集共包含了2976个船体实例。训练过程中，436张图像被划分为训练集，181张图像被划分为验证集，444张图像被视为测试集。 1,2; 3.2　实验采用的评价指标 2 为了验证本文提出模型在遥感图像定向目标检测上的准确性，我们采用平均准确度均值mAP（mean Average Precision）作为实验所用评价指标，利用平均准确度AP（Average Precision）衡量单类别检测准确度。mAP是所有类别AP值的平均，mAP值和AP值越大，反映了模型整体或在独立类别上的检测准确性越高。具体的mAP计算方式如下： <math display="block" id="M13"><mi>m</mi><mi>A</mi><mi>P</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi>A</mi><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417821&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417819&type= 24.21466637 8.29733276 式中， n 表示类别的总个数， i 则为类别的索引。 AP 值是每一个类别的（准确率—召回率）曲线的面积。其中准确率 P （Precision）和召回率 R （Recall）的计算方式如下： <math display="block" id="M14"><mi>P</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>F</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417823&type= 20.91266632 7.28133297 <math display="block" id="M15"><mi>R</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>F</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=40417826&type= 21.33600044 7.36600018 式中， TP ， FP ， FN 分别表示真阳性、假阳性以及假阴性的个数。 3.3　实验参数设置 2 本文采用的特征提取网络是ResNet-50，并进行了改进。ResNet-50在ImageNet数据集上进行了预训练并在遥感数据集上进行了微调。在训练过程中，由于直接训练高分辨率遥感图像会对精度造成影响，对这些遥感图像进行剪裁操作：对于DOTA数据集，将其中的图像剪裁成1024×1024的图像块，并进行了90°、180°和270°的旋转数据增广；对于HRSC2016统一缩放其中遥感图像到512×800的分辨率再进行训练和检测。 为了公平比较本文提出的方法与其他优越的算法，一些超参数的设置要保持一致：对于DOTA数据集的实验，训练过程中初始学习率设置为7.5×10 -3 最终学习率达到7.5×10 -5 ，总迭代次数设置为70000，批处理大小设置为4；对于HRSC2016数据集的实验，初始学习率设置为1×10 -2 最终学习率达到1×10 -4 ，总迭代次数为2000，批处理大小为8。 3.4　消融实验 2 为了验证本文设计的基于空洞卷积的上下文注意力网络，采用Faster R-CNN为基线模型，分别以ResNet-50、ResNet-101为主干网络，回归方式采用滑动顶点，对比引入上下文注意力前后检测模型的精度变化。所有消融实验留在DOTA数据集上进行验证。 3.4.1　验证基于空洞卷积的上下文注意力 3 如 表1 表1 所示，在ResNet-50的基础上引入基于空洞卷积的上下文注意力，可以有效地提升0.82%的mAP值；其中由于引入过多上下文信息导致了特征混淆，一些类别的AP值在可接受的范围内下降；对于大多数的类别，可以有效地提升其特征表示能力从而提高了其检测的准确度。 注： 黑体表示在当前评价指标下最好的结果。 模型方法 mAP/% PL BD BR GTF SV LV SH TC BC ST SBF RA HA SP HC Baseline 74.69 89.33 86.21 52.79 73.14 71.69 72.81 87.37 90.83 79.56 87.09 58.81 68.15 74.24 71.80 56.53 Ours 75.51 89.47 83.91 54.34 72.93 74.77 75.14 87.11 90.85 80.24 86.54 58.37 71.32 74.88 72.39 60.31 3.4.2　验证精细化特征金字塔 3 为了验证本文提出的精细化特征金字塔对模型的贡献，以Faster R-CNN为基线模型，主干网络采用ResNet-50，特征金字塔FPN为多尺度特征提取网络，回归方式采用滑动顶点的方式，对比引入FPN和引入精细化FPN对模型检测精度造成的影响，实验结果如 表2 表2 所示。实验结果显示，引入精细化FPN可以在基线模型的基础上提升1.27%的mAP值；针对尺度变化较大的目标SV、LV（大型车辆、小型车辆）较基准算法提高显著，提升分别达到4.99%和9.68%。 注： 黑体表示在当前评价指标下最好的结果。 模型方法 mAP/% PL BD BR GTF SV LV SH TC BC ST SBF RA HA SP HC Baseline 74.69 89.33 86.21 52.79 73.14 71.69 72.81 87.37 90.83 79.56 87.09 58.81 68.15 74.24 71.80 56.53 Ours 75.96 89.87 85.70 58.83 70.58 76.68 82.49 88.11 90.58 80.91 82.29 60.48 63.69 76.65 71.58 60.91 3.4.3　方向因子消融实验 3 如 表3 表3 所示，本文以Faster R-CNN OBB为基线模型并为了公平比较引入了传统的特征金字塔FPN，当以传统的角度方式回归，回归向量为（ x 1 ， y 1 ， w ， h ， θ ）时得到实验结果为68.72%；当引入本文采用的方向因子时得到实验结果为74.69%，提升了5.97%，验证了方向因子的有效性。 2 主干网络 2 回归方式选择 2 mAP/% 传统角度回归 本文采用的方向因子 2 ResNet-50 √ 68.72 √ 74.69 3.4.4　模型整体消融 3 为了获得最佳的模型，本文在以Faster R-CNN为基线模型的情况下，分别在主干网络为ResNet-50和ResNet-101的情况下探究两个网络对检测精度的影响，所有模型的回归都采用滑动顶点的方式，实验结果如 表4 表4 所示。 2 主干网络 2 模型选择 2 mAP/% 注意力 精细化特征金字塔 4 ResNet-50 74.69 √ 75.51 √ 75.96 √ √ 76.65 4 ResNet-101 75.02 √ 76.31 √ 76.16 √ √ 76.78 实验结果显示在以ResNet-50为主干网络的情况下，同时引入基于空洞卷积的上下文注意力网络和精细化特征金字塔，检测效果提升1.96%的mAP值；在以ResNet-101为主干网络的情况下，引入基于空洞卷积的上下文注意力网络提升网络检测精度1.02%，引入精细化特征金字塔提升网络1.14%的检测精度，同时引入上述两个算法提升网络1.76%的mAP值；相较于原始的Faster R-CNN，本文方法将有向目标检测精度提升了mAP，最终达到了76.78% mAP，从而证明了方法的有效性。 3.5　对比实验 2 本文整合注意力网络和精细化特征金字塔网络后与当前在DOTA数据集和HRSC2016数据集上分别与目前最新的方法进行对比。 （1）HRSC2016数据集上的结果：HRSC2016数据集包含了大类的定向船体目标。结果如 表5 表5 所示，相对于R²CNN（ Jiang 等，2018 Jiang 等，2018 ）、RRPN（ Ma 等，2018 Ma 等，2018 ）、TOSO（ Feng 等，2020 Feng 等，2020 ）、RoI Transformer（ Ding 等，2019 Ding 等，2019 ）、RSDet（ Qian 等，2021 Qian 等，2021 ）、Gliding Vertex（ Xu 等，2021 Xu 等，2021 ）、DAL（ Ming 等，2021 Ming 等，2021 ）、R³Det（ Yang 等，2021b Yang 等，2021b ）、DCL（ Yang 等，2021a Yang 等，2021a ）、CSL（ Yang 和 Yan，2020 Yang 和 Yan，2020 ），本文提出的方法在mAP值上达到了89.95%，精度较其他方法具有较为显著的提升。在HRSC2016数据集上检测效果如 图6 图6 所示。 注： 黑体表示在当前评价指标下最好的结果。 模型方法 输入图像尺寸 mAP/% 模型方法 输入图像尺寸 mAP/% R²CNN 800×800 79.73 DAL 416×416 88.95 RRPN 800×800 79.08 R³Det 800×800 89.26 TOSO 800×800 79.29 DCL 800×800 89.46 RoI Transformer 512×800 86.20 CSL 800×800 89.62 RSDet 800×800 86.50 本文方法 512 × 800 89.95 Gliding Vertex 512×800 88.20 （2）DOTA数据集上的结果：DOTA数据集包含15个类别的地物目标，类别包含：飞机（PL）、船（SH）、储罐（ST）、棒球场（BD）、网球场（TC）、游泳池（SP）、田径场（GTF）、港口（HA）、桥梁（BR）、小型车辆（SV）、大型车辆（LV）、直升机（HC）、环岛（RA）、足球场（SBF）和篮球场（BC），分别对比它们的AP值以及整体的mAP值评估本文方法的优越性，结果如 表6 表6 所示。对比方法包含了定向的Faster R-CNN（FR-O）（ Xia 等，2018 Xia 等，2018 ）、Poly IoU损失（PIoU Loss）（ Chen 等，2020 Chen 等，2020 ）、RRPN、RoI Transformer、CAD-Net（ Zhang 等，2019 Zhang 等，2019 ）、DRN（ Pan 等，2020 Pan 等，2020 ）、R³Det、RSDet、Gliding Vertex、CBDA-Net（ Liu 等，2021 Liu 等，2021 ）、APE（ Zhu 等，2020 Zhu 等，2020 ）、CenterMap OBB（ Wang 等，2021 Wang 等，2021 ）、CFA（ Guo 等，2021 Guo 等，2021 ）。实验结果显示，本文方法mAP达到76.78%，相对于基准算法FR-O本文最终提出的算法提升了22.65%。此外，相对比与 表6 表6 中其他的方法，本文提出的算法特别在棒球场（BD）、桥梁（BR）、田径场（GTF）、船（SH）、篮球场（BC）、储罐（ST）、足球场（SBF）、港口（HA）、游泳池（SP）目标的检测上获得较好的精度。由于不同算法采用的回归方式不同和损失函数不同，导致在不同类别上模型精度有一定差异。我们主要分析直升机类别（HC）与其他先进方法产生较大差异的原因。对于一些不直接回归方向因子，采用热图分割或新变量表示旋转框方法，比如CenterMap OBB、CFA、APE等，对直升机这种角度方向变化较少的类别有更优越的性能；此外，一些方法提出了新的约束损失比如PIoU Loss、CFA中的CIoU Loss，CBDA-Net中的arwLoss等，对直升机这种样本少，目标较小的类别可以学习到更多信息，因此展示了更优的性能。CFA算法提出的凸包自适应方法，利用凸包特征表示目的是解决密集目标的特征混淆问题（ Guo 等，2021 Guo 等，2021 ），因此对于较为密集的类别表现不错，比如泳池（SP）、小型车辆（SV）、大型车辆（LV）、直升飞机（HC）。然而CFA方法是对密集目标存在特征重叠的情况下提出的特征表示方法，在非密集目标比如篮球棒球场（BD）、田径场（GTF）、篮球场（BC）、足球场（SBF）上与该类最优检测精度有一定差距。实验结果表明，这些运动场类目标在图像中往往单独出现且不存在特征混叠，因此采用CFA的特征表示是冗余的计算，从而导致最终检测精度的下降。本文提出的方法致力于解决多尺度目标检测问题。相较于CFA，没有冗余的特征表示方法。虽然在许多密集目标上性能与CFA存在差距，但是在总体检测精度上有一定的优势；此外采用的回归方式适应于多个类别，因此在整体上获得了最优的精度。 注： 黑体表示在当前评价指标下最好的结果，下划线表示在当前评价指标下的次优结果。 模型方法 mAP/% PL BD BR GTF SV LV SH TC BC ST SBF RA HA SP HC FR-O 54.13 79.42 77.13 17.70 64.05 35.30 38.021 37.16 89.41 69.64 59.28 50.30 52.91 47.89 47.40 46.30 PIoU Loss 60.50 80.90 69.70 24.10 60.20 38.30 64.40 64.80 90.90 77.20 70.40 46.50 37.10 57.10 61.90 64.00 RRPN 61.01 88.52 71.2 31.66 59.30 51.85 56.19 57.25 90.81 72.84 67.38 56.69 52.84 53.08 51.94 53.58 RoI Transformer 69.56 88.64 78.52 43.44 75.92 68.81 73.68 83.59 90.74 77.27 81.46 58.39 53.54 62.83 58.93 47.67 CAD-Net 69.90 87.80 82.40 49.40 73.50 71.10 63.50 76.70 90.90 79.20 73.30 48.40 60.90 62.00 67.00 62.20 DRN 73.23 89.71 82.34 47.22 64.10 76.22 74.43 85.84 90.57 86.18 84.89 57.65 61.93 69.30 69.63 58.48 R³Det 73.79 88.76 83.09 50.91 67.27 76.23 80.39 86.72 90.78 84.68 83.24 61.98 61.35 66.91 70.63 53.94 RSDet 74.10 90.10 82.00 53.80 68.50 70.20 78.70 73.60 91.20 87.10 84.70 64.30 68.20 66.10 69.30 63.70 Gliding Vertex 75.02 89.64 85.00 52.26 77.34 73.01 73.14 86.82 90.74 79.02 86.81 59.55 70.91 72.94 70.86 57.32 CBDA-Net 75.74 89.17 85.92 50.28 65.02 77.72 82.32 87.89 90.48 86.47 85.90 66.85 66.48 67.41 71.33 62.89 APE 75.75 89.96 83.62 53.42 76.03 74.01 77.16 79.45 90.83 87.15 84.51 67.72 60.33 74.61 71.84 65.55 CenterMap OBB 76.03 89.83 84.41 54.60 70.25 77.66 78.32 87.19 90.66 84.89 85.27 56.46 69.23 74.13 71.56 66.06 CFA 76.67 89.08 83.20 54.37 66.87 81.23 80.96 87.17 90.21 84.32 86.09 52.34 69.94 75.52 80.76 67.96 本文方法 76.78 89.78 86.29 54.66 77.14 78.76 77.96 88.48 90.85 85.01 87.12 65.21 69.49 76.45 70.97 53.68 在DOTA数据集上的检测效果如 图7 图7 所示；此外，对比了基线模型（Baseline），Center Map OBB以及本文提出的方法，如 图8 图8 所示，在包含多尺度的目标以及更多小目标的情况下，本文提出的方法能更加准确并且完整地检测出图像内的目标。 1;2;3; 1,2,3; 4　结 论 1 遥感图像目标检测中存在特征提取困难、尺度差异较大及目标方向的表示等问题。本文有针对性的提出了一种面向精细化多尺度特征的目标检测方法。首先，利用空洞卷积的上下文注意力网络来强化目标特征，它通过不同空洞率来扩大感受野，丰富特征的上下文语义并融入尺度信息，强化了卷积神经网络对遥感图像中目标和背景的 判别能力；其次，提出了精细化特征金字塔解决遥感图像目标变化差异大的问题，为了应对目标的尺度变化，先利用多尺度卷积细化特征金字塔各层级的尺度信息；再利用像素混洗的方式，缓解尺度变化带来的目标表征损失，强化网络对多尺度目标特征信息的理解能力；最终，引入了滑动顶点的方向因子来表示定向的目标，减少了由于角度回归会带来的回归边界性问题。经过实验证明，本文提出的上下文注意力网络提高了0.82%检测精度；精细化特征金字塔提高1.27%的检测精度；滑动顶点的回归方式有效提高了5.97%的检测精度。此外相对于基线模型Faster R-CNN OBB，本文提出的算法有22.65%的精度提高。虽然本文提出的方法在总体精度上存在优势，但是由于缺乏考虑旋转目标特征表示，以及更优良的损失函数设计，相较于其他方法本文提出的算法在密集目标、小目标存在一定的性能差距。因此，在未来的工作中将进一步优化特征提取网络，考虑目标的角度变化对特征提取的影响，并考虑损失函数的设计，进一步提高模型的泛化能力。 参考文献（References） Chen L C , Papandreou G , Schroff F and Adam H . 2017 . Rethinking atrous convolution for semantic image segmentation. ArXiv Preprint ArXiv: 1706 . 05587 Rethinking atrous convolution for semantic image segmentation. ArXiv Preprint ArXiv: 1706 Chen Z M , Chen K A , Lin W Y , See J , Yu H , Ke Y and Yang C . 2020 . PIoU loss: towards accurate oriented object detection in complex environments // 16th European Conference on Computer Vision . Glasgow : Springer: 195 - 211 [ DOI: 10.1007/978-3-030-58558-7_12 http://dx.doi.org/10.1007/978-3-030-58558-7_12 ] PIoU loss: towards accurate oriented object detection in complex environments Ding J , Xue N , Long Y , Xia G S and Lu Q K . 2019 . Learning RoI transformer for oriented object detection in aerial images // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) . Long Beach, CA : IEEE: 2844 - 2853 [ DOI: 10.1109/CVPR.2019.00296 http://dx.doi.org/10.1109/CVPR.2019.00296 ] Learning RoI transformer for oriented object detection in aerial images Feng P M , Lin Y T , Guan J , He G J , Shi H F and Chambers J . 2020 . TOSO: student's-T distribution aided one-stage orientation target detection in remote sensing images // 2020 IEEE International Conference on Acoustics, Speech and Signal Processing . Barcelona : IEEE: 4057 - 4061 [ DOI: 10.1109/ICASSP40776.2020.9053562 http://dx.doi.org/10.1109/ICASSP40776.2020.9053562 ] TOSO: student's-T distribution aided one-stage orientation target detection in remote sensing images Girshick R . 2015 . Fast R-CNN // 2015 IEEE International Conference on Computer Vision . Santiago : IEEE: 1440 - 1448 [ DOI: 10.1109/ICCV.2015.169 http://dx.doi.org/10.1109/ICCV.2015.169 ] Fast R-CNN Girshick R , Donahue J , Darrell T and Malik J . 2014 . Rich feature hierarchies for accurate object detection and semantic segmentation // 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus, OH : IEEE: 580 - 587 [ DOI: 10.1109/CVPR.2014.81 http://dx.doi.org/10.1109/CVPR.2014.81 ] Rich feature hierarchies for accurate object detection and semantic segmentation Guo Z H , Liu C , Zhang X S , Jiao J B , Ji X Y and Ye Q X . 2021 . Beyond bounding-box: convex-hull feature adaptation for oriented and densely packed object detection // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville, TN : IEEE: 8788 - 8797 [ DOI: 10.1109/CVPR46437.2021.00868 http://dx.doi.org/10.1109/CVPR46437.2021.00868 ] Beyond bounding-box: convex-hull feature adaptation for oriented and densely packed object detection He K M , Zhang X Y , Ren S Q and Sun J . 2016 . Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Las Vegas, NV : IEEE: 770 - 778 [ DOI: 10.1109/CVPR.2016.90 http://dx.doi.org/10.1109/CVPR.2016.90 ] Deep residual learning for image recognition Jiang Y Y , Zhu X Y , Wang X B , Yang S L , Li W , Wang H , Fu P and Luo Z B . 2018 . R 2 CNN: rotational region CNN for orientation robust scene text detection // 2018 IEEE International Conference on Pattern Recognition （ICPR） . Beijing, China : IEEE: 3610 - 3615 [ DOI: 10.1109/ICPR.2018.8545598 http://dx.doi.org/10.1109/ICPR.2018.8545598 ] CNN: rotational region CNN for orientation robust scene text detection Lin T Y , Dollar P , Girshick R , He K M , Hariharan B and Belongie S . 2017a . Feature pyramid networks for object detection // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Honolulu, HI : IEEE: 936 - 944 [ DOI: 10.1109/CVPR.2017.106 http://dx.doi.org/10.1109/CVPR.2017.106 ] Feature pyramid networks for object detection Lin T Y , Goyal P , Girshick R , He K M and Dollár P . 2017b . Focal loss for dense object detection // 2017 IEEE International Conference on Computer Vision (ICCV) . Venice : IEEE: 2999 - 3007 [ DOI: 10.1109/ICCV.2017.324 http://dx.doi.org/10.1109/ICCV.2017.324 ] Focal loss for dense object detection Liu C and Zhu W G . 2021 . Ship detection in SAR imagery under multi-scale and complex-background conditions . Remote Sensing Information , 36 ( 3 ): 50 - 57 Ship detection in SAR imagery under multi-scale and complex-background conditions 刘畅 , 朱卫纲 . 2021 . 多尺度与复杂背景条件下的SAR图像船舶检测 . 遥感信息 , 36 ( 3 ): 50 - 57 [ DOI: 10.3969/j.issn.1000-3177.2021.03.008 http://dx.doi.org/10.3969/j.issn.1000-3177.2021.03.008 ] 多尺度与复杂背景条件下的SAR图像船舶检测 Liu S , Zhang L , Lu H C and He Y . 2021 . Center-boundary dual attention for oriented object detection in remote sensing images . IEEE Transactions on Geoscience and Remote Sensing , 60 : 5603914 [ DOI: 10.1109/TGRS.2021.3069056 http://dx.doi.org/10.1109/TGRS.2021.3069056 ] Center-boundary dual attention for oriented object detection in remote sensing images Liu W , Anguelov D , Erhan D , Szegedy C , Reed S , Fu C Y and Berg A C . 2016 . SSD: single shot MultiBox detector // 14th European Conference on Computer Vision . Amsterdam : Springer: 21 - 37 [ DOI: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 ] SSD: single shot MultiBox detector Luo Y H , Cao X , Zhang J T , Guo J J , Shen H B , Wang T J and Feng Q . 2022 . CE-FPN: enhancing channel information for object detection . Multimed Tools and Applications , 81 : 30685 - 30704 .[ DOI: 10.1007/s11042-022-11940-1 http://dx.doi.org/10.1007/s11042-022-11940-1 ] CE-FPN: enhancing channel information for object detection Ma J Q , Shao W Y , Ye H , Wang L , Wang H , Zheng Y B and Xue X Y . 2018 . Arbitrary-oriented scene text detection via rotation proposals . IEEE Transactions on Multimedia , 20 ( 11 ): 3111 - 3122 [ DOI: 10.1109/tmm.2018.2818020 http://dx.doi.org/10.1109/tmm.2018.2818020 ] Arbitrary-oriented scene text detection via rotation proposals Ming Q , Zhou Z Q , Miao L J , Zhang H W and Li L H . 2021 . Dynamic anchor learning for arbitrary-oriented object detection . Proceedings of the AAAI Conference on Artificial Intelligence , 35 ( 3 ): 2355 - 2363 [ DOI: 10.1609/aaai.v35i3.16336 http://dx.doi.org/10.1609/aaai.v35i3.16336 ] Dynamic anchor learning for arbitrary-oriented object detection Pan X J , Ren Y Q , Sheng K K , Dong W M , Yuan H L , Guo X W , Ma C Y and Xu C S . 2020 . Dynamic refinement network for oriented and densely packed object detection // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) . Seattle, WA : IEEE: 11204 - 11213 [ DOI: 10.1109/CVPR42600.2020.01122 http://dx.doi.org/10.1109/CVPR42600.2020.01122 ] Dynamic refinement network for oriented and densely packed object detection Qian W , Yang X , Peng S L , Yan J C and Guo Y . 2021 . Learning modulated loss for rotated object detection . Proceedings of the AAAI Conference on Artificial Intelligence , 35 ( 3 ): 2458 - 2466 [ DOI: 10.1609/aaai.v35i3.16347 http://dx.doi.org/10.1609/aaai.v35i3.16347 ] Learning modulated loss for rotated object detection Qin D D , Wan L , He P E , Zhang Y , Guo Y and Chen J . 2022 . Multiscale object detection in remote sensing image by combining data fusion and feature selection . National Remote Sensing Bulletin , 26 ( 8 ): 1662 - 1673 Multiscale object detection in remote sensing image by combining data fusion and feature selection 秦登达 , 万里 , 何佩恩 , 张轶 , 郭亚 , 陈杰 . 2022 . 结合数据融合与特征选择的遥感影像尺度多样目标检测 . 遥感学报 , 26 ( 8 ): 1662 - 1673 [ DOI： 10.11834/jrs.20221249 http://dx.doi.org/10.11834/jrs.20221249 ] 结合数据融合与特征选择的遥感影像尺度多样目标检测 Redmon J , Divvala S , Girshick R and Farhadi A . 2016 . You only look once : unified, real-time object detection// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Las Vegas, NV : IEEE: 779 - 788 [ DOI: 10.1109/CVPR.2016.91 http://dx.doi.org/10.1109/CVPR.2016.91 ] You only look once Ren S Q , He K M , Girshick R and Sun J . 2017 . Faster R-CNN: towards real-time object detection with region proposal networks . IEEE Transactions on Pattern Analysis and Machine Intelligence , 39 ( 6 ): 1137 - 1149 [ DOI: 10.1109/TPAMI.2016.2577031 http://dx.doi.org/10.1109/TPAMI.2016.2577031 ] Faster R-CNN: towards real-time object detection with region proposal networks Shi W X , Tan D L and Bao S L . 2020 . Feature enhancement SSD algorithm and its application in remote sensing images target detection . Acta Photonica Sinica , 49 ( 1 ): 0128002 Feature enhancement SSD algorithm and its application in remote sensing images target detection 史文旭 , 谭代伦 , 鲍胜利 . 2020 . 特征增强SSD算法及其在遥感目标检测中的应用 . 光子学报 , 49 ( 1 ): 154 - 163 [ DOI: 10.3788/gzxb20204901.0128002 http://dx.doi.org/10.3788/gzxb20204901.0128002 ] 特征增强SSD算法及其在遥感目标检测中的应用 Shi W Z , Caballero J , Huszár F , Totz J , Aitken A P , Bishop R , Rueckert D and Wang Z H . 2016 . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Las Vegas, NV : IEEE: 1874 - 1883 [ DOI: 10.1109/CVPR.2016.207 http://dx.doi.org/10.1109/CVPR.2016.207 ] Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network Van Etten A . 2018 . You only look twice: rapid multi-scale object detection in satellite imagery. ArXiv Preprint ArXiv: 1805 . 09512 You only look twice: rapid multi-scale object detection in satellite imagery. ArXiv Preprint ArXiv: 1805 Wang J W , Ding J , Guo H W , Cheng W S , Pan T and Yang W . 2019 . Mask OBB: a semantic attention-based mask oriented bounding box representation for multi-category object detection in aerial images . Remote Sensing , 11 ( 24 ): 2930 [ DOI: 10.3390/rs11242930 http://dx.doi.org/10.3390/rs11242930 ] Mask OBB: a semantic attention-based mask oriented bounding box representation for multi-category object detection in aerial images Wang J W , Yang W , Li H C , Zhang H J and Xia G S . 2021 . Learning center probability map for detecting objects in aerial images . IEEE Transactions on Geoscience and Remote Sensing , 59 ( 5 ): 4307 - 4323 [ DOI: 10.1109/TGRS.2020.3010051 http://dx.doi.org/10.1109/TGRS.2020.3010051 ] Learning center probability map for detecting objects in aerial images Xia G S , Bai X , Ding J , Zhu Z , Belongie S , Luo J B , Datcu M , Pelillo M and Zhang L P . 2018 . DOTA: a large-scale dataset for object detection in aerial images // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City, UT : IEEE: 3974 - 3983 [ DOI: 10.1109/CVPR.2018.00418 http://dx.doi.org/10.1109/CVPR.2018.00418 ] DOTA: a large-scale dataset for object detection in aerial images Xi X S , Xia K , Yang Y H , Du X C and Feng H L . 2022 . Urban individual tree crown detection research using multispectral image dimensionality reduction with deep learning . National Remote Sensing Bulletin , 26 ( 4 ): 711 - 721 Urban individual tree crown detection research using multispectral image dimensionality reduction with deep learning 奚祥书 , 夏凯 , 杨垠晖 , 杜晓晨 , 冯海林 . 2022 . 结合多光谱影像降维与深度学习的城市单木树冠检测 . 遥感学报 , 26 ( 4 ): 711 - 721 [ DOI： 10.11834/jrs.20220163 http://dx.doi.org/10.11834/jrs.20220163 ] 结合多光谱影像降维与深度学习的城市单木树冠检测 Xu Y C , Fu M T , Wang Q M , Wang Y K , Chen K , Xia G S and Bai X . 2021 . Gliding vertex on the horizontal bounding box for multi-oriented object detection . IEEE Transactions on Pattern Analysis and Machine Intelligence , 43 ( 4 ): 1452 - 1459 [ DOI: 10.1109/TPAMI.2020.2974745 http://dx.doi.org/10.1109/TPAMI.2020.2974745 ] Gliding vertex on the horizontal bounding box for multi-oriented object detection Yang X , Hou L P , Zhou Y , Wang W T and Yan J C . 2021a . Dense label encoding for boundary discontinuity free rotation detection // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) . Nashville, TN : IEEE: 15814 - 15824 [ DOI: 10.1109/CVPR46437.2021.01556 http://dx.doi.org/10.1109/CVPR46437.2021.01556 ] Dense label encoding for boundary discontinuity free rotation detection Yang X and Yan J C . 2020 . Arbitrary-oriented object detection with circular smooth label // 16th European Conference on Computer Vision . Glasgow : Springer: 677 - 694 [ DOI: 10.1007/978-3-030-58598-3_40 http://dx.doi.org/10.1007/978-3-030-58598-3_40 ] Arbitrary-oriented object detection with circular smooth label Yang X , Yang J R , Yan J C , Zhang Y , Zhang T F , Guo Z , Sun X and Fu K . 2019 . Scrdet : Towards more robust detection for small, cluttered and rotated objects// 2019 IEEE International Conference on Computer Vision (ICCV) . Venice : IEEE: 8232 - 8241 [ DOI: 10.1109/iccv.2019.00832 http://dx.doi.org/10.1109/iccv.2019.00832 ] Scrdet Yang X , Yan J C , Feng Z M and He T . 2021b . R 3 Det: refined single-stage detector with feature refinement for rotating object . Proceedings of the AAAI Conference on Artificial Intelligence , 35 ( 4 ): 3163 - 3171 R3Det: refined single-stage detector with feature refinement for rotating object Yao Q L , Hu X and Lei H . 2019 . Object detection in remote sensing images using multiscale convolutional neural networks . Acta Optica Sinica , 39 ( 11 ): 1128002 Object detection in remote sensing images using multiscale convolutional neural networks 姚群力 , 胡显 , 雷宏 . 2019 . 基于多尺度卷积神经网络的遥感目标检测研究 . 光学学报 , 39 ( 11 ): 1128002 [ DOI: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002 ] 基于多尺度卷积神经网络的遥感目标检测研究 Yao Y Q , Cheng G , Xie X X and Han J W . 2021 . Optical remote sensing image object detection based on multiresolution feature fusion . National Remote Sensing Bulletin , 25 ( 5 ): 1124 - 1137 Optical remote sensing image object detection based on multiresolution feature fusion 姚艳清 , 程塨 , 谢星星 , 韩军伟 . 2021 . 多分辨率特征融合的光学遥感图像目标检测 . 遥感学报 , 25 ( 5 ): 1124 - 1137 [ DOI： 10.11834/jrs.20210505 http://dx.doi.org/10.11834/jrs.20210505 ] 多分辨率特征融合的光学遥感图像目标检测 Yu F and Koltun V . 2016 . Multi-scale context aggregation by dilated convolutions. arXiv preprint arXiv: 1511 . 07122 Multi-scale context aggregation by dilated convolutions. arXiv preprint arXiv: 1511 Yu Y , Ai H , He X J , Yu S H , Zhong X and Zhu R F . 2020 . Attention-based feature pyramid networks for ship detection of optical remote sensing image . Journal of Remote Sensing (Chinese) 24 ( 2 ): 107 - 115 Attention-based feature pyramid networks for ship detection of optical remote sensing image 于野 , 艾华 , 贺小军 , 于树海 , 钟兴 , 朱瑞飞 . 2020 . A-FPN算法及其在遥感图像船舶检测中的应用 . 遥感学报 , 24 ( 2 ): 107 - 115 [ DOI： 10.11834/jrs.20208264 http://dx.doi.org/10.11834/jrs.20208264 ] A-FPN算法及其在遥感图像船舶检测中的应用 Zhang G J , Lu S J and Zhang W . 2019 . CAD-Net: a context-aware detection network for objects in remote sensing imagery . IEEE Transactions on Geoscience and Remote Sensing , 57 ( 12 ): 10015 - 10024 [ DOI: 10.1109/TGRS.2019.2930982 http://dx.doi.org/10.1109/TGRS.2019.2930982 ] CAD-Net: a context-aware detection network for objects in remote sensing imagery Zhou Y , Chen S L , Zhao J Q , Zhang D and Wang H Z . 2021 . Weakly semantic based attention network for interpretable object detection in remote sensing imagery . Acta Electronica Sinica , 49 ( 4 ): 679 - 689 Weakly semantic based attention network for interpretable object detection in remote sensing imagery 周勇 , 陈思霖 , 赵佳琦 , 张迪 , 王瀚正 . 2021 . 基于弱语义注意力的遥感图像可解释目标检测 . 电子学报 , 49 ( 4 ): 679 - 689 [ DOI: 10.12263/dzxb.20200554 http://dx.doi.org/10.12263/dzxb.20200554 ] 基于弱语义注意力的遥感图像可解释目标检测 Zhu Y X , Du J and Wu X Q . 2020 . Adaptive period embedding for representing oriented objects in aerial images . IEEE Transactions on Geoscience and Remote Sensing , 58 ( 10 ): 7247 - 7257 [ DOI: 10.1109/TGRS.2020.2981203 http://dx.doi.org/10.1109/TGRS.2020.2981203 ] Adaptive period embedding for representing oriented objects in aerial images 10.11834/jrs.20221801 P2 1007-4619（2022）12-2616-13 张省，李山山，魏国芳，张新耐，高建威.2022.面向精细化多尺度特征的遥感图像目标检测.遥感学报，26（12）： 2616-2628 张省，李山山，魏国芳，张新耐，高建威.2022.面向精细化多尺度特征的遥感图像目标检测.遥感学报，26（12）： 2616-2628 Zhang S， Li S S， Wei G F， Zhang X N and Gao J W. 2022. Refined multi-scale feature-oriented object detection of remote sensing images. National Remote Sensing Bulletin， 26（12）：2616-2628 Zhang S， Li S S， Wei G F， Zhang X N and Gao J W. 2022. Refined multi-scale feature-oriented object detection of remote sensing images. National Remote Sensing Bulletin， 26（12）：2616-2628 国家自然科学基金（编号：41901292） Supported by National Natural Science Foundation of China (No. 41901292) 2021-12-06 2022-12-07 2023-02-28 2022-03-18 遥感学报 12 26