基于改进Faster R-CNN的码头自动识别

基于改进Faster R-CNN的码头自动识别 Automatic dock identification based on improved Faster R-CNN first-author 常莉莉，研究方向为深度学习与遥感图像处理。E-mail： 13297955213@163.com 常莉莉，研究方向为深度学习与遥感图像处理。E-mail： 13297955213@163.com 13297955213@163.com corresp 王贤敏，研究方向为遥感数据处理与应用、遥感地质、人工智能与机器学习。E-mail： xianminwang@163.com 王贤敏，研究方向为遥感数据处理与应用、遥感地质、人工智能与机器学习。E-mail： xianminwang@163.com xianminwang@163.com 中国地质大学　地球物理与空间信息学院, 武汉　430074 中国地质大学　地球物理与空间信息学院, 武汉　430074 Institute of Geophysics and Geomatics, China University of Geosciences, Wuhan 430074, China Institute of Geophysics and Geomatics, China University of Geosciences, Wuhan 430074, China 码头自动识别能够为港口的建设与开发、海岸带地理信息的获取及海上军事实力的评估提供重要依据。然而由于码头普遍尺寸小、数量多、分布散乱，且受周围船舶、建筑等环境干扰严重，传统算法难以满足对高速发展的码头进行准确监测的需求，如何对码头目标进行准确识别成为亟需解决的问题。本文基于公开遥感数据集及Google Earth高分遥感影像构建了3种码头类型的数据集，并针对码头的尺寸特征和空间分布特征对Faster R-CNN算法进行了如下改进：（1）采用K-Means算法对候选框进行预设，使其大小更适应码头尺寸；（2）采用Soft-NMS算法代替NMS算法，以降低分布密集地区码头的误删率和漏检率。实验结果表明，本文改进的Faster R-CNN算法FKSN（Faster R-CNN+K-Means+Soft-NMS）识别精度达到92.6%，相较Faster R-CNN算法精度提高了8.3%。将码头目标识别结果和传统分类方法ISODATA、SSD及Faster R-CNN、Faster R-CNN+K-Means等目标提取模型的识别结果相对比，本文方法在虚警率和漏检率的评价指标表现最好，分别为3.2%和7.6%，说明本文方法对于各类码头目标识别具有更好的效果。基于改进Faster R-CNN算法的码头自动识别研究可以为码头的合理建设、规划及治理提供技术支持，为港口高效利用和军事实力分析提供有效途径。 Automatic identification of docks can provide an important basis for the construction and development of ports, acquisition of coastal geographic information, and evaluation of maritime military strength. However, docks are characterized by small sizes, large quantities, and scattered distribution. Docks are also negatively affected by serious information interference of the surrounding environment, including ships and buildings. Traditional algorithms cannot easily meet the needs of accurate monitoring of rapidly developing docks. Accurate identification of dock targets has become an urgent problem to be solved. Based on the open remote sensing data sets and Google Earth high-resolution remote sensing images, the data sets of three types of docks are constructed, and the following improvements are made to the Faster R-CNN algorithm according to the size and spatial distribution characteristics of docks. (1) The K-means algorithm is used to preset the anchors, making the anchor sizes more suitable for the actual dock sizes. (2) Soft-NMS is used instead of NMS to reduce the rates of mistaken deletion and missed detection of dock borders in densely distributed areas. The experimental results show that the accuracy of the improved FKSN algorithm reached 92.6%, which is 6% higher than that of the Faster R-CNN algorithm. The final result of dock target recognition is compared with the ones of the traditional classification methods such as ISODATA, SSD, Faster R-CNN, and Faster R-CNN+K-Means. Among these approaches, the method suggested in this paper performs best in the evaluation indices of false alarm rate and omission rate, which are 3.2% and 7.6%, respectively. Thus, the proposed method has a better effect on the identification of various dock targets. The automatic dock identification algorithm based on the improved Faster R-CNN can provide technical support for reasonable construction, planning, and management of docks and provide effective approaches for efficient utilization and military strength analysis of docks. Faster R-CNN 码头自动识别 K-means算法 Soft-NMS算法 高分遥感 Faster R-CNN automatic dock identification K-means algorithm Soft-NMS algorithm high resolution remote sensing 1 引言 1 随着建设“海洋强国”的战略形势方兴未艾，对于“走向深蓝”发展战略的重要一步——合理规划、治理港口和码头越来越受到关注。从遥感影像中对其准确识别能够为港口的建设与开发、海岸带地理信息的获取及海上军事实力的分析提供重要依据（ 刘腾飞，2018 刘腾飞，2018 ）。码头作为民用领域的重要交通枢纽和军事领域的重要打击目标，是港口组成的重要部分，对其进行自动识别研究具有十分重要的经济和军事价值。然而由于码头普遍尺寸小、数量多、分布散乱，且受周围船舶、建筑等环境干扰严重，传统方法难以满足对高速发展的码头进行精准监测的需求。如何对码头目标进行准确的识别成为亟需解决的问题。 码头目标识别的研究方法主要有传统的边缘检测方法（ 魏军伟，2007 魏军伟，2007 ； 黎经元 等，2019 黎经元 等，2019 ； Yu等，2016 Yu等，2016 ）、面向对象的码头提取方法（ 刘亚飞 等，2014 刘亚飞 等，2014 ； Li等，2019 Li等，2019 ； Wang等，2019 Wang等，2019 ； Bhagavathy等，2002 Bhagavathy等，2002 ）以及基于特征的遥感图像港口检测方法（ 毕奇 等，2019 毕奇 等，2019 ； 李正威 等，2018 李正威 等，2018 ； Bovolo等，2013 Bovolo等，2013 ； Liu等，2016a Liu等，2016a ）。传统边缘检测方法的研究可以追溯到相位编组法， Burns等（1986） Burns等（1986） 依据码头边缘的局部灰度变化特征确定其位置和属性，该算法作为最早的码头检测方法，为后人提供了宝贵的经验。 魏军伟（2007） 魏军伟（2007） 以SPOT影像为基础，提出了基于最大熵和形态学结合的边缘检测方法，该方法可以实现对码头边缘的快速提取。在面向对象方法方面， Li等（2019） Li等（2019） 建立了面向对象的港口空间格局遥感检测方法，对码头实现了有效的检测； Bhagavathy等（2002） Bhagavathy等（2002） 提出了学习共同纹理特征的模型，能够对港口及港内目标进行有效的描述。在基于特征的检测方法方面， Bovolo等（2013） Bovolo等（2013） 等采用雷达影像，利用变化检测层次化方法和多尺度技术实现了港口及港内目标的检测； Mandal等（1996） Mandal等（1996） 利用启发式规则在聚类图像中加入目标及其相互关系的空间知识，实现了码头的识别。上述研究方法为码头识别提供了宝贵的经验，但传统的码头检测方法主要依赖于根据先验知识建立的港口或码头特征，受主观因素影响较大，对含有水域、建筑、船舶等复杂背景下的码头进行特征描述较为困难。 近年来，图像处理、模式识别和计算机视觉技术的飞速发展为遥感图像目标识别技术的提升创造了条件，将深度学习技术应用于遥感图像信息提取成为新的趋势。比如YOLO（ Redmon等，2016 Redmon等，2016 ）和SSD（ Liu等，2016b Liu等，2016b ）等深度学习算法在高分遥感影像中的飞机、车辆、舰船等目标的快速检测（ Kharchenko和Chyrka，2018 Kharchenko和Chyrka，2018 ； Lechgar等，2019 Lechgar等，2019 ； Li等，2020 Li等，2020 ； Qu等，2020 Qu等，2020 ； Zhang等，2019 Zhang等，2019 ），R-CNN（ Girshick等，2014 Girshick等，2014 ）和Faster R-CNN（ Ren等，2015 Ren等，2015 ）等深度学习算法在舰船、飞机、油罐等目标的准确识别（ Wei等，2020 Wei等，2020 ； Han等，2020 Han等，2020 ； Zalpour等，2020 Zalpour等，2020 ）。与此同时深度学习算法在码头识别中也成为新的发展趋势， Salakhutdinov等（2011） Salakhutdinov等（2011） 利用SUN数据集，采用层次结构共享的分类模型学习识别稀有物体，实现了船舶、港口、码头等多类目标的检测。除此之外， 朱廷贺（2018） 朱廷贺（2018） 利用高分遥感影像数据，基于卷积神经网ResNet101（ He等，2016 He等，2016 ）结合人工设计特征与深度学习特征完成了港口及码头的目标检测。 Ye等（2017） Ye等（2017） 利用ResNet101和SSD检测算法实现了大尺度遥感图像上的港口及码头检测。上述深度学习方法通过设计各种结构的网络模型和强大的训练算法来自适应地学习图像特征，完成对目标的分类和定位，在检测精度和效率方面均有很大的提升，并且对环境的适应能力较强。如YOLO 和SSD等单阶段算法可直接对输入的图像进行卷积特征提取，该类方法通过在特征图上进行边界框的回归，而将目标检测过程转化为回归问题处理，具有速度上的优势。与此相比，双阶段方法Faster R-CNN则在精度上表现更加突出。该系列方法首先通过选择性搜索、边缘检测、区域提取网络等方法生成可能包含目标的候选区域集合，从而进行精确的目标类别估计和边界框位置回归（ 周天怡，2019 周天怡，2019 ）。当前的目标检测算法大多针对于自然场景中分布较为稀疏的中大型目标，且在通用数据集上取得了较好的效果，但对于码头此类小目标的检测仍有一定局限性。码头尺寸较小，在大幅遥感影像中所占像素数较少，携带的信息十分有限，纹理、形状、颜色等外观信息较匮乏，目标识别精度低、难度大，更容易出现漏检与虚警现象。 考虑到Faster R-CNN将特征提取和目标识别定位整合在同一网络中，综合性能强，更适合多种尺寸的目标提取研究（ Ren等，2015 Ren等，2015 ）。因此本文将该算法引入到码头的自动识别中，并根据码头的尺寸特征和空间分布特征对算法进行了改进：（1）采用K-Means算法（ Hartigan和Wong，1979 Hartigan和Wong，1979 ）对候选框进行预设，使其大小更适应码头的尺寸；（2）采用Soft-NMS（ Bodla等，2017 Bodla等，2017 ）代替NMS（Non-Maximum Suppression，非极大值抑制）算法（Neubeck和Van Gool，2006）以降低分布密集地区码头边框误删率和漏检率。论文采用了多种评价指标对码头的识别结果进行定量精度评价以验证本文方法FKSN（Faster R-CNN+K-Means+Soft-NMS）的可行性，并证明该方法具有良好的普适性。 2 研究方法 1 2.1 Faster R-CNN网络结构 2 Faster R-CNN算法通过引入区域建议网络RPN（Region Proposal Network）实现了对R-CNN（ Girshick等，2014 Girshick等，2014 ）、Fast-RCNN（ Girshick，2015 Girshick，2015 ）模型的优化，它的出现解决了检测算法中候选框生成耗时的问题，极大的提高了算法效率（ Ren等，2015 Ren等，2015 ）。如 图1 图1 所示，Faster R-CNN首先利用卷积神经网络ResNet101对整幅图像进行特征提取，并采用RPN寻找可能包含码头目标的建议区域，根据预先设定不同比例、尺度的锚点产生不同候选框，寻找最接近真实边框的候选框。通过RPN提取的建议区域会和经ResNet101提取的特征图一起输入RoI池化层中，最后通过全连接层进行码头目标的分类和边界框的回归定位。 2.1.1 主干网络 3 本文采用残差网络ResNet101作为Faster R-CNN的主干网络进行码头目标特征的提取。ResNet101通过增加网络层数以挖掘图像深层语义特征，同时利用残差块以减少层深带来的计算量负担（ He等，2016 He等，2016 ）。 通过ResNet101网络7×7卷积处理后的码头原始图像，经最大池化层后，大小由512×512缩小为256×256。在此基础上连接到由3个瓶颈架构单元构成的C2卷积层，然后依次经过C3卷积层和C4卷积层，之后输出32×32大小的特征图F1。F1进入RPN与RoI Pooling用于候选框的筛选提取（ Ren等，2015 Ren等，2015 ），RoI Pooling根据RPN给出的建议区域，从F1中得到对应的局部特征，并进行汇总后输入到C5卷积层进行再次学习，得到16×16大小的特征图F2，最后进行最终的码头目标分类和定位。相比较常用的通过ResNet101进行32倍下采样进入RPN，该方法中特征图F1的提取只有4个池化层起到作用，从而更便于建立特征点与原始图像区域坐标的一一映射，且该方法经过初步候选框筛取后再次通过C5卷积层进行学习，在减少算法对大量无用候选框计算的同时，能够通过多次卷积学习进行更准确的定位。 2.1.2 RPN 网络 3 RPN网络针对码头目标检测框进行端到端的训练，同时在原图上铺设不同比例的锚框，以产生匹配各种尺度目标的候选框进行图像中码头目标的自动识别（ Uijlings等，2013 Uijlings等，2013 ）。如 图2 图2 所示，RPN结构中第一层是3×3卷积层，该卷积层的作用是增加目标附近区域的语义理解（ Long等，2015 Long等，2015 ）；然后再经过两条支路P1、P2，每条都首先经过一个1×1的卷积。支路P1的作用是对前景和后景进行二分类（ Girshick等，2014 Girshick等，2014 ），支路P2的作用是进行矩形框的回归定位（ Zitnick和Dollár，2014 Zitnick和Dollár，2014 ）。两条支路汇合去除后景类别后，对于前景类别，RPN先将锚框映射到原始图像上得到建议区域，然后对数量过多的建议区域候选框进行两次筛选：在剔除严重超出边界的候选框的基础上，对其余候选框进行最大值抑制（Neubeck和Van Gool，2006）。最后对处理后的候选框根据类别得分进行排序，选取最优区域作为最终的目标框（ Zitnick和Dollár，2014 Zitnick和Dollár，2014 ）。 2.1.3 RoI Pooling 3 RoI Pooling主要是对建议区域进行池化，它的特点是将尺寸不固定的特征图转变为固定的尺寸（ Girshick，2015 Girshick，2015 ）。RoI Pooling以ResNet101网络输出的特征图和RPN 网络输出的候选框作为输入，并与C5卷积层连接，经平均池化后输出16×16×2048的特征图F2。最后Faster R-CNN利用Softmax层对候选框进行码头二分类并输出候选框得分，同时利用Bbox reg计算相对标注框的偏移量修正其位置，以得到更精确的码头候选框，最终完成对码头目标端到端的识别。 2.2　面向码头识别的Faster R-CNN改进 2 2.2.1 基于K-Means的码头候选框预设 3 K-Means算法常用来解决目标检测出现的漏检及误检等问题（ Hartigan和Wong，1979 Hartigan和Wong，1979 ）。标准K-Means使用欧氏距离作为度量会导致目标框较大的聚类簇产生较大误差，因此本文以交并比IoU（Intersection over Union）（ Rezatofighi等，2019 Rezatofighi等，2019 ）为度量对码头数据集外接矩形的长宽比进行聚类，用于发现最佳的聚类簇数量。 <math display="block" id="M1"><mi>D</mi><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>m</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>m</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317082&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317081&type= 35.39066696 3.47133350 <math display="block" id="M2"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>⋂</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi></mrow></msub></mrow><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>⋃</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317084&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317083&type= 28.44799995 8.97466660 式中， <math id="M3"><mi>D</mi><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>m</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317085&type= 11.85333347 3.47133350 是预测框 b 和聚类中心 m 的距离，IoU是交并比， <math id="M4"><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317089&type= 4.40266657 3.72533321 表示预测框， <math id="M5"><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317096&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317093&type= 4.23333359 3.72533321 表示实际框。由 式（1） 式（1） 可知IoU值越大，预设框到聚类中心的距离越小。 码头候选框预设具体步骤如下：（1）首先随机选取 k 个码头外接矩形框作为初始锚框；（2）然后使用IoU为度量，将每个码头外接矩形分配给与其距离最近的初始锚框，得到 k 个聚类簇；（3）计算每个簇中码头外接矩形框宽和长的均值，更新初始锚框。此时，每个簇的中心即为更新后的锚框；（4）重复第2步和第3步，直到锚框不再发生变化，在此过程中得到的平均IoU随聚类中心 k 的变化曲线如 图3 图3 所示；（5）最后结合变化曲线和elbow方法（ Saputra等，2020 Saputra等，2020 ）确定最终的 k 值。本文使用的elbow方法其基本思想为：若某 k 值使平均IoU的斜率发生了明显变化，该值即为真实聚类数。如 图3 图3 所示，当 k 达到聚类数3时平均IoU上升幅度达到最高，继续增加 k 值斜率会趋于平缓。因此根据elbow方法和 图3 图3 得到码头真实聚类数 k 为3。 根据上述系列步骤确定聚类数之后，本文采用K-Means聚类算法（代码地址： https：//github.com/ybcc2015/DeepLearning-Utils/tree/master/Anchor-Kmeans https://github.com/ybcc2015/DeepLearning-Utils/tree/master/Anchor-Kmeans ［2020-10-22］，编程语言为Python3）将包括顺岸式、突堤式和引桥式的所有码头数据集聚类成3个簇，这3个聚类簇分别对应不同的锚框尺寸和长宽比，用于覆盖不同的码头类型。每个聚类中心的长宽比（90∶69，128∶129，317∶258）即（0.76，0.99，1.23），并且将原基本尺度（128，256，512）预设为（64，128，256）以更加适应码头尺寸。此时每个基本尺度对应3种不同的长宽比，最终得到9个锚框（56，73），（64，65），（71，58），（115，142），（127，129），（147，111），（223，293），（254，257），（283，230）。3种类型码头的原始锚框与预设锚框对比效果如 图4 图4 所示，其中 图4（a） 图4（a） —（c）分别为突堤式码头、顺岸式码头和引桥式码头的原始锚框示意图， 图4（d） 图4（d） —（f）分别为突堤式码头、顺岸式码头和引桥式码头的预设锚框示意图。由 图4 图4 可知，原算法候选框在提取码头的同时会覆盖大量背景地物，而算法改进后得到的锚框更适合于码头尺寸。如 图5 图5 所示为原始锚框与预设锚框的尺寸对比，其中黄色及蓝色框的基本尺度分别为64和128，分别对应尺寸较小的突堤式码头和顺岸式码头，红色框基本尺度为256，用于覆盖尺寸较大的引桥式码头。同时，由于将所有码头外接矩形即长宽比进行聚类针对的是码头尺寸，而不是类型，因此对于大小相同但类型不同的码头会归为同一聚类簇中，即应用同一尺寸的锚框。 1,2,3;4,5,6; （a）原始锚框 （b）预设锚框 （a） Original anchors （b） Preset anchors 2.2.2 基于Soft-NMS的码头定位 3 Faster R-CNN采用NMS算法去除重复的候选框（ Ren等，2015 Ren等，2015 ），但该算法易对重叠度高的边框产生误删，不能准确识别密集分布的多个码头，如 式（3） 式（3） 所示。针对NMS存在的不足，本文采用Soft-NMS算法代替NMS。如 式（4） 式（4） 所示，候选框 <math id="M6"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317125&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317124&type= 2.37066650 3.72533321 与最高分候选框 <math id="M7"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317126&type= 3.04800010 2.62466669 重叠度越高，候选框 <math id="M8"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317129&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317128&type= 2.37066650 3.72533321 得分越低；而候选框 <math id="M9"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317130&type= 2.37066650 3.72533321 与 <math id="M10"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317134&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317133&type= 3.04800010 2.62466669 的重叠度小于阈值 <math id="M11"><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317135&type= 3.21733332 3.72533321 ，则候选框 <math id="M12"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317138&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317137&type= 2.37066650 3.72533321 保留。对于码头分布较为密集的区域，NMS更容易错过候选物体，而Soft-NMS通过降低IoU最大边框的置信度，保留其参与下一轮比对的可能，从而降低误删的可能性（ Bodla等，2017 Bodla等，2017 ）。 <math display="block" id="M13"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi></mrow></msub></mtd><mtd><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo><</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>≥</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317142&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317140&type= 38.09999847 9.82133293 <math display="block" id="M14"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi></mrow></msub></mtd><mtd><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo><</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>≥</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317145&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317144&type= 62.39933777 9.82133293 式中， <math id="M15"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317149&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317147&type= 2.79399991 3.72533321 是候选框得分集合， <math id="M16"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317153&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317151&type= 3.04800010 2.62466669 为最高分候选框， <math id="M17"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317154&type= 2.37066650 3.72533321 待处理候选框， <math id="M18"><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317159&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317158&type= 3.21733332 3.72533321 为阈值。 如 图6 图6 所示为NMS算法与Soft-NMS算法识别效果对比示意图。由 图6 图6 可知，传统Faster R-CNN中的NMS算法只选取重叠度区域中较高得分的候选框，造成了码头目标候选框的漏检。而改进后的Soft-NMS算法保留了重叠区域中得分较低的候选框，降低了码头识别的漏检率。 1,2,3; 3 实验 1 3.1 实验数据集 2 3.1.1 码头解译标志 3 码头在遥感影像上的解译标志主要包括光谱特征、形状特征、尺寸特征和空间分布特征。码头在影像上呈亮灰色和部分船舶颜色接近；典型码头形状在影像上一般呈I型、L型和T型，类型主要分为顺岸式码头、突堤式码头和引桥式码头（ 李正威 等，2018 李正威 等，2018 ）（ 图7 图7 ）；码头在影像数据集上像素占比较小，平均为0.03；在空间分布特征上主要表现在与陆地连通，且分布较为密集。 1,2,3;4,5,6; 3.1.2 数据增广及数据集建立 3 本文对码头数据集进行随机旋转、亮度调整和增加噪声等数据增广方式提高数据的多样性（ Taylor和Nitschke，2018 Taylor和Nitschke，2018 ），以最终提高模型的泛化性能。本文基于公开遥感数据集DIOR（ Li等，2020 Li等，2020 ）和Google Earth遥感影像构建了码头目标数据集。该数据集大小为3000，其中各图像空间分辨率为1 m，尺寸大小为512×512。图像采集地区主要包括长江沿岸区域以及湛江、厦门等港口城市。本文将整个数据集分为互斥的训练集和测试集，其中验证集包含在训练集中。数据集中码头像素占比直方图如 图8 图8 所示，可见像素占比大多在0.15以下，码头目标较小导致识别难度增加。数据集中码头目标外接矩形的长度、宽度、面积及像素占比统计参数如 表1 表1 所示。 码头信息 最大值 最小值 平均值 宽度/m 160 24 84 宽度占比 0.75 0.046 0.161 长度/m 253 27 85 高度占比 0.76 0.052 0.163 面积/m 2 45649 650 8447 面积占比 0.556 0.002 0.031 对于数据集比例 R ，采用控制变量法对其进行选取，当训练集、验证集和测试集中样本数比例为6∶2∶2时，训练精度和测试精度均最高（ 表2 表2 ）。图 9 9 、 10 10 分别为训练集和测试集中码头样本的情况，训练集采集自大连、秦皇岛、宜昌、江阴、厦门、天津等地区，而测试集采集自广州、湛江、海口、珠海、深圳、横滨等地区，两数据集均包含突堤式、顺岸式以及引桥 式3 式3 种码头，具有尺寸及形状等特征的相似性。同时训练集和测试集中的码头来源于不同地区，具有空间差异性。因此算法在测试集中的识别精度能够很好地体现模型的泛化性能。 数据集比例 R 阈值 N t batch_size 训练精度 测试精度 6∶2∶2 0.5 128 0.92 0.9 7∶0∶3 0.5 128 0.79 0.82 8∶0∶2 0.5 128 0.88 0.86 1,2,3;4,5,6; 1,2,3;4,5,6; 3.2 实验平台 2 本文实验操作平台为Ubuntu 16.04操作系统，使用CUDA10.0和cuDNN7.5加速训练，处理器为Intel Core i7-8700 CPU@3.20 GHz，GPU为NVIDIA GeForce RTX 2080（8 G显存）。使用的编程语言为Python，开发框架为Tensorflow。Faster R-CNN算法的框架链接为： https：//github.com/endernewton/tf-faster-rcnn https://github.com/endernewton/tf-faster-rcnn ［2020-10-22］。 在码头识别过程中，数据集比例 R 、阈值 N t 和batch_size共3个参数值的选取对模型性能影响较大，因此本文采用控制变量法进行选取。首先固定阈值 N t =0.5，batch_size=128，变化数据集比例参数 R 的值，当训练集、验证集和测试集中样本数比例为6∶2∶2时，训练精度和测试精度均最高（ 表2 表2 ），因此数据集比例参数 R 值取为6∶2∶2。采用同样的方法得到阈值 N t 为0.5（ 表3 表3 ），batch_size为256（ 表4 表4 ）。为避免在参数中引入较大的噪声导致迭代引起较大的震荡，本文参阅文献（ Krizhevsky等，2012 Krizhevsky等，2012 ； Bengio，2012 Bengio，2012 ； Smith，2017 Smith，2017 ）选择了较小的学习率0.001。其余参数对模型影响较小，选择了初始参数，最终参数值如 表5 表5 所示。 数据集比例 R 阈值 N t batch_size 训练精度 测试精度 6∶2∶2 0.5 128 0.92 0.9 6∶2∶2 0.6 128 0.91 0.9 6∶2∶2 0.7 128 0.88 0.87 数据集比例 R 阈值 N t batch_size 训练精度 测试精度 6∶2∶2 0.5 128 0.92 0.9 6∶2∶2 0.5 256 0.94 0.93 6∶2∶2 0.5 512 0.92 0.92 参数 数值 数据集比例 R 6∶2∶2 阈值 N t 0.5 学习率 0.001 动量 0.9 衰减系数 0.0001 batch_size 256 迭代次数 120000 3.3 评价指标 2 为定量评价模型的性能，采用平均精度AP（Average precision）、准确率 P （Precision）、召回率 R （Recall）（ Zhu，2004 Zhu，2004 ），以及漏检率（Missing Alarm）和虚警率（False Alarm）（ Ma和Bai，2015 Ma和Bai，2015 ）作为评价指标。本文以TP作为识别结果中正确提取的码头个数，FP作为错误提取的码头个数，FN作为遗漏提取的码头个数。 （1）AP是评价模型性能的重要指标，计算公式如 式（5） 式（5） 所示： <math display="block" id="M19"><mi mathvariant="normal">A</mi><mi mathvariant="normal">P</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo>∫</mo><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mi>P</mi><mtext> </mtext><mi mathvariant="normal">d</mi><mi>R</mi></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317420&type= 18.45733452 9.90600014 （2）Precision表示在码头的预测结果中正确识别的比例： <math display="block" id="M20"><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317428&type= 32.93532944 7.28133297 （3）Recall表示在码头的所有真实标记框中正确识别的比例： <math display="block" id="M21"><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317435&type= 27.85533524 7.36600018 （4）虚警率是错误提取的码头目标占总识别数量的比例，计算公式如 式（8） 式（8） 所示： <math display="block" id="M22"><mi mathvariant="normal">F</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317443&type= 20.48933220 7.36600018 （5）漏检率是遗漏提取的码头目标占总识别数量的比例，计算公式如 式（9） 式（9） 所示： <math display="block" id="M23"><mi mathvariant="normal">M</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36317449&type= 21.25133324 7.36600018 4 讨论与分析 1 4.1 训练函数 2 为比较算法的有效性，本文基于构建的码头数据集分别在SSD算法、传统Faster R-CNN算法、Faster R-CNN+Kmeans算法以及本文FKSN算法上进行了实验。4种算法在码头数据集上的损失函数值Loss随迭代次数的变化曲线如 图11 图11 所示。总体来说，4种模型的Loss曲线相对平滑，在模型训练初始阶段，各曲线的Loss值均保持在一个较高的水平，随着迭代次数的增加，Loss值不断缓慢振荡下降。当4种算法模型都迭代到80000次之后，各算法的Loss值基本趋于稳定。其中本文FKSN算法在训练初期下降最快，并较其他3种算法持续保持更低的Loss值。SSD算法、Faster R-CNN算法和Faster R-CNN+K-Means算法的Loss值最终稳定在0.31、0.30和0.23。本文FKSN算法的Loss值在训练到120000次时最小，保持在0.20。 4.2 精度检验及算法比较 2 测试集精度评价结果如 图12 图12 所示。相较于前4种算法，本文FKSN算法的准确率AP最高，达到了92.6%，较传统Faster R-CNN算法提高了8.3个百分点。传统ISODATA分类方法（ Ball和Hall，1965 Ball和Hall，1965 ）的识别精度最低且虚警率（FalseAlarm）最高，说明该方法应用到码头的自动提取中效果较差。SSD算法的虚警率及漏检率（Missing Alarm（%））指标表现同样较差，分别为28.1%和23.2%，说明该方法不能很好的对码头目标进行识别。与此相比，Faster R-CNN的漏检率最高，说明该方法在码头目标识别中漏检最多。在Faster R-CNN+K-Means和本文FKSN方法的识别结果中，本文方法的召回率和漏检率最优，分别为90.2% 和7.6%。在虚警率指标方面，Faster R-CNN+K-Means算法表现与本文方法相类似，说明通过采用K-Means算法可以满足一定的目标识别任务，但Faster R-CNN+K-Means的漏检率较高，说明该方法对小型目标的提取存在一定的缺陷。本文方法在识别精度、虚警率及漏检率综合表现更好，说明本文方法完全能满足对复杂地区小型码头目标自动提取的任务。 5种方法在测试集中的识别结果如 图13 图13 示，（a）—（e）分别为5种算法在横滨突堤式码头遥感影像上的识别效果图，（f）—（j）分别为5种算法在湛江顺岸式码头遥感影像中的识别效果图，（k）—（o）分别为5种算法在广州引桥式码头遥感影像中的识别效果图。其中红色框为4种深度学习算法的识别结果。为更好的分析算法性能，本文在4种算法的识别基础上分别用黄色和蓝色标示出了漏检和虚警情况。传统ISODATA分类方法的提取结果如 图13 图13 （a）（f）（k）所示，该方法在识别出部分码头的同时产生大量的虚警，即将大量的人工建筑物和部分并排的船舶误提为码头，说明该方法在码头目标提取中性能较差。SSD算法的识别结果如 图13 图13 （b）（g）（l）所示，Faster R-CNN识别结果如 图13 图13 （c）（h）（m）所示。SSD算法的识别结果总体比Faster R-CNN低，两者在部分小形码头的目标识别中易将并排船舶误识别为码头，导致识别结果出现了明显的虚警现象。在Faster R-CNN算法的基础上，采用K-Means对候选框进行改进后得到的识别结果如 图13 图13 （d）（i）（n）所示，与Faster R-CNN算法比较，由于预设了更加适合码头尺寸的候选框，使得降低周围背景影响的同时提高了识别精度，但对于分布密集区的码头仍然存在漏检现象。本文FKSN算法的识别结果如 图13 图13 （e）（j）（o）所示，该算法在Faster R-CNN+K-Means基础上使用Soft-NMS算法替代了原NMS算法，使得在保持对尺寸较小的码头进行准确识别时，降低了分布密集区码头识别的漏检率。因此可以看出本文方法较好地提高了算法的性能。 1,2,3,4,5;6,7,8,9,10;11,12,13,14,15; 4.3 目标识别结果 2 本文选择沈家门港区进行大幅Google Earth影像的码头自动识别性能验证，其中 图14 图14 为沈家门港区最终的码头识别结果图。如 图14 图14 所示，该区域图幅像素大小为5000像素×3500像素，空间分辨率为1 m。影像幅内共有82个码头，经过本文算法共识别出75个码头目标。本文算法在提取过程中错误识别码头共3个，主要类型为杂乱排列的集装箱或者船舶，由蓝色掩膜表示。黄色掩膜为漏提码头共有7个，漏提原因一方面是影像分辨率不足以让算法提取足够的特征，另一方面是码头的尺寸在影像中占比过小且受周围环境影响。本文FKSN算法应用在沈家门港区最终识别结果的准确率为96.1%，召回率为91.4%，虚警率为3.6%，漏检率为8.5%，证明本文提出的FKSN算法在大幅面遥感影像中的识别性能仍然表现良好。 5 结论 1 码头作为民用领域的重要交通枢纽和军事领域的重要打击目标，对其进行自动识别研究具有十分重要的经济和军事价值。然而由于码头普遍尺寸小、数量多、分布散乱，传统方法难以满足对高速发展的码头进行精准监测的需求，从含有水域、建筑、船舶等复杂背景的遥感影像中对码头目标进行快速识别及精准定位非常困难。本文将Faster R-CNN算法应用于码头的自动识别中，并针对码头的尺寸特征和空间分布特征对算法进行了改进。通过对不同地区不同类型的码头目标进行识别以及对沈家门港地区大幅遥感影像的码头进行自动识别性能验证，得出以下结论： （1）通过采用K-Means算法对候选框尺寸进行预设，使得候选框尺寸更符合码头的尺寸特点，从而在提高识别率的同时减少了背景中其他目标对码头检测的影响，降低了虚警率。 （2）通过采用Soft-NMS代替NMS使算法能够更稳定地计算候选框的得分，从而使得在码头密集分布的地区这些码头均能被准确识别。将K-Means和Soft-NMS同时应用到Faster R-CNN算法有效的改善了虚警和漏检问题，提高了码头识别的精度和定位的准确性。 （3）实验结果表明该算法能够对不同地区以及顺岸式码头、突堤式码头和引桥式码头等不同形状的码头进行较为精准的识别，具有很强的普适性，未来工作可采取更高分辨率的影像对码头进行更精细化的分类。 参考文献（References） Ball G H and Hall D J . 1965 . ISODATA, A Novel Method of Data Analysis and Pattern Classification . California : Stanford Research Inst Menlo Park CA ISODATA, A Novel Method of Data Analysis and Pattern Classification Bengio Y . 2012 . Practical recommendations for gradient-based training of deep architectures //Montavon G, Orr G B and Müller K R, eds. Neural Networks: Tricks of the Trade . Berlin, Heidelberg : Springer: 437 - 478 [ DOI: 10.1007/978-3-642-35289-8_26 http://dx.doi.org/10.1007/978-3-642-35289-8_26 ] Practical recommendations for gradient-based training of deep architectures Bhagavathy S , Newsam S and Manjunath B S . 2002 . Modeling object classes in aerial images using texture motifs // Proceedings of 2002 International Conference on Pattern Recognition . Quebec City : IEEE: 981 - 984 [ DOI: 10.1109/ICPR.2002.1048470 http://dx.doi.org/10.1109/ICPR.2002.1048470 ] Modeling object classes in aerial images using texture motifs Bi Q , Tong X , Zhang J Y , Xu K , Zhang H and Qin K . 2019 . Small harbor detection based on PLSA and BoW in high resolution remotely sensed imagery . Journal of Applied Sciences , 37 ( 3 ): 301 - 312 Small harbor detection based on PLSA and BoW in high resolution remotely sensed imagery 毕奇 , 童心 , 张济勇 , 许凯 , 张涵 , 秦昆 . 2019 . 基于PLSA和BoW的高分遥感影像小型港口检测 . 应用科学学报 , 37 ( 3 ): 301 - 312 [ DOI: 10.3969/j.issn.0255-8297.2019.03.001 http://dx.doi.org/10.3969/j.issn.0255-8297.2019.03.001 ] 基于PLSA和BoW的高分遥感影像小型港口检测 Bodla N , Singh B , Chellappa R and Davis L S . 2017 . Soft-NMS—improving object detection with one line of code // Proceedings of 2017 IEEE International Conference on Computer Vision . Venice : IEEE: 5562 - 5570 [ DOI: 10.1109/ICCV.2017.593 http://dx.doi.org/10.1109/ICCV.2017.593 ] Soft-NMS—improving object detection with one line of code Bovolo F , Marin C and Bruzzone L . 2013 . A hierarchical approach to change detection in very high resolution SAR images for surveillance applications . IEEE Transactions on Geoscience and Remote Sensing , 51 ( 4 ): 2042 - 2054 [ DOI: 10.1109/TGRS.2012.2223219 http://dx.doi.org/10.1109/TGRS.2012.2223219 ] A hierarchical approach to change detection in very high resolution SAR images for surveillance applications Burns J B , Hanson A R and Riseman E M . 1986 . Extracting straight lines . IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-8 ( 4 ): 425 - 455 [ DOI: 10.1109/TPAMI.1986.4767808 http://dx.doi.org/10.1109/TPAMI.1986.4767808 ] Extracting straight lines Girshick R , Donahue J , Darrell T and Malik J . 2014 . Rich feature hierarchies for accurate object detection and semantic segmentation // Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus : IEEE: 580 - 587 [ DOI: 10.1109/CVPR.2014.81 http://dx.doi.org/10.1109/CVPR.2014.81 ] Rich feature hierarchies for accurate object detection and semantic segmentation Girshick R . 2015 . Fast R-CNN // Proceedings of 2015 IEEE International Conference on Computer Vision . Santiago : IEEE: 1440 - 1448 [ DOI: 10.1109/ICCV.2015.169 http://dx.doi.org/10.1109/ICCV.2015.169 ] Fast R-CNN Han Y S , Ma S P , Zhang F and Li C H . 2020 . Object detection of remote sensing airport image based on improved Faster R-CNN . Journal of Physics : Conference Series , 1601 : 032010 [ DOI: 10.1088/1742-6596/1601/3/032010 http://dx.doi.org/10.1088/1742-6596/1601/3/032010 ] Object detection of remote sensing airport image based on improved Faster R-CNN Hartigan J A and Wong M A . 1979 . Algorithm AS 136: A K-Means clustering algorithm . Journal of the Royal Statistical Society , 28 ( 1 ): 100 - 108 [ DOI: 10.2307/2346830 http://dx.doi.org/10.2307/2346830 ] Algorithm AS 136: A K-Means clustering algorithm He K M , Zhang X Y , Ren S Q and Sun J . 2016 . Deep residual learning for image recognition // Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas : IEEE: 770 - 778 [ DOI: 10.1109/CVPR.2016.90 http://dx.doi.org/10.1109/CVPR.2016.90 ] Deep residual learning for image recognition Kharchenko V and Chyrka I . 2018 . Detection of airplanes on the ground using YOLO neural network // Proceedings of the 2018 IEEE 17th International Conference on Mathematical Methods in Electromagnetic Theory (MMET) . Kyiv : IEEE: 294 - 297 [ DOI: 10.1109/MMET.2018.8460392 http://dx.doi.org/10.1109/MMET.2018.8460392 ] Detection of airplanes on the ground using YOLO neural network Krizhevsky A , Sutskever I and Hinton G E . 2012 . ImageNet classification with deep convolutional neural networks // Proceedings of Advances in Neural Information Processing Systems 25: 26th Annual Conference on Neural Information Processing Systems 2012 . Lake Tahoe : [s.n.]: 1106 - 1114 ImageNet classification with deep convolutional neural networks Lechgar H , Bekkar H and Rhinane H . 2019 . Detection of cities vehicle fleet using YOLO V2 and aerial images . The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-4/W 12 : 121 - 126 [ DOI: 10.5194/isprs-archives-XLII-4-W12-121-2019 http://dx.doi.org/10.5194/isprs-archives-XLII-4-W12-121-2019 ] Detection of cities vehicle fleet using YOLO V2 and aerial images Li J Y , Li X R and Zhao L Y . 2019 . Docked ship detection based on edge line analysis and aggregation channel features . Acta Optica Sinica , 39 ( 8 ): 0815004 Docked ship detection based on edge line analysis and aggregation channel features 黎经元 , 厉小润 , 赵辽英 . 2019 . 基于边缘线分析与聚合通道特征的港口舰船检测 . 光学学报 , 39 ( 8 ): 0815004 [ DOI: 10.3788/AOS201939.0815004 http://dx.doi.org/10.3788/AOS201939.0815004 ] 基于边缘线分析与聚合通道特征的港口舰船检测 Li K , Wan G , Cheng G , Meng L Q and Han J W . 2020 . Object detection in optical remote sensing images: a survey and a new benchmark . ISPRS Journal of Photogrammetry and Remote Sensing , 159 : 296 - 307 [ DOI: 10.1016/j.isprsjprs.2019.11.023 http://dx.doi.org/10.1016/j.isprsjprs.2019.11.023 ] Object detection in optical remote sensing images: a survey and a new benchmark Li Z W , Guo H T , Shi L , Yu J T , Wu Z Y and Fang S L . 2018 . A segmentation method of the coastal wharfs in remote sensing image based on structural features . Hydrographic Surveying and Charting , 38 ( 5 ): 63 - 669 A segmentation method of the coastal wharfs in remote sensing image based on structural features 李正威 , 郭海涛 , 石朗 , 喻金桃 , 吴祯优 , 方绍磊 . 2018 . 基于结构特征的遥感影像海岸码头分割方法 . 海洋测绘 , 38 ( 5 ): 63 - 66 [ DOI: 10.3969/j.issn.1671-3044.2018.05.015 http://dx.doi.org/10.3969/j.issn.1671-3044.2018.05.015 ] 基于结构特征的遥感影像海岸码头分割方法 Liu C , Xiao Y Y , Yang J and Yin J J . 2016a . Harbor detection in Polarimetric SAR images based on the characteristics of parallel curves . IEEE Geoscience and Remote Sensing Letters , 13 ( 10 ): 1400 - 1404 [ DOI: 10.1109/LGRS.2016.2560944 http://dx.doi.org/10.1109/LGRS.2016.2560944 ] Harbor detection in Polarimetric SAR images based on the characteristics of parallel curves Liu T F . 2018 . Current situation and countermeasures of China’s maritime rights and interests under the new situation . Journal of Hainan Tropical Ocean University , 25 ( 3 ): 31 - 37 Current situation and countermeasures of China’s maritime rights and interests under the new situation 刘腾飞 . 2018 . 新形势下中国海洋权益现状与维护对策 . 海南热带海洋学院学报 , 25 ( 3 ): 31 - 37 [ DOI: 10.13307/j.issn.2096-3122.2018.03.05 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.03.05 ] 新形势下中国海洋权益现状与维护对策 Liu W , Anguelov D , Erhan D , Szegedy C , Reed S , Fu C Y and Berg A C . 2016b . SSD: single shot multibox detector // Proceedings of the 14th European Conference on Computer Vision . Amsterdam : Springer: 21 - 37 [ DOI: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 ] SSD: single shot multibox detector Liu Y F , Pan H J , Wang G W and Qi C S . 2014 . Artificially intellectual collection of island shoreline and dock based on IDL . Geomatics and Spatial Information Technology , 37 ( 2 ): 96 - 98 Artificially intellectual collection of island shoreline and dock based on IDL 刘亚飞 , 潘洪军 , 王广伟 , 亓常松 . 2014 . 基于IDL的岛屿岸线及港口码头的人工智能提取 . 测绘与空间地理信息 , 37 ( 2 ): 96 - 98 [ DOI: 10.3969/j.issn.1672-5867.2014.02.027 http://dx.doi.org/10.3969/j.issn.1672-5867.2014.02.027 ] 基于IDL的岛屿岸线及港口码头的人工智能提取 Long J , Shelhamer E and Darrell T . 2015 . Fully convolutional networks for semantic segmentation // Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston : IEEE: 3431 - 3440 [ DOI: 10.1109/CVPR.2015.7298965 http://dx.doi.org/10.1109/CVPR.2015.7298965 ] Fully convolutional networks for semantic segmentation Ma C W and Bai X Z . 2015 . Analysis of false alarm and missing alarm in conjunction assessment of space objects //Shen R J and Qian W P, eds. Proceedings of the 27th Conference of Spacecraft TTandC Technology in China . Berlin, Heidelberg : Springer: 477 - 487 [ DOI: 10.1007/978-3-662-44687-4_43 http://dx.doi.org/10.1007/978-3-662-44687-4_43 ] Analysis of false alarm and missing alarm in conjunction assessment of space objects Mandal D P , Murthy C A and Pal S K . 1996 . Analysis of IRS imagery for detecting man-made objects with a multivalued recognition system . IEEE Transactions on Systems, Man, and Cybernetics-Part A : Systems and Humans , 26 ( 2 ): 241 - 247 [ DOI: 10.1109/3468.485750 http://dx.doi.org/10.1109/3468.485750 ] Analysis of IRS imagery for detecting man-made objects with a multivalued recognition system Neubeck A and Van Gool L . 2006 . Efficient non-maximum suppression // Proceedings of the 18th International Conference on Pattern Recognition (ICPR'06). Hong Kong , China : IEEE: 850 - 855 [ DOI: 10.1109/ICPR.2006.479 http://dx.doi.org/10.1109/ICPR.2006.479 ] Efficient non-maximum suppression Qu J S , Su C , Zhang Z W and Razi A . 2020 . Dilated convolution and feature fusion SSD network for small object detection in remote sensing images . IEEE Access , 8 : 82832 - 82843 [ DOI: 10.1109/ACCESS.2020.2991439 http://dx.doi.org/10.1109/ACCESS.2020.2991439 ] Dilated convolution and feature fusion SSD network for small object detection in remote sensing images Redmon J , Divvala S , Girshick R and Farhadi A . 2016 . You only look once : unified, real-time object detection// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas : IEEE: 779 - 788 [ DOI: 10.1109/CVPR.2016.91 http://dx.doi.org/10.1109/CVPR.2016.91 ] You only look once Ren S Q , He K M , Girshick R B and Sun J . 2015 . Faster R-CNN: towards real-time object detection with region proposal networks // Proceedings of Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015 . Montreal : [s.n.]: 91 - 99 [ DOI: 10.1109/TPAMI.2016.2577031 http://dx.doi.org/10.1109/TPAMI.2016.2577031 ] Faster R-CNN: towards real-time object detection with region proposal networks Rezatofighi H , Tsoi N , Gwak J Y , Sadeghian A , Reid I and Savarese S . 2019 . Generalized intersection over union: A metric and a loss for bounding box regression // Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach : IEEE: 658 - 666 [ DOI: 10.1109/CVPR.2019.00075 http://dx.doi.org/10.1109/CVPR.2019.00075 ] Generalized intersection over union: A metric and a loss for bounding box regression Salakhutdinov R , Torralba A and Tenenbaum J . 2011 . Learning to share visual appearance for multiclass object detection // Proceedings of CVPR 2011 . Colorado Springs : IEEE: 1481 - 1488 [ DOI: 10.1109/CVPR.2011.5995720 http://dx.doi.org/10.1109/CVPR.2011.5995720 ] Learning to share visual appearance for multiclass object detection Saputra D M , Saputra D and Oswari L D . 2020 . Effect of distance metrics in determining K-Value in K-Means clustering using Elbow and Silhouette method //Proceedings of Sriwijaya International Conference on Information Technology and Its Applications (SICONIAN 2019). [s.l.]: Atlantis Press: 341 - 346 [ DOI: 10.2991/aisr.k.200424.051 http://dx.doi.org/10.2991/aisr.k.200424.051 ] Effect of distance metrics in determining K-Value in K-Means clustering using Elbow and Silhouette method Smith L N . 2017 . Cyclical learning rates for training neural networks // Proceedings of 2017 IEEE Winter Conference on Applications of Computer Vision (WACV) . Santa Rosa : IEEE: 464 - 472 [ DOI: 10.1109/WACV.2017.58 http://dx.doi.org/10.1109/WACV.2017.58 ] Cyclical learning rates for training neural networks Taylor L and Nitschke G . 2018 . Improving deep learning with generic data augmentation // Proceedings of 2018 IEEE Symposium Series on Computational Intelligence (SSCI) . Bangalore : IEEE: 1542 - 1547 [ DOI: 10.1109/SSCI.2018.8628742 http://dx.doi.org/10.1109/SSCI.2018.8628742 ] Improving deep learning with generic data augmentation Uijlings J R R , Van De Sande K E A , Gevers T and Smeulders A W M . 2013 . Selective search for object recognition . International Journal of Computer Vision , 104 ( 2 ): 154 - 171 [ DOI: 10.1007/s11263-013-0620-5 http://dx.doi.org/10.1007/s11263-013-0620-5 ] Selective search for object recognition Wang J , Huang J , Wang M and Ming D P . 2019 . Dock extraction from China’‍s Gaofen-2 multispectral imagery based on region-line primitive association analyses . International Journal of Remote Sensing , 40 ( 10 ): 3878 - 3899 [ DOI: 10.1080/01431161.2018.1553321 http://dx.doi.org/10.1080/01431161.2018.1553321 ] Dock extraction from China’‍s Gaofen-2 multispectral imagery based on region-line primitive association analyses Wei J W . 2007 . Research and implement of harbor detection in remote sensing image . Xi’an : Xidian University Research and implement of harbor detection in remote sensing image 魏军伟 . 2007 . 遥感图像中港口目标检测研究与实现 . 西安 : 西安电子科技大学 [ DOI: 10.7666/d.y1246776 http://dx.doi.org/10.7666/d.y1246776 ] 遥感图像中港口目标检测研究与实现 Wei S H , Chen H M , Zhu X J and Zhang H S . 2020 . Ship detection in remote sensing image based on Faster R-CNN with dilated convolution // Proceedings of the 2020 39th Chinese Control Conference (CCC) . Shenyang : IEEE: 7148 - 7153 [ DOI: 10.23919/CCC50068.2020.9189467 http://dx.doi.org/10.23919/CCC50068.2020.9189467 ] Ship detection in remote sensing image based on Faster R-CNN with dilated convolution Ye Q K , Huo H , Zhu T H and Fang T . 2017 . Harbor detection in large-scale remote sensing images using both deep-learned and topological structure features // Proceedings of the 2017 10th International Symposium on Computational Intelligence and Design (ISCID) . Hangzhou : IEEE: 218 - 222 [ DOI: 10.1109/ISCID.2017.90 http://dx.doi.org/10.1109/ISCID.2017.90 ] Harbor detection in large-scale remote sensing images using both deep-learned and topological structure features Yu J T , Guo H T , Li C G and Li J . 2016 . Coast dock extraction method based on waterline and perceptual organization // Proceedings of 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS) . Beijing : IEEE: 6201 - 6204 [ DOI: 10.1109/IGARSS.2016.7730620 http://dx.doi.org/10.1109/IGARSS.2016.7730620 ] Coast dock extraction method based on waterline and perceptual organization Zalpour M , Akbarizadeh G and Alaei-Sheini N . 2020 . A new approach for oil tank detection using deep learning features with control false alarm rate in high-resolution satellite imagery . International Journal of Remote Sensing , 41 ( 6 ): 2239 - 2262 [ DOI: 10.1080/01431161.2019.1685720 http://dx.doi.org/10.1080/01431161.2019.1685720 ] A new approach for oil tank detection using deep learning features with control false alarm rate in high-resolution satellite imagery Zhang S M , Wu R Z , Xu K Y , Wang J M and Sun W W . 2019 . R-CNN-based ship detection from high resolution remote sensing imagery . Remote Sensing , 11 ( 6 ): 631 [ DOI: 10.3390/rs11060631 http://dx.doi.org/10.3390/rs11060631 ] R-CNN-based ship detection from high resolution remote sensing imagery Zhou T Y . 2019 . Research on object detection based on deep convolutional neural network . Harbin : Harbin Institute of Technology Research on object detection based on deep convolutional neural network 周天怡 . 2019 . 基于深度卷积神经网络的目标检测算法研究 . 哈尔滨 : 哈尔滨工业大学 基于深度卷积神经网络的目标检测算法研究 Zhu M . 2004 . Recall, precision and average precision . Waterloo : University of Waterloo : 30 Recall, precision and average precision Zhu T H . 2018 . Detection of compound object and core elements of airport in high resolution remote sensing images based on deep learning . Shanghai : Shanghai Jiaotong University Detection of compound object and core elements of airport in high resolution remote sensing images based on deep learning 朱廷贺 . 2018 . 基于深度学习的高分辨率遥感影像复合目标及机场核心要素检测 . 上海 : 上海交通大学 [ DOI: 10.27307/d.cnki.gsjtu.2018.001257 http://dx.doi.org/10.27307/d.cnki.gsjtu.2018.001257 ] 基于深度学习的高分辨率遥感影像复合目标及机场核心要素检测 Zitnick C L and Dollár P . 2014 . Edge boxes: locating object proposals from edges // Proceedings of the 13th European Conference on Computer Vision . Zurich : Springer: 391 - 405 [ DOI: 10.1007/978-3-319-10602-1_26 http://dx.doi.org/10.1007/978-3-319-10602-1_26 ] Edge boxes: locating object proposals from edges 10.11834/jrs.20220424 1007-4619（2022）04-0752-14 常莉莉，王贤敏，王春胜.2022.基于改进Faster R-CNN的码头自动识别.遥感学报，26（4）： 752-765 常莉莉，王贤敏，王春胜.2022.基于改进Faster R-CNN的码头自动识别.遥感学报，26（4）： 752-765 C L L，W X M and W C S. 2022. Automatic Dock Identification Based on Improved Faster R-CNN. National Remote Sensing Bulletin， 26（4）：752-765 C L L，W X M and W C S. 2022. Automatic Dock Identification Based on Improved Faster R-CNN. National Remote Sensing Bulletin， 26（4）：752-765 地质探测与评估教育部重点实验室主任基金（编号：GLAB2020ZR02） Supported by Opening Fund of Key Laboratory of Geological Survey and Evaluation of Ministry of Education (No. GLAB2020ZR02) 2020-10-22 2022-04-07 2022-11-01 2021-02-07 遥感学报 4 26