HY-1/CZI卫星影像的海上运动船只自动检测方法
Automatic detection method of a moving ship based on an HY-1/CZI satellite image
- 2023年27卷第4期 页码:965-972
纸质出版日期: 2023-04-07
DOI: 10.11834/jrs.20221525
引用
阅读全文PDF
扫 描 看 全 文
纸质出版日期: 2023-04-07
扫 描 看 全 文
引用
阅读全文PDF
船只遥感检测对于海上航行安全保障和海洋权益维护具有重要意义,传统基于极高空间分辨率的合成孔径雷达(SAR)和光学卫星影像的船只检测由于重访周期长,难以实现高频监测应用。中国自主“海洋一号”系列卫星(HY-1)搭载的中分辨率海岸带成像仪(CZI),虽然空间分辨率相对较低(星下点50 m),但HY-1C、HY-1D形成双星上下午组网观测,具有重访周期短的优势,对于海上船只监测具有重要价值。本文利用卷积神经网络进行特征学习和目标提取,建立了HY-1/CZI影像船只自动检测方法。验证结果表明,相对于传统图像处理方法,本文方法具有不需要调整阈值、适应性强的特点,检测精度达到77.71%,可应用于HY-1/CZI影像的海上运动船只自动监测。
Ship detection by satellite remote sensing is of great significance for the safety of maritime navigation and the maintenance of maritime rights and interests. The traditional ship detection based on high spatial resolution Synthetic Aperture Radar (SAR) and optical satellite images cannot easily realize high-frequency monitoring application due to the long revisit period. The medium resolution Coastal Zone Imager (CZI) carried by China’s “Ocean-1” series satellites (HY-1) has a relatively low spatial resolution (50 m). However, HY-1C and HY-1D form a double satellite network observation in the morning and afternoon, which has the advantage of short revisit period and is of great value for marine vessel monitoring. We attempt to realize the ship automatic detection and orientation technology of medium-resolution CZI images, which will be of great value to the monitoring of ships at sea. In this study, a convolutional neural network is used for feature learning and target extraction, and an automatic ship detection method of HY-1/CZI image is established. Verification results show that this method has the advantages of not requiring threshold adjustment and strong adaptability, and the detection accuracy reaches 77.71%, which can be applied to the automatic monitoring of marine moving ships in the HY-1/CZI image. The algorithm in this work can directly detect the position and motion information of marine moving ships from the medium-resolution HY-1/CZI image without manual screening, realize the automatic extraction of wake, and overcome the problem of insufficient resolution of the medium-resolution optical image. Based on the detection results, this work further quantitatively describes the wake and obtains the information of the ship's position and movement direction.
中国海域辽阔,拥有近300万km2的海洋国土面积,沿海港口众多,海上船舶的监测对于海上航行安全保障和海洋权益维护尤为重要。卫星遥感可实现对海上船舶的大面积、高频率监测,可为渔业、海上交通及遇难搜救等提供重要信息支持。目前,海上船舶遥感监测主要是利用高空间分辨率的光学卫星影像或合成孔径雷达(SAR)影像,对船舶及尾迹进行目标提取。
近年来,随着计算机性能不断提升,神经网络等机器学习算法发展迅速,如遥感影像上的目标提取已经广泛使用卷积神经网络。
然而,现有的高空间分辨光学或SAR卫星影像重访周期长,难以实现海上船只的连续检测,使得其实际应用具有较大局限性。中国于2018年9月、2020年6月分别发射了HY-1C、HY-1D海洋水色遥感卫星,其上均装载有中分辨率的海岸带成像仪(CZI)。CZI的星下点空间分辨率为50 m,幅宽达1000 km,单颗卫星CZI就可实现每3天进行重复观测。目前,HY-1C/CZI和HY-1D/CZI形成了上、下午组网观测,进一步缩短了重访观测周期。
相较于SAR影像,中分辨率光学影像受云覆盖影响大,且自身空间分辨率较低,这对于提取海面船舶尾迹目标带来挑战。因此,如能实现中分辨率CZI影像的船舶自动检测技术,将对海上舰船监测具有重要价值。针对该问题,本文基于卷积神经网络建立HY-1/CZI影像的海上运动船只尾迹提取算法,并开展应用效果检验。
本研究使用了2021年1月至3月、云量相对较少的17幅HY-1C/CZI影像数据,覆盖范围见
影像编号 | 影像观测时间(世界时) |
---|---|
H1C_OPER_CZI_L1B_20210104T024925_20210104T025020_12184_10 | 2021-01-04 02:49:25 |
H1C_OPER_CZI_L1B_20210110T024915_20210110T025010_12270_10 | 2021-01-10 02:49:15 |
H1C_OPER_CZI_L1B_20210119T024902_20210119T024957_12399_10 | 2021-01-19 02:49:02 |
H1C_OPER_CZI_L1B_20210122T024857_20210122T024952_12442_10 | 2021-01-22 02:48:57 |
H1C_OPER_CZI_L1B_20210125T024852_20210125T024947_12485_10 | 2021-01-25 02:48:52 |
H1C_OPER_CZI_L1B_20210203T024836_20210203T024932_12614_10 | 2021-02-03 02:48:36 |
H1C_OPER_CZI_L1B_20210206T024832_20210206T024913_12657_10 | 2021-02-06 02:48:32 |
H1C_OPER_CZI_L1B_20210215T024816_20210215T024911_12786_10 | 2021-02-15 02:48:16 |
H1C_OPER_CZI_L1B_20210305T024740_20210305T024835_13044_10 | 2021-03-05 12:50:05 |
H1C_OPER_CZI_L1B_20210308T024734_20210308T024829_13087_10 | 2021-03-08 04:02:35 |
H1C_OPER_CZI_L1B_20210311T024727_20210311T024822_13130_10 | 2021-03-11 02:47:27 |
H1C_OPER_CZI_L1B_20210314T024720_20210314T024815_13173_10 | 2021-03-14 02:47:20 |
H1C_OPER_CZI_L1B_20210317T024714_20210317T024809_13216_10 | 2021-03-17 02:47:14 |
H1C_OPER_CZI_L1B_20210320T024657_20210320T024753_13259_10 | 2021-03-20 02:46:57 |
H1C_OPER_CZI_L1B_20210320T024707_20210320T024802_13259_10 | 2021-03-20 02:47:07 |
H1C_OPER_CZI_L1B_20210323T024701_20210323T024756_13302_10 | 2021-03-23 02:47:01 |
H1C_OPER_CZI_L1B_20210329T024647_20210329T024743_13388_10 | 2021-03-29 02:46:47 |
CZI共有4个波段,分别为420—500 nm、520—600 nm、610—690 nm、760—890 nm。由于船只尾迹相比于背景海水,在近红外波段的反射率大幅度提高,因此本文选择420—500 nm、520—600 nm、760—890 nm分别作为B、G、R通道,这样组合除了有突出尾迹的效果,还可以利用植被在近红外高反射率的特点,区分陆地与海面。由于单幅CZI影像数据宽21800像素、长7600像素,本文将影像先进行分割,同时需要保证不会因为分割将同一目标割裂导致检测精度下降。本研究获取的船舶尾迹样本长度为8—25像素,因此,将影像分割成416×416大小的子影像,两个相邻子影像之间保证30个像素的重叠,避免同一目标被割裂。如
图1 影像裁剪示意图
Fig. 1 Sketch map of image cropping
卷积神经网络通过对大量样本进行学习,能够提取目标不同尺度上的特征,且在有干扰的情况下依旧能表现良好。由于HY-1/CZI是一种光学成像仪,存在云层干扰,因此本文基于卷积神经网络进行尾迹目标提取,以获得稳健的尾迹检测算法。本文采用YOLOv5模型,该模型的自适应锚定框设计使其在检测小目标时有出色表现,下文也设计了与其他方法的对比实验以验证其优势。
模型网络分为Backbone、Neck、Prediction这3部分(
图 2 YOLOv5 网络结构
Fig. 2 Structure of YOLOv5 network
人工标注579张裁剪后影像,将全部样本按照7∶3比例划分成训练集和测试集。样本标注上,仅标注未遮挡的带有尾迹的运动船只,这是由于CZI星下点分辨率为50 m,不带有尾迹特征的静止船只难以被分辨;被遮挡导致残缺的样本也未标注,前文提到尾迹在影像上长度8—25像素不等,被遮挡后目标过小。由于尾迹的影像与预训练模型的样本形态差距过大,对整体网络进行训练,这样做可能会减慢训练速度,但是可以得到对于尾迹提取适用性更强的模型。本研究训练环境为:Windows 10操作系统、Pytorch 框架、NVIDIA GTX1060 GPU,训练时间3.656 h。训练过程中超参数的设置如
在经过100轮训练后,网络的损失趋于平稳,不再出现波动下降(
图3 损失随训练次数的变化曲线
Fig. 3 Loss varies with the number of epochs
在目标检测中,常用精度(precision)和召回率(recall)指标来评估算法的性能,它们的计算方式如下:
precision=TPTP+FP | (1) |
recall=TPTP+FN | (2) |
式中,TP(True Positive)指被检测出且种类正确的数量,FP(False Positive)指被检出但是种类不正确的数量,FN(False Negative)指对于指定种类未被检出的数量。将不同置信度下对应的精度(Precision)与召回率(Recall)绘制成曲线的P-R曲线如
图4 精度与召回率曲线
Fig. 4 P-R curve
为了评估模型的整体精度,使用PASCAL-VOC(
本模型晴空影响下的检测效果如
图5 晴空下尾迹检测效果
Fig. 5 Wake detection sample under clear sky
图6 云干扰下船舶尾迹检测
Fig. 6 Wake detection with cloud influence
图7 模型错检和漏检情况
Fig. 7 Wrong and neglected cases
常见船舶尾迹有4类:布拉格波、开尔文尾迹、湍流尾迹和内波尾迹。在HY-1/CZI影像上可见的尾迹为开尔文尾迹和湍流尾迹。但由于CZI空间分辨率相对较低,开尔文臂亮度过低,大部分情况下仅湍流尾迹可见,因此本文使用湍流尾迹对船只进行定位和定向。
湍流尾迹在影像上的特征是一条有一定宽度的线段,尺寸较小且和尾迹前方船体连在一起形成明亮的逐渐变淡的尾迹。前述卷积神经网络提取已经排除了绝大部分的背景干扰,在每个检测出的检测框中,尾迹亮度都明显高于背景海水。进一步使用Ostu二值化算法(
图8 湍流尾迹提取流程图
Fig. 8 Flow chart of turbulence ship wake detection
(1)使用Ostu阈值化分割影像,得到尾迹的高亮范围。
(2)使用概率Hough变换提取线段特征,累计阈值设定为整体高亮像素数的10%,最小线段长度设置为段边框的40%,最大线间间距设置为10。
(3)选择最长的线段作为整体尾迹特征线段。
(4)判断方向,沿直线取影像上的像素值,亮度增加的方向为船只航向。
尾迹提取典型效果如
图9 湍流尾迹提取效果
Fig. 9 Turbulence ship wakes detection
图10 大范围海域船只自动检测效果
Fig. 10 Ship detection results in large sea areas
本文中使用的HY-1/CZI影像产品级别为L1B,每个像素都带有地理位置信息。对于每幅影像数据,可以根据每个像素的位置索引得到对应的位置信息。由于不能确定船只重心所在位置,我们将尾迹的起始位置,也就是船尾作为定位结果。这样做可能会带来误差,但是考虑到尾迹长度只有十几个像素,重心至船尾约1—2个像素,地面距离50—100 m,对于海面船只该定位误差影响可以忽略。湍流尾迹在确定起始点之后直接计算方位角即可。注意影像方位角与地理方位角定义的不同,转换式如下:
Rg=Ri+Rd | (3) |
式中,Rg与Ri分别为地理方位角与图像方位角,Rd为小窗口横坐标方向与原影像地理北方向之间的夹角。利用662个尾迹图像,对本算法精度进行定量评估,并与基于Hough变换的改进的CGHT算法(
图 11 不同算法对比结果
Fig. 11 Results of different algorithms
本算法尾迹检出率(Recall)超过85%,显著高于改进CGHT方法与梯度阈值法在相同影像下的检测精度(
本算法尾迹检测精度较高主要有两个方面的原因。一是相较于传统算法对大面积海域进行直线特征提取,卷积神经网络排除了绝大多数的背景干扰,并且将尾迹放在了窗口中心,使得尾迹和背景海水反差强烈。二是CZI分辨率相对较低,排除了大量噪声干扰。开尔文尾迹中的横波会截断湍流尾迹,而尖波会干扰开尔文臂的形成。根据
本文利用卷积神经网络进行特征学习和目标提取,建立了适用于HY-1/CZI影像的海上运动船只尾迹提取算法,实现了中分辨率光学遥感影像的船只自动检测。本文算法可从中分辨率HY-1/CZI影像上直接检测得到海上运动船只的位置和运动信息,无需人工筛选,实现了尾迹自动化提取,克服了中分辨率光学影像分辨率不足的问题。在尾迹检测检测结果的基础上,本文进一步定量地对尾迹进行描述,得到船只的位置和运动方向信息。实验结果表明,使用尾迹对船只位置和方向进行提取可达到较高精度,检出率(Recall)达到86.1%,船只运动方向的检测精度为64.20%,船只位置检测精度达77.71%。
本算法也可以应用于其他中等分辨率光学遥感影像上。算法目前在船只运动方向的检测精度略显不足,主要原因是较低的分辨率使得开尔文尾迹难以辨别,仅依靠尺度较小的湍流尾迹进行位置及方向检测可靠性较低,需要未来进一步提升位置与方向检测精度。
致谢:感谢国家卫星海洋应用中心提供HY-1C/CZI数据产品。感谢卫星海洋环境动力学国家重点实验室卫星地面站和海洋遥感数据在线分析平台(SatCO2)提供数据处理帮助。
Bochkovskiy A, Wang C Y and Liao H Y M. 2020. YOLOv4: optimal speed and accuracy of object detection. arXiv preprint arXiv: 2004.10934 [百度学术]
Everingham M, Van Gool L, Williams C K I, Winn J and Zisserman A. 2010. The Pascal visual object classes (VOC) challenge. International Journal of Computer Vision, 88(2): 303-338 [DOI: 10.1007/s11263-009-0275-4] [百度学术]
Grosso E and Guida R. 2020. A new automatic ship wake detection for Sentinel-1 imagery//IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa: IEEE: 1259-1262 [DOI: 10.1109/IGARSS39084.2020.9324604] [百度学术]
Jiang D D, Xu Z L and Li K D. 2004. Ship trace detection of SAR image based on radon transform. Hydrographic Surveying and Charting, 24(2): 50-52 [百度学术]
蒋定定, 许兆林, 李开端. 2004. 基于Radon变换的SAR图像船迹检测研究. 海洋测绘, 24(2): 50-52 [DOI: 10.3969/j.issn.1671-3044.2004.02.013] [百度学术]
Jiang Y and Li J W. 2015. A method of ship wake detection in SAR imagery based on localized ridgelet transform. Ship Science and Technology, 37(11): 146-150 [百度学术]
江源, 李健伟. 2015. 基于局部脊波变换的SAR图像舰船尾迹检测方法. 舰船科学技术, 37(11): 146-150 [DOI: 10.3404/j.issn.1672-7649.2015.11.032] [百度学术]
Kang K M and Kim D J. 2019. Ship velocity estimation from ship wakes detected using convolutional neural networks. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(11): 4379-4388 [DOI: 10.1109/JSTARS.2019.2949006] [百度学术]
Kun J and Yan C. 2020. SAR image ship detection based on deep learning//2020 International Conference on Computer Engineering and Intelligent Control (ICCEIC). Chongqing: IEEE: 55-59 [DOI: 10.1109/ICCEIC51584.2020.00019] [百度学术]
Li H K. 2008. Research on Ship Target and Wake Detection in Marine Remote Sensing Images. Chengdu: University of Electronic Science and Technology of China [百度学术]
李红康. 2008. 海洋遥感图像舰船目标及尾迹检测研究. 成都: 电子科技大学 [DOI: 10.7666/d.Y1314592] [百度学术]
Lin Q W, Wang B W and Wang Y F. 2021. SAR image ship detection based on improved YOLOv4//2021 IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA). Dalian: IEEE: 1130-1135 [DOI: 10.1109/ICAICA52286.2021.9498214] [百度学术]
Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y and Berg A C. 2016. SSD: single shot MultiBox detector//14th European Conference on Computer Vision. Amsterdam: Springer: 21-37 [DOI: 10.1007/978-3-319-46448-0_2] [百度学术]
Liu Y F, Zhao J and Qin Y. 2021. A novel technique for ship wake detection from optical images. Remote Sensing of Environment, 258: 112375 [DOI: 10.1016/j.rse.2021.112375] [百度学术]
Maini R and Aggarwal H. 2010. A comprehensive review of image enhancement techniques. arXiv preprint arXiv: 1003.4053 [百度学术]
Matas J, Galambos C and Kittler J. 2000. Robust detection of lines using the progressive probabilistic Hough transform. Computer Vision and Image Understanding, 78(1): 119-137 [DOI: 10.1006/cviu.1999.0831] [百度学术]
Murphy L M. 1986. Linear feature detection and enhancement in noisy images via the Radon transform. Pattern Recognition Letters, 4(4): 279-284 [DOI: 10.1016/0167-8655(86)90009-7] [百度学术]
Otsu N. 1979. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 9(1): 62-66 [DOI: 10.1109/TSMC.1979.4310076] [百度学术]
Ren S Q, He K M, Girshick R and Sun J. 2015. Faster R-CNN: towards real-time object detection with region proposal networks//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal: MIT Press: 91-99 [百度学术]
Rey M T, Tunaley J K, Folinsbee J T, Jahans P A, Dixon J A and Vant M R. 1990. Application of Radon transform techniques to wake detection in Seasat-A SAR images. IEEE Transactions on Geoscience and Remote Sensing, 28(4): 553-560 [DOI: 10.1109/TGRS.1990.572948] [百度学术]
Wang S Q and Jin Y Q. 2001. Ship wake detection in SAR images based on radon transformation and morphologic image processing. Journal of Remote Sensing, 5(4): 289-294 [百度学术]
王世庆, 金亚秋. 2001. SAR图像船行尾迹检测的Radon变换和形态学图像处理技术. 遥感学报, 5(4): 289-294 [DOI: 10.11834/jrs.20010408] [百度学术]
Xu H Q. 2005. A study on information extraction of water body with the modified normalized difference water index (MNDWI). Journal of Remote Sensing, 9(5): 589-595 [百度学术]
徐涵秋. 2005. 利用改进的归一化差异水体指数(MNDWI)提取水体信息的研究. 遥感学报, 9(5): 589-595 [DOI: 10.11834/jrs.20050586] [百度学术]
Zhang Y, Zhang Y G, Huang W G and Luo X L. 2003. A method for detecting ship wakes in SAR images. Remote Sensing for Land and Resources, (1): 56-58 [百度学术]
张宇, 张永刚, 黄韦艮, 楼琇林. 2003. 一种利用SAR图像检测船舶尾迹的方法. 国土资源遥感, (1): 56-58 [DOI: 10.3969/j.issn.1001-070X.2003.01.015] [百度学术]
Zhang Z X, Xu Q J, Zhang C and Zhao D. 2019. Ship moving feature detection using a single GF-4 multispectral image. Remote Sensing Technology and Application, 34(4): 892-900 [百度学术]
张志新, 徐清俊, 张川, 赵冬. 2019. 基于单景高分四号卫星多光谱影像的舰船运动特征检测. 遥感技术与应用, 34(4): 892-900 [DOI: 10.11873/j.issn.1004-0323.2019.4.0892] [百度学术]
Zhao C H and Luan S J. 2014. Ship wake detection in optical remote sensing image based on modified CGHT. Journal of Shenyang University (Natural Science), 26(5): 362-368 [百度学术]
赵春晖, 栾世杰. 2014. 基于改进CGHT的光学遥感图像舰船尾迹检测. 沈阳大学学报(自然科学版), 26(5): 362-368 [DOI: 10.3969/j.issn.2095-5456.2014.05.005] [百度学术]
Zhong J S and Zhu H M. 2004. Ship wake detection algorithm in SAR image based on normalized grey level Hough transform. Journal of Image and Graphics, 9(2): 146-150 [百度学术]
种劲松, 朱敏慧. 2004. 基于归一化灰度 Hough 变换的 SAR 图像舰船尾迹检测算法. 中国图象图形学报, 9(2): 146-150 [DOI: 10.3969/j.issn.1006-8961.2004.02.004] [百度学术]
Zou Z X and Shi Z W. 2016. Ship detection in spaceborne optical image with SVD networks. IEEE Transactions on Geoscience and Remote Sensing, 54(10): 5832-5845 [DOI: 10.1109/TGRS.2016.2572736] [百度学术]
相关作者
相关机构