注意力机制下多尺度特征融合生成对抗网络的白天海雾监测方法
- Daytime sea fog detection based on multi-scale feature fusion of generate adversarial network under attention mechanism
- 2022年 页码：1-12
- DOI： 10.11834/jrs.20221621
引用
扫 描 看 全 文
注意力机制下多尺度特征融合生成对抗网络的白天海雾监测方法 Daytime sea fog detection based on multi-scale feature fusion of generate adversarial network under attention mechanism 1 first-author 方旭源，现从事海雾监测，深度学习等方面研究。E-mail： fangxuyuan1130@163.com 方旭源，现从事海雾监测，深度学习等方面研究。E-mail： fangxuyuan1130@163.com fangxuyuan1130@163.com 1 1 1 2 1 宁波大学信息科学与工程学院,浙江宁波 315211 宁波大学信息科学与工程学院,浙江宁波 315211 Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China 宁波市镇海区气象局,浙江宁波 315210 宁波市镇海区气象局,浙江宁波 315210 Zhenhai District Meteorological Bureau, Ningbo, 315202, China Zhenhai District Meteorological Bureau, Ningbo, 315202, China 海雾是海上一种常见的天气现象，它使能见度降低，给海上交通和作业带来极大威胁。传统的卫星遥感海雾监测算法在准确率、可移植性及自动化程度等方面都有待改善。本文在注意力机制下，利用卫星遥感云图，提出一种多尺度特征融合生成对抗网络的白天海雾监测方法。该方法引入通道注意力机制，通过学习不同输入通道的权重，提升了网络对于重要通道云图的关注度；在此基础上，采用多尺度特征融合以获取海雾的多尺度信息，使提取的特征能兼顾海雾的整体及细节特性；为了进一步提高算法对于对海雾边缘的界定能力，本文引入对抗网络对海雾监测的生成网络进行监督，从而得到更精细的海雾区域。在测试云图的海雾监测实验中，命中率（POD）、临界成功指数（CSI）及误报率（FAR）分别为90.5%、81.28%和10.86%，均优于传统海雾监测方法以及其它基于深度学习的方法，这表明本文方法可以有效提升海雾监测的精度，研究成果对于海上船只航行、渔业生产、国防军事等具有重要意义。 Sea fog is a common weather phenomenon at sea. It will reduce visibility at sea and pose a significant threat to maritime traffic and other operations. Traditional sea fog detection algorithms using satellite remote sensing have low accuracy, poor portability, and low automation. Although some existing deep learning-based sea fog monitoring algorithms have been improved, they do not consider the spectral characteristics of sea fog in different channels, and the accuracy of sea fog monitoring is not high, especially in edge recognition.In order to improve the accuracy of sea fog detection, a daytime sea fog detection method was proposed, which based on multi-scale feature fusion of generate adversarial network (GAN) under attention mechanism. Firstly, according to the spectral response of sea fog in different imaging channels of meteorological satellite, the satellite cloud images of different imaging channels that can reflect the characteristics of sea fog are selected as the input of the network. Meanwhile, in order to make the network better focus on the significant imaging channels under multi-channel input, the channel attention mechanism is introduced to measure the weights of different input channels. Then, in order to solve the problem of the loss detail features of the cloud image caused by the pooling operation of the traditional deep network, a multi-scale feature fusion mechanism is adopted to fuse the feature maps of different levels of the network to obtain the multi-scale features of the sea fog. Finally, in view of the difficulty of traditional methods to accurately describe the edge of sea fog, the generation network for sea fog detection is supervised by adversarial network, so as to accurately define the edge of sea fog and reduce the false alarm rate.This article takes the Yellow Sea and the Bohai Sea ( <math id="M1"><mn mathvariant="normal">116</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mo>∘</mo></mrow></msup><mo>-</mo><mn mathvariant="normal">129</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">25</mn></mrow><mrow><mo>∘</mo></mrow></msup><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727721&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727720&type= 22.60600090 2.45533323 ， <math id="M2"><msup><mrow><mn mathvariant="normal">30</mn></mrow><mrow><mo>∘</mo></mrow></msup><mo>-</mo><mn mathvariant="normal">42</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mo>∘</mo></mrow></msup><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727799&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727722&type= 16.08666801 2.53999996 ) as the research area. Since March to June each year is the period of high incidence of sea fog in the Yellow Sea and the Bohai Sea, we produce a data set based on the weather satellite monitoring report of the National Meteorological Center from March to June 2017-2020. After the model training in this article, in terms of quantitative indicators of sea fog detection, probability of detection (POD), critical success index (CSI) and false positive rate (FAR) of our method are 90.5%, 81.28% and 10.86% respectively, which are better than other methods.The experimental results show that the method in this paper can effectively improve the accuracy of sea fog identification, which is of great significance for marine vessel navigation, fishery production, national defense and military affairs. 海雾监测 卫星遥感 注意力机制 生成对抗网络 多尺度特征融合 Sea fog monitoring Remote sensing Attention mechanism Generate adversarial network Multi-scale feature fusion 1 引 言 1 海雾是海洋上低层大气中的一种水汽凝结现象（ 王彬华，1983 王彬华，1983 ）。海雾的发生严重影响海洋及沿岸的活动安全，实现精准的海雾监测对航运、渔业、生产等具有重要意义。传统采用站点观测的方法由于海上观测站点稀少，无法对海雾进行实时、大范围监测。随着卫星遥感技术的蓬勃发展，运用卫星对海雾进行监测具有时间分辨率高、覆盖范围广、信息源可靠的特点，可以弥补传统方法的不足，已逐渐成为一种高效、可靠的海雾监测手段。 早在上世纪70年代，卫星遥感技术已经在海雾监测中得到应用。1973年， Hunt等（1973） Hunt等（1973） 发现在中红外波段，云层的辐射特性对云层中小水滴或小冰晶的粒子大小相当敏感，而在长波红外波段，云层的辐射特性相当于黑体辐射，反射和散射忽略不计，只与云层的温度有关，基于此，Eyre等（1984）利用中红外3.7 <math id="M3"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727829&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727828&type= 4.65666676 3.38666677 波段和远红外11.0 <math id="M4"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727829&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727828&type= 4.65666676 3.38666677 波段的亮温差开展夜间海雾监测的研究，开创了利用卫星遥感对海雾进行监测的先河。由于受太阳辐射的影响，不同的云系、雾、下垫面在可见光波段中存在一定差异，从而使得可见光波段成为白天海雾监测的主要波段。Ishida等（2014）基于MTSAT-2的数据，利用多阈值方法构建了一套简单的白天低层云雾监测方法，但监测准确率还有待改善。 李亚春等（2001） 李亚春等（2001） 基于GSM-5的数据，利用可见光通道和长波红外通道的综合信息，建立了云雾观测模型，取得较好的效果。邓玉娇等（2013）基于FY-2E的数据，利用可见光通道反射率实现了海面与云雾区分离，并结合可见光与红外通道构建了雾判识指数，初步实现了海雾与低云的分离。 张培等（2019） 张培等（2019） 则借助星载激光雷达CALLOP数据标注中髙云、低云、海雾和海表四类样本点，运用Himawari-8卫星数据提出了一种基于Himawari-8卫星数据的日间海雾监测方法。 上述海雾监测方法大多基于云雾遥感辐射特性的差异，选取阈值实现海雾监测。此类方法虽能准确识别云雾区域，但难于实现云雾区域中低云与海雾的分离。这主要是由于低云与海雾的光学特性极为相似，物理性质上没有本质差异，光谱特征并不足以有效分离低云与海雾。为了解决此问题，纹理特征差异成为分离低云与海雾的主要依据，但现有方法无法实现对纹理相关特征的精准感知，且易受太阳高度角、日地距离等因素的影响，造成算法可移植性差，自动化程度低（ 肖艳芳等，2017 肖艳芳等，2017 ）。作为人工智能的重要分支，深度学习近年来在图像处理、特征挖掘等领域取得了可喜的成绩，有望为海雾监测提供一种新手段。在深度学习理论框架下，利用训练数据来学习图像深层特征，可以提高特征的表达能力。另一方面，随着卫星技术不断发展，气象卫星的空间光谱分辨率和采集频率均大幅提高，亟需开发基于云图的海雾自动监测方法，而且云图数据的与日俱增也为开展深度学习的海雾监测研究奠定了坚实的数据基础（ 田林等，2021 田林等，2021 ），目前，已有许多研究人员开展了相关研究。 刘树霄等（2019） 刘树霄等（2019） 利用FY-4A数据，训练了全卷积神经网络，并结合全连接条件随机场模型，对黄海区域进行了白天海雾反演；司光等（2020）基于葵花8卫星数据，构建深度神经网络（Deep Neural Networks， DNN），在白天海雾检测上取得了较好效果。这些深度学习方法相比传统方法在云图特征挖掘上具有一定的优势，从而提升了海雾监测的精度。然而，上述方法在网络设计上未充分考虑海雾在不同光谱波段的特性，且所训练的深度网络也无法有效刻画海雾的多尺度特征，造成海雾监测中存在命中率不理想、边界定位不准确等问题。 针对以上问题，本文借鉴U-net（ Ronneberger O和Fischer P，2015 Ronneberger O和Fischer P，2015 ）、Gan（ Goodfellow I J和Pouget-Abadie J，2014 Goodfellow I J和Pouget-Abadie J，2014 ）、USGAN（ 刘玉洁，2019 刘玉洁，2019 ）等深度网络在图像处理中的成功经验，通过分析白天海雾的多光谱特性，选取适用于海雾监测的多通道云图作为网络的输入，在注意力机制下设计了一种多尺度特征融合生成对抗网络，并将其应用于白天海雾监测。 2 数据与方法 1 结合现有海雾监测研究，本文首先分析了Himawari-8卫星不同通道的成像特性，选取方法使用通道。其次，以黄海、渤海为研究区域，依据中国国家气象中心的气象卫星海雾监测报告，并结合气象专家对云图的判读结果，绘制海雾标签。在获得标签后，对数据进行了增广处理，以扩充数据集。在此基础上，针对海雾特性和所选取成像通道的特点，构建通道注意力的多尺度特征融合生成对抗网络，并利用数据集对网络进行训练，实现海雾检测。具体流程如 图1 图1 所示。 2.1 数据 2 2.1.1 葵花8（Himawari-8）卫星及其成像通道 3 葵花8（Himawari-8）是日本新一代静止气象卫星。该卫星搭载的可见光和红外扫描辐射计AHI（Advanced Himawari Imager）具有16个通道，涵盖了可见光、近红外、中红外和远红外波段，空间分辨率为0.5~2 km，时间分辨率为10 min。Himawari-8卫星数据可以在官网获取， 表1 表1 为Himawari-8各波段中心波长和空间分辨率。 通道 中心波长（ <math id="M5"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727819&type= 3.55599999 2.53999996 ） 2 分辨率（ <math id="M6"><mi>k</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727805&type= 3.30200005 2.03200006 ） 通道 中心波长 （ <math id="M7"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727819&type= 3.55599999 2.53999996 ） 分辨率（ <math id="M8"><mi>k</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727805&type= 3.30200005 2.03200006 ） 1 0.46 1 2 9 7.0 2 2 0.51 1 2 10 7.3 2 3 0.64 0.5 2 11 8.6 2 4 0.86 1 2 12 9.6 2 5 1.6 2 2 13 10.4 2 6 2.3 2 2 14 11.2 2 7 3.9 2 2 15 12.3 2 8 6.2 2 2 16 13.3 2 2.1.2 数据集构建 3 本文以黄海、渤海（ <math id="M9"><mn mathvariant="normal">116</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mo>∘</mo></mrow></msup><mo>-</mo><mn mathvariant="normal">129</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">25</mn></mrow><mrow><mo>∘</mo></mrow></msup><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727809&type= 26.67000008 2.96333337 ， <math id="M10"><msup><mrow><mn mathvariant="normal">30</mn></mrow><mrow><mo>∘</mo></mrow></msup><mo>-</mo><mn mathvariant="normal">42</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mo>∘</mo></mrow></msup><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727812&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727811&type= 18.71133423 2.96333337 ）为研究区域，该研究区域受东海东北部济州岛以南沿西北方向进入黄海的暖流与黄海沿岸冷水流相遇的影响（ 苏纪兰，2001 苏纪兰，2001 ），是我国近海海雾出现最频繁的区域。 由于每年的三月到六月为黄海、渤海区域的海雾高发期，本文根据国家气象中心2017-2020年三月到六月的气象卫星监测报告，共获取了30次白天海雾案例。由于海雾变化缓慢，针对每次海雾案例，我们从上午八点到下午两点的卫星云图中，选取成像质量较好的多个时次云图，邀请两位具有五年以上工作经验的气象专家，结合海雾监测报告，在卫星云图标注海雾区域，获取193个时次的标记样本。为增加训练样本量，对样本数据分别进行翻转、旋转等操作以扩充数据集，扩充后的数据集共有1158个海雾的样本。所选取的海雾案列日期及天数如 表2 表2 所示。 Date Days April，2017 1 May， 2017 2 June， 2017 1 March，2018 5 April， 2018 5 May，2018 2 June，2018 2 March，2019 1 April，2019 3 May，2019 1 April，2020 1 May，2020 4 June，2020 2 在海雾监测中，低云与海雾的特性相近，仅利用单一通道的卫星云图难以实现海雾和低云的鉴别。本文根据海雾的遥感辐射特性（ 陈林，2006 陈林，2006 ；Bendix E T等，2008； Cermak J等，2008 Cermak J等，2008 ； Pavolonis M等，2010 Pavolonis M等，2010 ；田永杰，2016），并借鉴海雾监测研究已有成果（Eyre等，1984； 李亚春 等，2001 李亚春 等，2001 ； 张春桂 等，2009 张春桂 等，2009 ），选取Himawari-8卫星的通道3（0.64 <math id="M11"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727829&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727828&type= 4.65666676 3.38666677 ）、通道7（3.7 <math id="M12"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727829&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727828&type= 4.65666676 3.38666677 ）和通道14（11.0 <math id="M13"><mi>μ</mi><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727829&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727828&type= 4.65666676 3.38666677 ）的云图用于海雾监测。 图2 图2 给出了研究区域中多个时次的卫星云图以及所标注的海雾标签。 2.2 注意力机制下多尺度特征融合生成对抗网络的白天海雾检测模型 2 基于卫星云图进行海雾监测，即从卫星云图中分割海雾区域，可利用图像分割方法实现。近年来，U-net网络在图像分割中得到了广泛应用，其采用的是包含编码器和解码器的U型网络结构。下采样过程用于逐层提取图像特征并学习特征分布，而上采样过程则是将下采样过程中提取的特征通过跳跃连接与上采样的信息进行融合获取低层和高层图像特征，以检索由于池操作而丢失的空间信息，从而还原细节特征。 相较于自然图像的分割，在海雾监测中，存在低云与海雾难以区分的问题，需充分挖掘各通道云图对海雾的表达能力。鉴于U-net网络直接应用于海雾监测时，其下采样过程会造成云雾部分细节特征丢失，而在上采样过程中由于低层特征图与高层特征图直接融合，将造成难于捕捉海雾细粒度特征的问题，对此本文重新设计了U-net网络的多尺度特征融合结构；同时，针对传统U-net网络不能合理平衡不同通道对海雾差异化表达的问题，引入通道注意力机制。为了提高海雾边缘的界定精度，引入对抗网络对海雾检测的生成网络进行监督，提出了一种新的注意力机制下多尺度特征融合生成对抗网络的白天海雾检测模型。模型整体架构如 图3 图3 所示。 本文模型主要由生成器 <math id="M20"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727985&type= 2.28600001 2.62466669 与判别器 <math id="M21"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727912&type= 2.53999996 2.62466669 两部分组成。首先生成器G由通道注意力的多尺度特征融合U-Net（Multi-scale feature fusion of channel attention-UNet）构成，其次是由卷积神经网络（Convolutional Neural Networks， CNN）构成的判别器 <math id="M22"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727912&type= 2.53999996 2.62466669 部分。 在该生成对抗网络架构中，生成器 <math id="M23"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727985&type= 2.28600001 2.62466669 用于接收多通道卫星遥感图像的输入，生成海雾分割图像。判别器 <math id="M24"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727912&type= 2.53999996 2.62466669 接受两组输入，一组是原始输入通道图像和海雾标签图像，另一组是是原始输入通道图像和分割出来的海雾图像 <math id="M25"><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727872&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727871&type= 7.45066643 3.47133350 。判别器通过对两组输入的学习对判别网络进行优化，提高判别能力。同时根据判别器通过对生成器生成的海雾分割图像和输入通道图像的判别，向生成器传递误差，指导生成器训练，提高对于海雾整体和边缘的分割精度。生成器与判别器互相迭代，交替训练。 2.2.1 MSFCA-Unet分割网络结构 3 本文为使U-net适用于海雾检测做出以下改进，首先，针对海雾在卫星云图不同通道下的光谱特性，引入多通道网络输入。同时，针对多通道特征图下权重分配问题，在多通道输入的基础上引入通道注意力机制，使网络自动协调不同特征图的权重关系。接着，针对U-net下采样过程云雾特征损失以及上采样过程中低级特征图与高级特征图直接融合的问题，参考 Huang等（2020） Huang等（2020） 提出的Unet3+重新设计了编码器和解码器之间的互连以及解码器之间的内部连接，实现多尺度的特征聚合，减少云图特征损失。最终，引入深度监督模块捕捉不同尺度分割损失，提升海雾分割精度。MSFCA-Unet分割网络结构图如 图4 图4 所示。 MSFCA-Unet分割网络由编码器、解码器与深度监督三部分构成。编码阶段，输入云图经过多层组模块A逐层提取云图特征。解码阶段，组模块B接收来自编码器以及解码器的特征图，接着统一特征图数量实现多尺度特征图拼接，最后对拼接特征图通过卷积等操作实现多尺度特征融合。深度监督阶段，通过深度监督模块生成各层图像，接着与真实标签计算损失从而获取多尺度损失。 组模块结构如 图5 图5 所示。组模块A由两层卷积层和一层通道注意力层组成，每层卷积层由 <math id="M26"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727928&type= 8.29733276 2.70933342 的卷积核以及 <math id="M27"><mi>B</mi><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727886&type= 4.74133301 2.62466669 与 <math id="M28"><mi>R</mi><mi>e</mi><mi>L</mi><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727920&type= 8.04333401 2.62466669 构成，在经过两层卷积层后，特征图输入到通道注意力层中。通道注意力层能够根据海雾在不同通道中反应不同的特性，针对不同通道对模型训练过程中的贡献，为不同通道赋予不同权值。 通道注意力层网络结构如 图6 图6 所示。首先深度特征图按照每个通道的最大池化和平均池化得到两个一维向量，向量维度为通道数，其次将两个向量拼接，输入到全连接层，将全连接层的输出作为通道注意力权重，依次分配给各深度特征图。 组模块B由多尺度特征拼接和特征融合两部分组成。多尺度特征拼接部分为本层解码器接收来自不同编码器以及解码器的相同分辨率的特征图。特征融合部分由320个大小为 <math id="M29"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727928&type= 8.29733276 2.70933342 的卷积核， <math id="M30"><mi>B</mi><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727886&type= 4.74133301 2.62466669 和 <math id="M31"><mi>R</mi><mi>e</mi><mi>L</mi><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727920&type= 8.04333401 2.62466669 激活函数组成，其将浅层的细节信息与深层的语义信息无缝地融合。 为了进一步说明组模块B多尺度特征拼接与特征融合细节，以解码器 <math id="M32"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>D</mi><mi>e</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727852&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727851&type= 4.57200003 4.06400013 为例，展示模块细节，如 图7 图7 所示。 <math id="M33"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>D</mi><mi>e</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727854&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727853&type= 4.57200003 4.06400013 解码器直接接收来自同一级编码器层 <math id="M34"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727856&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727855&type= 4.65666676 4.06400013 的特征映射。同时，一组编码器到解码器之间的跳跃连接通过应用最大池化操作，从较小规模的编码器层 <math id="M35"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727891&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727890&type= 4.65666676 4.06400013 和 <math id="M36"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727893&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727892&type= 4.65666676 4.06400013 传递底层特征信息。内部跳跃连接，利用双线性插值从 <math id="M37"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>D</mi><mi>e</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727895&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727894&type= 4.57200003 4.06400013 和 <math id="M38"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mn mathvariant="normal">5</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727897&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727896&type= 4.65666676 4.06400013 传输高级语义信息。在得到五个相同分辨率的特征图后，从五个尺度对特征图执行特征融合机制进一步统一通道数量并减少冗余信息。形式上，让 <math id="M39"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727898&type= 1.10066664 2.62466669 沿编码器索引下采样层， <math id="M40"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727971&type= 2.53999996 2.62466669 表示编码器的总数，由 <math id="M41"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>D</mi><mi>e</mi></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727905&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727904&type= 4.57200003 4.06400013 表示的特征图的堆栈计算如下： <math display="block" id="M42"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>D</mi><mi>e</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo></mtd><mtd><mi>i</mi><mo>=</mo><mi>N</mi></mtd></mtr><mtr><mtd><mi>H</mi><mfenced separators="|"><mrow><mfenced open="[" close="]" separators="|"><mrow><munder><mrow><munder><mrow><mi>C</mi><msubsup><mrow><mfenced separators="|"><mrow><mi>D</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mi>k</mi></mrow></msubsup></mrow></mfenced></mrow></mfenced></mrow><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><mi>C</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>X</mi></mrow><mrow><mi>E</mi><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></mfenced><mo>,</mo></mrow><mo>︸</mo></munder></mrow><mrow><mi>S</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>e</mi><mi>s</mi><mo>:</mo><msup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi><mi>h</mi></mrow></msup><mo>∼</mo><msup><mrow><mi>i</mi></mrow><mrow><mi>t</mi><mi>h</mi></mrow></msup></mrow></munder><munder><mrow><munder><mrow><mi>C</mi><msubsup><mrow><mfenced separators="|"><mrow><mi>U</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>X</mi></mrow><mrow><mi>D</mi><mi>e</mi></mrow><mrow><mi>k</mi></mrow></msubsup></mrow></mfenced></mrow></mfenced></mrow><mrow><mi>k</mi><mo>=</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></mrow><mo>︸</mo></munder></mrow><mrow><mi>S</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>e</mi><mi>s</mi><mo>:</mo><msup><mrow><mfenced separators="|"><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow><mrow><mi>t</mi><mi>h</mi></mrow></msup><mo>∼</mo><msup><mrow><mi>N</mi></mrow><mrow><mi>t</mi><mi>h</mi></mrow></msup></mrow></munder></mrow></mfenced></mrow></mfenced><mo>,</mo></mtd><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>N</mi><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727901&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727900&type= 109.13533783 22.52133369 其中 <math id="M43"><mi>C</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727902&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727906&type= 6.77333355 3.80999994 为卷积运算， <math id="M44"><mi>H</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727918&type= 7.11199999 3.80999994 为卷积、批量归一化和 <math id="M45"><mi>R</mi><mi>e</mi><mi>L</mi><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727920&type= 8.04333401 2.62466669 激活函数实现特征聚合机制， <math id="M46"><mi>D</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727923&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727922&type= 6.85799980 3.80999994 和 <math id="M47"><mi>U</mi><mfenced separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727924&type= 7.11199999 3.80999994 分别为上采样和下采样操作， <math id="M48"><mfenced open="[" close="]" separators="|"><mrow><mo>·</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727926&type= 3.72533321 3.80999994 代表拼接操作。 深度监督模块如 图8 图8 所示。模块由1个 <math id="M49"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727928&type= 8.29733276 2.70933342 的卷积核，双线性上采样和 <math id="M50"><mi>S</mi><mi>i</mi><mi>g</mi><mi>m</mi><mi>o</mi><mi>i</mi><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727930&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727929&type= 11.93799973 3.47133350 激活函数组成。 2.2.2 判别网络结构 3 海雾的边界界定是海雾识别的重点。判别网络能够突出分割图与真实图边缘分布差异，提升对海雾边缘感知，指导网络训练，进一步提升海雾边界界定准确率。本文设计了一个卷积神经网络作为判别网络，判别器的网络结构如 图9 图9 所示。 判别器接收两种输入组合，一组是真实图像和标记图像，一组是原始图像和生成器海雾分割图像。池化层采用带有步长的卷积层替代，卷积后的结果用批量正则化处理，防止过拟合的同时减少误差。接着使用 <math id="M51"><mi>L</mi><mi>e</mi><mi>a</mi><mi>k</mi><mi>y</mi><mi>R</mi><mi>e</mi><mi>L</mi><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727909&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727936&type= 16.42533302 3.47133350 函数作为非线性激活函数，最后通过全连接层连接所有特征并送入 <math id="M52"><mi>s</mi><mi>o</mi><mi>f</mi><mi>t</mi><mi>m</mi><mi>a</mi><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727910&type= 11.09133339 3.47133350 分类器中进行二分类。 2.2.3 目标函数 3 对抗模型的目的是使生成器 <math id="M53"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727985&type= 2.28600001 2.62466669 生成一张与专家标注相似的概率图片，使得生成的概率图片能够尽可能的欺骗判别器 <math id="M54"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727912&type= 2.53999996 2.62466669 。若判别器认为图片为真，则输出1，否则为0。生成模型和判别模型需要定义损失函数来计算生成损失和判别损失，模型训练的最终目的是要最小化生成损失和最大化判别损失。本文网络的输入是多通道卫星云图，经过分割网络后输出海雾概率图为 <math id="M55"><mi>G</mi><mo stretchy="false">(</mo><mi>s</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727943&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727942&type= 6.94266701 3.47133350 。网络通过计算预测和真实之间的损失，不断优化网络参数，使参数朝着输出与真实更接近的方向更新。其中对抗目标函数，如下所示： <math display="block" id="M56"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi>G</mi></mrow></msub><mo>,</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi>D</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>D</mi></mrow></munder><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mi mathvariant="normal">'</mi><mo>∼</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>d</mi><mi>a</mi><mi>t</mi><mi>a</mi><mo stretchy="false">(</mo><mi>x</mi><mi mathvariant="normal">'</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>D</mi><mfenced separators="|"><mrow><mi>x</mi><mi mathvariant="normal">'</mi></mrow></mfenced></mrow></mfenced><mo>+</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>s</mi><mo>∼</mo><mi>P</mi><mo stretchy="false">(</mo><mi>s</mi><mo stretchy="false">)</mo></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mfenced separators="|"><mrow><mi>G</mi><mfenced separators="|"><mrow><mi>s</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727917&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727916&type= 101.17666626 7.53533268 <math id="M57"><mi>E</mi><mo stretchy="false">(</mo><mi mathvariant="normal">*</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727948&type= 7.19666624 3.47133350 为分布函数的期望， <math id="M58"><msub><mrow><mi>P</mi></mrow><mrow><mi>d</mi><mi>a</mi><mi>t</mi><mi>a</mi><mo stretchy="false">(</mo><mi>x</mi><mi mathvariant="normal">'</mi><mo stretchy="false">)</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727951&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727950&type= 9.05933285 3.72533321 为专家标注海雾云图的数据分布， <math id="M59"><mi>x</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727953&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727952&type= 2.87866688 2.70933342 为专家标注的海雾云图； <math id="M60"><mi>P</mi><mo stretchy="false">(</mo><mi>s</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727954&type= 6.94266701 3.47133350 为待分割卫星云图的数据分布， <math id="M61"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727956&type= 1.26999998 2.62466669 为待分割的卫星云图图像。 <math id="M62"><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mi mathvariant="normal">'</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727941&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727940&type= 8.46666718 3.47133350 表示原始尺寸标准海雾图像。 <math id="M63"><mi>G</mi><mo stretchy="false">(</mo><mi>s</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727943&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727942&type= 6.94266701 3.47133350 表示生成模型生成的海雾云图分割图像。得到判别器和生成器的损失值后，使用 <math id="M64"><mi>R</mi><mi>M</mi><mi>S</mi><mi>P</mi><mi>r</mi><mi>o</mi><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727944&type= 13.80066681 3.47133350 优化器对参数进行更新。 为增强海雾边界感知，采用多尺度结构相似度指数（Multi-scale structure similarity index）（ Wang Z等，2003 Wang Z等，2003 ）赋予模糊边界更高的权重。海雾的区域分布差异越大，MS-SSIM值越高。从分割的海雾结果 <math id="M65"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727983&type= 2.28600001 2.62466669 和真实海雾标签 <math id="M66"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727985&type= 2.28600001 2.62466669 中逐像素移动窗口裁剪两个 <math id="M67"><mn mathvariant="normal">11</mn><mo>×</mo><mn mathvariant="normal">11</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727965&type= 11.93799973 2.62466669 大小的块，将其分别表示为 <math id="M68"><mi>p</mi><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>:</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mi>N</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727968&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727967&type= 29.97200012 5.16466665 和 <math id="M69"><mi>g</mi><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>:</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mi>N</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727970&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727969&type= 30.14133072 5.16466665 ，其中 <math id="M70"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727971&type= 2.53999996 2.62466669 为总块数。多尺度结构相似度指数的定义为： <math display="block" id="M71"><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>m</mi><mi>s</mi><mo>-</mo><mi>s</mi><mi>s</mi><mi>i</mi><mi>m</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>m</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>u</mi></mrow><mrow><mi>p</mi></mrow></msub><msub><mrow><mi>u</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><msubsup><mrow><mi>u</mi></mrow><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mi>g</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac></mrow></mfenced></mrow></mrow><mrow><msub><mrow><mi>β</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msup><msup><mrow><mfenced separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>p</mi><mi>g</mi></mrow></msub><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727973&type= 76.87733459 11.09133339 其中M表示尺度的总数量此分割网络M=5， <math id="M72"><msub><mrow><mi>u</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727976&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727975&type= 2.96333337 3.72533321 ， <math id="M73"><msub><mrow><mi>u</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727978&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727977&type= 3.04800010 3.72533321 和 <math id="M74"><msub><mrow><mi>σ</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727980&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727979&type= 3.55599999 3.72533321 ， <math id="M75"><msub><mrow><mi>σ</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727982&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727981&type= 3.64066648 3.72533321 分别为 <math id="M76"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727983&type= 2.28600001 2.62466669 、 <math id="M77"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727985&type= 2.28600001 2.62466669 的均值和方差， <math id="M78"><msub><mrow><mi>σ</mi></mrow><mrow><mi>p</mi><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727987&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727957&type= 4.48733330 3.72533321 表示协方差， <math id="M79"><msub><mrow><mi>β</mi></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727988&type= 3.47133350 4.48733330 ， <math id="M80"><msub><mrow><mi>γ</mi></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727991&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727990&type= 3.64066648 4.48733330 为不同尺度中，这两个部分的相对重要性（ Cermak J等，2008 Cermak J等，2008 ）。为了防止被0除，两个常量 <math id="M81"><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">01</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727992&type= 15.23999977 4.06400013 和 <math id="M82"><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">03</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727995&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727994&type= 15.32466698 4.06400013 。 在先前的研究中，多尺度结构相似度指数MS-SSIM能够有效的保留特征图的边缘以及细节，但对特征图的整体特征感知不强，本文通过引入L1损失函数来提升网络对云图整体感知。综合这两种损失得到 公式4 公式4 ，其中经实验测试 <math id="M83"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727958&type= 1.86266661 2.62466669 取值为0.5时达到最优。 <math display="block" id="M84"><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>s</mi><mi>m</mi></mrow></msub><mo>=</mo><mi>a</mi><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>s</mi><mi>m</mi><mo>-</mo><mi>s</mi><mi>s</mi><mi>i</mi><mi>m</mi></mrow></msub><mo>+</mo><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>a</mi></mrow></mfenced><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msup><mrow><mi>N</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mo>∑</mo><mtable><mtr><mtd><msup><mrow><mi>N</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr><mtr><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mtd></mtr></mtable><mfenced open="‖" close="‖" separators="|"><mrow><msup><mrow><mi>p</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msup><mo>-</mo><msup><mrow><mi>g</mi></mrow><mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727997&type= 69.84999847 7.61999989 由于 <math id="M85"><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>s</mi><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727999&type= 4.14866638 3.80999994 损失侧重图像块级层次的感知，为了提升网络对像素和图像级层次感知，本文引入Focal损失函数（ Lin等，2017 Lin等，2017 ）和IOU损失函数（ Mattyus G等，2017 Mattyus G等，2017 ）如 公式（5） 公式（5） 和 公式（6） 公式（6） 所示。其中， 公式（5） 公式（5） 中 <math id="M86"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728005&type= 1.86266661 3.38666677 参数调解正负样本， <math id="M87"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728007&type= 2.03200006 3.38666677 负责降低简单样本的损失值， <math id="M88"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728005&type= 1.86266661 3.38666677 和 <math id="M89"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728007&type= 2.03200006 3.38666677 采用引文中设置值，分别为0.25和2。 公式（6） 公式（6） 中， <math id="M90"><mi>I</mi><mo stretchy="false">(</mo><mo>,</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728010&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728009&type= 6.51933336 3.47133350 表示取交集， <math id="M91"><mi>U</mi><mo stretchy="false">(</mo><mo>,</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728012&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728011&type= 7.70466709 3.47133350 表示取并集， <math id="M92"><msub><mrow><mi>A</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728014&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728013&type= 3.13266683 3.72533321 表示预测区域， <math id="M93"><msub><mrow><mi>B</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728016&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728015&type= 3.47133350 3.72533321 表示真实区域。 <math display="block" id="M94"><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>f</mi><mi>l</mi></mrow></msub><mo>=</mo><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mtable><mtr><mtd><mo>-</mo><mi>β</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>p</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>γ</mi></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msup><mrow><mi>p</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msup><mo>,</mo></mtd><mtd><msup><mrow><mi>g</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mtable><mtr><mtd><mo>-</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>β</mi><mo stretchy="false">)</mo><msup><mrow><mi>p</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mi>γ</mi></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>p</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">)</mo><mo>,</mo></mtd><mtd><msup><mrow><mi>g</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mn mathvariant="normal">0</mn></mtd></mtr></mtable></mtd></mtr></mtable></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728017&type= 71.71266174 10.24466610 <math display="block" id="M95"><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>i</mi><mi>o</mi><mi>u</mi></mrow></msub><mo>=</mo><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mfrac><mrow><mi>I</mi><mo stretchy="false">(</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>g</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>g</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727961&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727960&type= 29.20999908 9.14400005 最后结合三种损失，本文提出一种混合损失函数，其能使网络捕云图不同层次损失，提升识别结果。混合分割损失定义为 式（7） 式（7） 。由于这三部分损失分别侧重对不同层级的感知，我们参考 Huang等（2020） Huang等（2020） 设置的损失权重，将混合损失函数中各部分的权重 <math id="M96"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727962&type= 3.38666677 3.72533321 ， <math id="M97"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728025&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728024&type= 3.38666677 3.72533321 ， <math id="M98"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728027&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728026&type= 3.38666677 3.72533321 设置为1。 <math display="block" id="M99"><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>s</mi><mi>e</mi><mi>g</mi></mrow></msub><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>f</mi><mi>l</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>s</mi><mi>m</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>i</mi><mi>o</mi><mi>u</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728028&type= 40.55533600 3.89466691 最后综合多尺度混合损失函数，总体目标函数为： <math display="block" id="M100"><mfenced separators="|"><mrow><msup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>,</mo><msup><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></mrow></mfenced><mo>=</mo><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi></mrow></munder><mfenced separators="|"><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi>G</mi></mrow></msub><mo>,</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi>D</mi></mrow></msub></mrow></mfenced><mo>+</mo><msub><mrow><mi mathvariant="normal">𝓁</mi></mrow><mrow><mi>s</mi><mi>e</mi><mi>g</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi>G</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728030&type= 54.77933884 5.67266655 3 实验结果与分析 1 本文实验环境为64位版本的window10操作系统，CPU为Intel Core i7-9700K，显卡为11G的NVIDIA GeForce GTX2080Ti。本文按照5：1的比例将数据集划分为训练集和测试集，模型基于Pytorch框架构建，学习率为 <math id="M101"><mn mathvariant="normal">5</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">5</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728018&type= 12.27666664 2.96333337 ，模型权重采用随机初始化，模型训练总时长为39961s。 3.1 评价函数 2 本文使用命中率（probability of detection，POD）、临界成功指数（critical success index，CSI）和误报率（false alarm ratio，FAR）三个指标来评价试验效果。其中，命中率（POD）表示模型预测出的海雾区域占实际海雾区域的比重。临界成功指数（CSI）表示模型预测正确区域占预测区域与真实区域的比重。误报率（FAR）表示在预测海雾区域中实际无海雾区域占总预测海雾区域的比重。各个评价指标的计算公式如下所示。 命中率（POD）： <math display="block" id="M102"><mi>P</mi><mi>O</mi><mi>D</mi><mo>=</mo><mfrac><mrow><mi>A</mi></mrow><mrow><mi>A</mi><mo>+</mo><mi>C</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728033&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728032&type= 21.33600044 7.36600018 临界成功指数（CSI）： <math display="block" id="M103"><mi>C</mi><mi>S</mi><mi>I</mi><mo>=</mo><mfrac><mrow><mi>A</mi></mrow><mrow><mi>A</mi><mo>+</mo><mi>B</mi><mo>+</mo><mi>C</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728035&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728034&type= 26.24666595 7.36600018 误报率（FAR）： <math display="block" id="M104"><mi>F</mi><mi>A</mi><mi>R</mi><mo>=</mo><mfrac><mrow><mi>B</mi></mrow><mrow><mi>A</mi><mo>+</mo><mi>B</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728021&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728020&type= 20.65866661 7.28133297 其中 <math id="M105"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728036&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728022&type= 2.11666679 2.62466669 表示海雾检测结果和验证标签中都为海雾的像素点个数； <math id="M106"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728038&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728037&type= 2.28600001 2.62466669 表示海雾检测结果中有海雾而验证标签中无海雾的像素点个数； <math id="M107"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728053&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30728039&type= 2.28600001 2.62466669 表示海雾检测结果中无海雾而验证标签中有海雾的像素点个数。 3.2 模型验证分析 2 为了验证模型各部分有效性，本文开展了消融实验。对比实验主要包括：单可见光通道结构模型 （Single visible light channel structure model， Single-Vis）、移除多尺度融合结构模型（Remove the multi-scale fusion structure model， Rm-Msf）、移除判别器结构模型（Remove the discriminator structure model， Rm-Dis）、移除深度监督结构模型（Remove the deep supervision structure model， Rm-Ds）以及移除注意力机制结构模型（Remove the attention mechanism structure model， Rm-Att），如 表3 表3 所示。 Model POD CSI FAR Single-Vis 0.8737 0.7981 0.1087 Rm-Msf 0.8792 0.7821 0.1123 Rm-Dis 0.8852 0.7963 0.1109 Rm-Ds 0.8972 0.8001 0.1112 Rm-Att 0.8985 0.8046 0.1135 MSFCA-GAN 0.9050 0.8128 0.1086 从对比实验结果中可以看出，采用多通道输入相比单可见光通道输入在命中率上提升约3%，临界成功指数提升约2%。这是由于采用多通道输入充分利用海雾的多光谱特性，相比于单可见光获取更多云图特征。从无多尺度融合模型实验对比中可以看出，在引入多尺度特征融合后命中率与临界成功指数均提升约3%，这表明多尺度特征融合减少池化过程中的特征损失同时提升对特征细节感知的有效性。从无判别器模型和无深度监督模型的实验对比中可以看出，生成对抗结构和深度监督的引入使模型在命中率和临界成功指数上均有所提升。在无通道注意力机制的模型对比中可以看出，在引入通道注意力机制后命中率与临界成功指数均提升约1%。 为了更直观展示检测效果， 图10 图10 以2018年3月25日UTC3：00云图消融实验检测结果为例给出检测结果与标签对比图以及与标签边缘对比图。其中上行为海雾检测结果与标签对比图，其白色区域为检测正确区域，红色标记区域为模型漏检区域，黄色标记区域为模型误判区域。下行为海雾检测结果与标签边缘对比图，红线为真实海雾标签边缘线。对比检测结果，各输入模型能够较快的识别出海雾的整体区域，但各移除部分网络结构的模型相比于原模型对于海雾区域的识别存在较多区域的漏检和误判。原模型相比于无多尺度融合模型误判区域明显减少，同时本文模型在边缘细节的识别上也更加精确。同样的，相比于无判别器模型、无深度监督模型以及无注意力模型，原模型在误判和漏检区域上均有较好表现，同时其识别海雾的形状，边缘均有较高提升，充分证明了本文模型结构有效性。 3.3 传统方法实验对比 2 为验证本文模型相较于传统海雾检测方法的提升。采用传统的阈值法进行海雾检测与本文模型进行对比。由于所采用的阈值方法，其原文选取的最佳阈值受地区、季节、晨昏时间、卫星差异等因素的影响，故采用这些阈值方法设定的阈值，在使用本文数据验证时准确性可能会有所下降，对此，本文根据地区、卫星等信息，调整部分阈值选取最优结果进行对比。最终的对比结果如 表4 表4 所示。 Model POD CSI FAR （邓，2013） 0.8309 0.4969 0.4260 （张，2019） 0.7533 0.6431 0.1875 MSFCA-GAN 0.9050 0.8128 0.1086 从对比实验结果表中可以看出，本文模型相较于传统阈值方法在各项指标上提升明显。 3.4 深度学习模型实验对比 2 从本文模型与传统海雾监测方法对比可以看出，深度学习模型能够深入挖掘云图特征，相比于传统阈值法对于海雾监测具有显著优势。因此，为了进一步验证本文网络模型对于海雾检测精度的提升，本文采用目前常用的深度学习分割模型进行海雾识别对比，其中所使用的GANs模型为采用U-net为生成器的生成对抗网络，其整体架构与本文模型架构相同。各模型海雾识别结果如 表5 表5 所示。 Model POD CSI FAR FCN 0.7515 0.6062 0.2186 U-net 0.8235 0.7277 0.1574 GANs 0.8407 0.7535 0.1194 U-net+++ 0.8686 0.7916 0.1097 MSFCA-GAN 0.9050 0.8128 0.1086 从模型对比实验可以看出，本文模型比FCN在命中率提升了约15%，临界成功指数提升约21%，误报率降低约11%。这是因为FCN在上采样过程中无法恢复海雾细节特征，从而导致分割不够精确。U-net+++相比于传统U-net在海雾分割的命中率、临界成功指数及误报率上均有所改善，这主要取决于U-net+++采用了多尺度特征融合机制，并引入深度监督和混合损失函数。本文模型则在保留U-net+++优势的基础上，通过通道注意力机制提升对重要云图区域的关注度，同时改进混合损失使得网络能从不同层级感知分割结果与标签云图的差异，加之判别网络的引入，进一步提升模型对于海雾的边缘感知能力，使得本文方法海雾检测结果的各评估指标均优于其他分割网络。 为了更直观展示各网络模型检测效果， 图11 图11 给出不同模型海雾识别结果对比，其中上行为2020年5月1日UTC0：00海雾检测结果与标签对比图，下行为2020年6月6日UTC3：00海雾检测结果与标签对比图。从图中可以看出四种模型均能识别出海雾区域，但是相比FCN、U-net、GANs与U-net+++，本文模型对于海雾区域识别的准确度更高，漏检和误检区域更小；对于局部海域分布的分散且较小的海雾区域，FCN等网络模型更容易发生误判，即不能完整识别出海雾区域，或将背景区域错误识别为海雾，相比之下，本文模型对于较为复杂的云图也能较好的识别出海雾区域，证明本文模型的有效性。 同时为了进一步展示模型在海雾边缘界定效果，本文绘制模型结果与标签边缘对比图，如 图12 图12 所示，其中上行为2020年5月1日UTC0：00海雾检测结果与标签边缘对比图，下行为2020年6月6日UTC3：00海雾检测结果与标签边缘对比图。从对比结果图中可以看出，相比于已有分割网络，本文模型在针对海雾边缘刻画上更加精确。 3.5 计算效率分析 2 为比较本文提出网络和其他方法的计算效率，本文对各方法模型对检测单张云图平均所消耗时间进行对比，结果如 表6 表6 所示。 Model Time/s （邓，2013） 0.007 （张，2019） 0.036 U-net 0.019 U-net+++ 0.034 FCN 0.036 GANs 0.028 MSFCA-GAN 0.074 从表中可以看出，测试单张云图邓等（2013）提出的阈值法耗时最短只需要0.007秒。其次U-net网络耗时为0.019秒。本文方法由于引入注意力机制以及多尺度特征聚合机制和生成对抗网络结构，使网络参数模型增加。虽然相比于其他方法，本文模型耗时略长，但也仅为0.074秒，仍具有较好的实时性能。 4 结 论 1 本文在注意力机制下，提出一种多尺度特征融合生成对抗网络的白天海雾监测方法并结合葵花静止卫星云图的多光谱信息开展了海雾监测研究。研究结果表明： （1）本文方法可以有效提升海雾监测精度，为实现白天海雾精准检测提供了一种新的思路，对于海上船只航行、渔业生产、国防军事等具有重要意义。 （2）与几种传统海雾检测阈值法以及深度模型相比，本文所提方法由于多层次网络模块的设计以及多尺度特征融合的引入在海雾检测精度和边缘识别上均具有明显的优势。 下一步将优化网络结构，以更好地挖掘海雾的多通道光谱特性，进一步提升海雾监测效果，同时对于夜间海雾的监测也是下一步的研究重点。 参考文献（ References ） Bendix , J ， Thies , Boris ， Cermak , Jan ， Nau , Thomas . 2005 . Ground Fog Detection from Space Based on MODIS Daytime Data—A Feasibility Study. Weather and Forecasting , 20 ( 6 ): 989 - 1005 . [DOI 10.1175/WAF886.1 http://dx.doi.org/10.1175/WAF886.1 ] 2005 Chen L . 2006 . The data processing method of EOS/MODIS data and its application in daytime low cloud and heavy fog monitoring . Nanjing University of Information Science and Technology . The data processing method of EOS/MODIS data and its application in daytime low cloud and heavy fog monitoring 陈林 . 2006 . EOS/MODIS资料的数据处理方法及其在白天低云大雾监测中的应用. 南京信息工程大学.[DOI 10.7666/d.y863542 http://dx.doi.org/10.7666/d.y863542 ] EOS/MODIS资料的数据处理方法及其在白天低云大雾监测中的应用. 南京信息工程大学.[DOI Cermak J , Bendix J . 2008 . A novel approach to fog/low stratus detection using Meteosat 8 data . Atmospheric Research , 87 ( 3-4 ): 279 - 292 . [DOI 10.1016/j.atmosres.2007.11.009 http://dx.doi.org/10.1016/j.atmosres.2007.11.009 ] A novel approach to fog/low stratus detection using Meteosat 8 data Deng Y J , Wang J C , Cao J . Monitoring daytime fog in the South China Sea based on MODIS remote sensing data . Journal of Tropical Meteorology , 2013 ( 6 ). Monitoring daytime fog in the South China Sea based on MODIS remote sensing data 邓玉娇 , 王捷纯 , 曹静 . 基于MODIS遥感资料监测南海白天雾 . 热带气象学报 , 2013 ( 6 ). [DOI CNKI:SUN:RDQX. 0 .2013-06-019] 基于MODIS遥感资料监测南海白天雾 Eyre J R , Brownscombe J L , Allan R J . Detection of fog at night using Advanced Very High Resolution Radiometer (AVHRR)imagery . meteorological magazine. [DOI 10 . 1007 / s00253 - 006 - 0446 -y] Detection of fog at night using Advanced Very High Resolution Radiometer (AVHRR)imagery Goodfellow I J , Pouget-Abadie J , Mirza M , et al . 2014 . Generative Adversarial Networks [J]. Advances in Neural Information Processing Systems , 3 : 2672 - 2680 . [DOI 10.1145/3422622 http://dx.doi.org/10.1145/3422622 ] Generative Adversarial Networks Hunt G E . 1973 . Radiative properties of terrestial clouds at visible and infra-red thermal window wavelengths . Quarterly Journal of the Royal Meteorological Society , 99 ( 420 ): 346 - 369 . [DOI 10.1002/qj.49709942013 http://dx.doi.org/10.1002/qj.49709942013 ] Radiative properties of terrestial clouds at visible and infra-red thermal window wavelengths Huang H , Lin L , Tong R , et al . 2020 . UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation // ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE. [ DOI 10.1109/ICASSP40776.2020.9053405 http://dx.doi.org/10.1109/ICASSP40776.2020.9053405 ] UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation Ishida H , Miura K , Matsuda T , et al . , 2014 . Scheme for detection of low clouds from geostationary weather satellite imagery. Atmospheric Research , 143(jun.): 250 - 264 . [DOI 10.1016/j.atmosres.2014.02.015 http://dx.doi.org/10.1016/j.atmosres.2014.02.015 ] 2014 Li Y C , Sun H , Li X G , Tang Y , Xu M . 2001 . Research on monitoring daytime fog with GMS-5 meteorological satellite data remote sensing . Chinese Journal of Atmospheric Sciences , 24 ( 3 ): 343 - 349 . Research on monitoring daytime fog with GMS-5 meteorological satellite data remote sensing 李亚春 ， 孙涵 ， 李湘阁 ， 唐勇 ， 徐萌 . 2001 . 用GMS-5气象卫星资料遥感监测白天雾的研究 . 大气科学学报 , 24 ( 3 ): 343 - 349 . DOI 10.3969/j.issn.1674-7097.2001.03.007 http://dx.doi.org/10.3969/j.issn.1674-7097.2001.03.007 用GMS-5气象卫星资料遥感监测白天雾的研究 Liu S X , Yi L , Zhang S P , Shi X Z , Xue Y C . Research on the Daytime Yellow Sea Sea Fog Satellite Inversion Based on the Fully Convolutional Neural Network Method . Ocean Limnology Bulletin , 2019 ( 6 ): 13 - 22 . Research on the Daytime Yellow Sea Sea Fog Satellite Inversion Based on the Fully Convolutional Neural Network Method 刘树霄 ， 衣立 ， 张苏平 ， 时晓曚 ， 薛允传 . 基于全卷积神经网络方法的日间黄海海雾卫星反演研究 . 海洋湖沼通报 , 2019 ( 6 ): 13 - 22 . 基于全卷积神经网络方法的日间黄海海雾卫星反演研究 Liu Y J . 2019 . Research on Image Semantic Segmentation Method Based on Generative Adversarial Network . Beijing Jiaotong University . Research on Image Semantic Segmentation Method Based on Generative Adversarial Network 刘玉洁 . 2019 . 基于生成对抗网络的图像语义分割方法研究 . 北京交通大学 . 基于生成对抗网络的图像语义分割方法研究 Lin T Y , Goyal P , Girshick R , et al . 2017 . Focal Loss for Dense Object Detection . IEEE Transactions on Pattern Analysis & Machine Intelligence, PP ( 99 ): 2999 - 3007 .[DOI 10.1109/TPAMI.2018.2858826 http://dx.doi.org/10.1109/TPAMI.2018.2858826 ] Focal Loss for Dense Object Detection Mattyus G , Luo W , Urtasun R . 2017 . DeepRoadMapper: Extracting Road Topology from Aerial Images // 2017 IEEE International Conference on Computer Vision (ICCV) . IEEE . DeepRoadMapper: Extracting Road Topology from Aerial Images Pavolonis M . 2010 . GOES-R Advanced baseline imager (ABI) algorithm theoretical basis document for volcanic ash . GOES-R Advanced baseline imager (ABI) algorithm theoretical basis document for volcanic ash Ronneberger O , Fischer P , Brox T . 2015 . U-Net: Convolutional Networks for Biomedical Image Segmentation // International Conference on Medical Image Computing and Computer-Assisted Intervention . Springer International Publishing . U-Net: Convolutional Networks for Biomedical Image Segmentation Si G , Fu R D , He C F , Jin W . 2020 . Daytime sea fog recognition combined with remote sensing satellites and deep neural networks [J]. journal of Optoelectronics Laser , v . 31 ;No. 304 ( 10 ): 78 - 86 . Daytime sea fog recognition combined with remote sensing satellites and deep neural networks 司光、符冉迪、何彩芬、金炜 . 2020 . 结合遥感卫星及深度神经网络的白天海雾识别 [J]. 光电子·激光 , v . 31 ;No. 304 ( 10 ): 78 - 86 . 结合遥感卫星及深度神经网络的白天海雾识别 Su J . 2001 . Study on circulation dynamic mechanism in China offshore [J] Acta Oceanologica Sinica , 23 ( 4 ): 1 - 16 Study on circulation dynamic mechanism in China offshore 苏纪兰 . 2001 . 中国近海的环流动力机制研究 [J]. 海洋学报 , 23 ( 4 ): 1 - 16 . DOI 10.3321/j.issn:0253-4193.2001.04.001 http://dx.doi.org/10.3321/j.issn:0253-4193.2001.04.001 中国近海的环流动力机制研究 Tian L , Wang X , Yang B Y , Wu X J . 2021 . Advances in satellite remote sensing technology for marine atmosphere and environment . Science and Technology Review , 39 ( 15 ), 13 . Advances in satellite remote sensing technology for marine atmosphere and environment 田林 , 王曦 , 杨冰韵 , 吴晓京 . 2021 . 海洋大气和环境卫星遥感技术进展 . 科技导报 , 39 ( 15 ), 13 . 海洋大气和环境卫星遥感技术进展 Tian Y J . Research on daytime sea fog monitoring algorithm based on Fengyun-2 geostationary satellite data . South China University of Technology. (田永杰. 基于风云2号静止卫星数据的白天海雾监测算法研究. 华南理工大学.)[DOI CNKI : CDMD:2 . 1016 . 770458 ] Research on daytime sea fog monitoring algorithm based on Fengyun-2 geostationary satellite data Wang B H . 1983 . Sea fog [M]. Ocean Press Wang Binhua . 1983. Sea fog[M]. Ocean Press Sea fog 王彬华 . 1983 . 海雾 [M]. 海洋出版社 海雾 Wang Z , Simoncelli E P , Bovik A C . 2003 . Multiscale structural similarity for image quality assessment // Proc IEEE Asilomar Conference on Signals . Multiscale structural similarity for image quality assessment Xiao Y F , Zhang J , Cui T W , Qin P . 2017 . Research progress of sea fog satellite remote sensing monitoring . Marine Science , 041 ( 012 ): 146 - 154 . Research progress of sea fog satellite remote sensing monitoring 肖艳芳 , 张杰 , 崔廷伟 , 秦平 . 2017 . 海雾卫星遥感监测研究进展 . 海洋科学 , 041 ( 012 ): 146 - 154 . DOI 10.11759/hykx20170523001 http://dx.doi.org/10.11759/hykx20170523001 海雾卫星遥感监测研究进展 Zhang P , Wu D . 2019 . Daytime sea fog detection method based on Himawari-8 data . Journal of Atmospheric and Environmental Optics ( 03 ), 211 - 220 . Daytime sea fog detection method based on Himawari-8 data 张培 , 吴东 . 2019 . 基于Himawari-8数据的日间海雾检测方法 . 大气与环境光学学报 ( 03 ), 211 - 220 . DOI 10.3969/j.issn.1673-6141.2019.03.006 http://dx.doi.org/10.3969/j.issn.1673-6141.2019.03.006 基于Himawari-8数据的日间海雾检测方法 Zhang C G , Cai Y Y , Zhang J C . 2009 . Application of MODIS remote sensing data to sea fog monitoring in the Taiwan Strait of my country . Journal of Applied Meteorology , 20 ( 001 ): 8 - 16 . Application of MODIS remote sensing data to sea fog monitoring in the Taiwan Strait of my country 张春桂 , 蔡义勇 , 张加春 . 2009 . MODIS遥感数据在我国台湾海峡海雾监测中的应用 . 应用气象学报 , 20 ( 001 ): 8 - 16 . DOI 10.11898/1001-7313.20090102 http://dx.doi.org/10.11898/1001-7313.20090102 MODIS遥感数据在我国台湾海峡海雾监测中的应用 致谢:感谢https：//www.eorc.jaxa.jp/ptree/提供的遥感云图数据及国家卫星气象中心提供的海雾监测报告，同时感谢气象专家结合海雾监测报告对海雾区域所做的标注。 10.11834/jrs.20221621 TP701 A 方旭源，金炜，符冉迪，李纲，何彩芬，尹曹谦.XXXX.注意力机制下多尺度特征融合生成对抗网络的白天海雾监测方法.遥感学报，XX（XX）： 1-12 方旭源，金炜，符冉迪，李纲，何彩芬，尹曹谦.XXXX.注意力机制下多尺度特征融合生成对抗网络的白天海雾监测方法.遥感学报，XX（XX）： 1-12 FANG Xuyuan，JIN Wei，FU Randi，LI Gang，HE Caifen，YI Caoqian. XXXX. Daytime sea fog detection based on multi-scale feature fusion of generate adversarial network under attention mechanism. National Remote Sensing Bulletin， XX（XX）：1-12 FANG Xuyuan，JIN Wei，FU Randi，LI Gang，HE Caifen，YI Caoqian. XXXX. Daytime sea fog detection based on multi-scale feature fusion of generate adversarial network under attention mechanism. National Remote Sensing Bulletin， XX（XX）：1-12 国家自然科学基金（42071323），浙江省自然科学基金（LY20H180003），宁波市公益类科技计划项目（202002N3104） 2021-00-00 2022-07-07 2021-00-00 遥感学报
文章被引用时，请邮件提醒。
提交
相关作者
刘涛 陕西师范大学 计算机科学学院
梁正印 陕西师范大学 计算机科学学院
汪西莉 陕西师范大学 计算机科学学院
厉青 环境保护部卫星环境应用中心
程斌 中国矿业大学(北京)
陈辉 环境保护部卫星环境应用中心
毛慧琴 环境保护部卫星环境应用中心
孙云 北京水保生态工程咨询有限公司
相关机构
陕西师范大学 计算机科学学院
北京水保生态工程咨询有限公司
环境保护部卫星环境应用中心
中国矿业大学(北京)
国防科技大学 电子科学学院
0
回到顶部