宽度学习系统的SAR影像海面强降雨智能检测研究

宽度学习系统的SAR影像海面强降雨智能检测研究 Intelligent Detection of Rain Cells with SAR Imagery Based on Broad Learning System 1 2 first-author 夏静，研究方向为海洋微波遥感。E-mail：xiajing19@mails.ucas.ac.cn 夏静，研究方向为海洋微波遥感。E-mail：xiajing19@mails.ucas.ac.cn xiajing19@mails.ucas.ac.cn 1 3 4 corresp 汪胜，研究方向为海洋微波遥感。E-mail：wangsheng@radi.ac.cn 汪胜，研究方向为海洋微波遥感。E-mail：wangsheng@radi.ac.cn wangsheng@radi.ac.cn 1 2 3 4 3 4 1 中国科学院空天信息创新研究院 遥感科学国家重点实验室, 北京 100101 中国科学院空天信息创新研究院 遥感科学国家重点实验室, 北京 100101 State Key Laboratory of Remote Sensing Science, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100101, China. State Key Laboratory of Remote Sensing Science, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100101, China. 中国科学院大学, 北京 100049 中国科学院大学, 北京 100049 University of Chinese Academy of Sciences, Beijing 100049, China. University of Chinese Academy of Sciences, Beijing 100049, China. 澳门大学,澳门 999078 澳门大学,澳门 999078 University of Macau, Macau 999078, China. University of Macau, Macau 999078, China. 澳门大学 智慧城市物联网国家重点实验室,澳门 999078 澳门大学 智慧城市物联网国家重点实验室,澳门 999078 State Key Laboratory of Internet of Things for Smart City, University of Macau, Macau 999078, China. State Key Laboratory of Internet of Things for Smart City, University of Macau, Macau 999078, China. 海洋降雨对全球大气循环和局地气候均有重要影响，从遥感影像从监测降雨团对于海洋天气预报具有重要意义。合成孔径雷达以高空间分辨率进行大范围观测的能力使其成为10~30千米尺度大小的强降雨团的有效观测手段之一。针对Sentinel-1波模式获取的9种海面现象的SAR影像组成的数据集，本文使用融合特征的宽度学习系统（Broad Learning System，BLS）进行了海面强降雨团的智能检测研究。结果表明强降雨团的检测精度为98.51%，召回率为95.24%，该结果与ResNet50预训练模型的结果相当，但是同等计算条件下后者的模型训练时间却是前者的20倍。此外，与传统深度学习网络相比，BLS的结构是灵活的，即可以通过增加节点或增加数据集来优化、更新模型。对于BLS的节点增量学习功能，本文实验证实其可以在无需重训练整个模型的前提下更新模型。针对训练数据集增广导致的模型更新任务，本文综合利用增量学习方案和重训练方案的优点提出了模型的混合更新方案，新方案既能保证模型的高精度又能显著降低模型更新所需时间。 Objective Ocean rainfall has an important impact on the global atmospheric cycle and local climate. Monitoring rain cells from remote sensing images is of great significance for the ocean weather prediction.Method The ability of synthetic aperture radar (SAR) to probe with a wide swath and high spatial resolution makes it one of the effective observation approaches of rain cells with the scale of 10 ~ 30 km. Using the SAR images dataset composed of nine sea surface phenomena obtained by Sentinel-1 wave mode, this paper uses the fusion features-based broad learning system (BLS) to detect the rain cells.Results The results show that the detection accuracy is 98.51% and the recall rate is 95.24%, which are equivalent to the ones of ResNet50 pre-trained model. However, the training time of ResNet50 is 20 times that of BLS under the same calculation conditions. In addition, compared with the deep learning network, the structure of BLS is flexible, that is, the model can be optimized and updated by adding nodes or adding input data. For the nodes incremental learning of BLS, the experiments show that it can update the model without retraining the whole model.Conclusion For the model updating task caused by the expansion of training dataset, this paper proposed a hybrid model updating scheme according to the advantages of incremental learning scheme and retraining scheme. This new scheme can not only ensure the high accuracy of the model, but also significantly reduce the time cost for model updating. 人工智能检测 海面强降雨检测 宽度学习系统 合成孔径雷达 模型更新 Artificial intelligence detection rain cells detection broad learning system synthetic aperture radar model updating 1　引 言 1 海洋降雨对全球大气循环和局地气候均有重要影响。研究表明，全球大气接收的热能中70-85%是降水释放的潜热，其中海洋降雨约占全球总降雨量的79% （ Liu等，2016 Liu等，2016 ）。在热带和亚热带地区，降雨主要以对流雨（convective rain），又称降雨团（rain cells）形式出现 （ Houze，1997 Houze，1997 ）。一般来说，降雨团的尺度是5~10千米，持续时间10~30分钟，呈现独立或成团分布特点。自1978年获取第一张星载合成孔径雷达（Synthetic Aperture Radar，SAR）影像，SAR图像中经常可以观测到降雨现象 （ Alpers等，2007 Alpers等，2007 ； Chan等，2010 Chan等，2010 ； Melsheimer等，2001 Melsheimer等，2001 ； Xu等，2015 Xu等，2015 ； Liu等，2017 Liu等，2017 ； 甘锡林等，2007 甘锡林等，2007 ）。海面降雨的SAR回波信号主要由两部分组成：一是海表面的雷达后向散射，二是雨滴对微波信号的体散射和衰减作用（ Alpers和Melsheimer，2004 Alpers和Melsheimer，2004 ； Contreras和Plant，2006 Contreras和Plant，2006 ）。在降雨过程中，雨滴不仅会使传感器信号衰减，在雨滴落入海水时还会对海面产生扰动，改变海面粗糙度从而影响回波信号的能量 （ 周旋等，2012 周旋等，2012 ）。此外，由于SAR具有全天时、全天候和高空间分辨率进行观测的能力，有利于获取降雨团的结构信息。通常情况下，SAR图像上观测到的典型的对流雨团为圆形或椭圆形的明亮图案，且边缘锋利 （ Alpers和Melsheimer，2004 Alpers和Melsheimer，2004 ； Atlas，1994 Atlas，1994 ）。对于大多数降雨团，在其SAR回波信号的中心区域则有一个偏暗的斑块。这些降雨团在SAR影像上的典型特征可用于对其的检测识别。 国内外学者针对降雨展开了大量研究。 Davis（2006） Davis（2006） 等使用一种面向对象的降水检验方法获取中尺度雨区的位置，首先分割出连续降水区域然后过滤了孤立的、尺度较小的雨区。 刘凑华（2013） 刘凑华（2013） 等总结了基于目标的降水检验方法，给出了确定降水位置、尺度和形态的算子参数。 郭瑞芳（2018） 郭瑞芳（2018） 等针对降水的大区域尺度和中小区域尺度检测归纳了一系列检验方法。马春野（2019）基于X波段船舶导航雷达回波图，利用混合高斯背景建模算法，实现了对降水云团的识别，并基于特征匹配的跟踪算法，实现了对降水云团的跟踪。 吕博群（2020） 吕博群（2020） 基于航海雷达影像数据，提出了一种改进的基于回波差异性的降雨识别方法，并利用卷积神经网络中的LeNet-5模型，对降雨干扰进行了识别。陶润喆（2021）基于FY-4A静止卫星影像，建立了一种U-HRNet分割模型，进行多次多尺度特征融合，引入注意力机制模块，从而实现对小样本降水云团的检测。 刘淑贤（2021） 刘淑贤（2021） 基于FY-3C微波湿度计数据，结合机器学习算法梯度提升决策树思想，提出了一种针对陆地的降水检测算法，并对检测结果进行了偏差订正等质量控制操作。以上研究说明，机器学习算法已经在降水检测中被广泛应用。 作为一种平面结构的神经网络模型，宽度学习系统（Broad Learning System，BLS）与深度学习网络相比具有计算量小、训练时间短和能使用增量学习快速更新模型的优势（Chen和Liu，2018）。BLS一经提出便在诸多领域得以应用。Kuok和Yuen （2020） 使用宽度学习系统对非结构化空间数据的复杂未知关系进行了建模研究，为了验证BLS的适用性和有效性，使用2008年汶川地震的记录数据进行了模拟和应用，结果表明BLS成功地描述了地震衰减剖面，并在估计地面峰值加速度方面实现了高精度。Kuok和Yuen （2020） 使用BLS成功对粘土参数进行了建模研究，并利用CLAY/10/7490全球数据库建立了13个非参数转换模型。 Zhang和Yuen （2021） Zhang和Yuen （2021） 针对建筑物裂纹检测识别问题提出了基于融合特征的宽度学习系统（Fusion Features-based Broad Learning System，FF-BLS），该系统使用固定权重的卷积模块来提取融合特征用作BLS的输入，实验结果表明FF-BLS能以20倍的速度得到与深度学习网络相当的预测精度。以上所有研究均指出BLS具有增量学习能力，也就是可以根据任务需求对网络结构进行扩展或对数据集进行增广，确定新网络的权重时无需重新训练整个模型，能有效地提升模型更新效率。 在卫星遥感领域，当搭载各类传感器的遥感卫星成功发射后，其观测数据往往是随着时间的推移而逐渐积累的。这一特点与宽度学习的增量学习能力十分契合，使得基于遥感数据的智能算法具有不断更新和提升的潜力。相较于深度学习的复杂网络结构，基于宽度学习方法的模型的更新与改进的效率具有显著优势。 本文首次采用基于融合特征的宽度学习算法对SAR影像中的降雨团进行检测识别，并重点分析了增量学习方案和重训练方案在BLS模型更新中的表现，提出了“增量学习—重训练”混合训练方案，该方案既能保证模型的精度，又能最大限度节约训练时间，提升模型更新效率。 2　基于融合特征的宽度学习检测算法 1 基于随机向量函数连接网络（random vector functional-link neural network，RVFLNN）而构建的宽度学习系统是一种平面的神经网络结构。与深度学习网络相比，该网络的计算效率具有显著优势且对硬件设备的需求较低。如 图1 图1 所示，宽度学习的网络结构的特征层主要由特征节点 <math id="M1"> <mi>F</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647799&type= 2.28600001 2.62466669 和增强节点 <math id="M2"> <mi>E</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647694&type= 2.28600001 2.62466669 组成，其中特征节点是输入数据 <math id="M3"> <mi>X</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647656&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647655&type= 2.28600001 2.62466669 经过线性或非线性变换获取；然后将特征节点经过线性或非线性变换可获得增强节点；最后，利用训练数据的特征层和输出 <math id="M4"> <mi>Y</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647722&type= 2.11666679 2.62466669 可以确定两层之间传递的权重 <math id="M5"> <mi>A</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647687&type= 2.11666679 2.62466669 。然而， Zhang（2021） Zhang（2021） 等的研究表明，宽度学习提取图像特征的能力较差，直接使用宽度学习对图像进行分类会导致较低的分类精度。因此，本文使用 Zhang和Yuen（2021） Zhang和Yuen（2021） 提出的基于融合特征的宽度学习方法，首先使用卷积神经网络对样本图像进行特征提取 （ Zhang和Yuen，2021 Zhang和Yuen，2021 ）；然后将这些特征向量 <math id="M6"> <mi>F</mi> <mi>V</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647651&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647650&type= 4.31799984 2.62466669 作为BLS的输入数据来生成特征节点，进而使用特征节点生成增强节点；最后，使用这两类节点信息与训练数据计算网络结构的传播权重。从 图1 图1 可知，生成节点所需的权重可随机确定，只有特征层和输出层之间的权重需要训练获取。此外，本文所使用的基于特征提取的宽度学习算法还具有增量学习能力，即当原始的BLS训练完成后可以通过增加节点数目或增输入数据来更新网络。本次实验所用数据集可通过（ https：//doi.org/10.17882/56796 https://doi.org/10.17882/56796 ，2021-11）下载。本文模型的主要程序已经上传至GitHub（ https：//github.com/HDFairy/RainCell_Detection.git https://github.com/HDFairy/RainCell_Detection.git ，2022-01）。 2.1　基于特征提取的数据集构建 2 卷积神经网络具有强大的图像特征提取能力，为选择最佳的深度学习预训练模型，本文对比了ResNet50、InceptionV3和MoblieNetV2和VGG16模型在 表2 表2 数据集下的预测精度和训练时长，结果如 表1 表1 所示。综合考虑实验精度和效率，ResNet50模型表现最佳。因此本文最终选用ResNet50 （ He等，2016 He等，2016 ）作为预训练模型来提取训练集中SAR影像的特征，其权重信息由ImageNet数据集训练而来，其余参数设置如下：学习率为10 -3 ；batch size为16；epoch取值为30；图片输入大小为224×224。最后，将计算得到的最后一层均值池化层的特征向量作为BLS的输入 <math id="M7"> <mi>X</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647656&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647655&type= 2.28600001 2.62466669 。 图2 图2 中展示了ResNet50一个模块（building block）中的两种映射方式：自身映射（identity mapping）和残差映射（residual mapping），最后的输出为二者的叠加。其中 <math id="M8"> <mi>S</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647657&type= 1.86266661 2.62466669 为输入的样本图像，权重层取值对于预训练的ResNet模型是已知的，ReLU（Rectified Linear Unit）为激活函数，残差输出为 <math id="M9"> <mi>F</mi> <mfenced separators="|"> <mrow> <mi>S</mi> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647659&type= 7.95866632 3.72533321 ，最终的输出为 <math id="M10"> <mi>F</mi> <mfenced separators="|"> <mrow> <mi>S</mi> </mrow> </mfenced> <mo>+</mo> <mi>S</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647661&type= 14.30866718 3.72533321 。 深度学习模型 模型精度 每个epoch训练所需时间（秒） ResNet50 98.16% 35 InceptionV3 97.79% 48 MobileNetV2 94.85% 17 VGG16 91.63% 70 数据集名称 正样本集（降雨团） 负样本集 （非降雨团） 总数 训练集 4275 4989 9264 测试集 465 539 1004 总数 4740 5528 10268 2.2　宽度学习系统 2 在宽度学习系统，假设输入数据 <math id="M11"> <mi>X</mi> <mo>∈</mo> <msup> <mrow> <mi mathvariant="double-struck">R</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>x</mi> </mrow> </msub> </mrow> </msup> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647670&type= 11.43000031 3.21733332 由 <math id="M12"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>x</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647639&type= 3.55599999 3.72533321 个数据点 <math id="M13"> <mi>x</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647641&type= 1.69333339 2.62466669 构成，特征节点的随机生成的权重和偏差值分别为 <math id="M14"> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <mi>e</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647676&type= 3.89466691 3.72533321 和 <math id="M15"> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <mi>e</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647678&type= 2.62466669 3.72533321 ，则特征节点集合 <math id="M16"> <mi>F</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647799&type= 2.28600001 2.62466669 中任一节点可表示为： <math display="block" id="M17"> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mi>ϕ</mi> <mfenced separators="|"> <mrow> <mi>X</mi> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mi>i</mi> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mi>i</mi> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn mathvariant="normal">1</mn> <mo>,</mo> <mo>…</mo> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647633&type= 45.88933182 5.84200001 其中 <math id="M18"> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <mi>i</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647636&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647635&type= 3.04800010 3.72533321 表示第 <math id="M19"> <mi>i</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647637&type= 1.10066664 2.62466669 个特征节点，可视为 <math id="M20"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>x</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647639&type= 3.55599999 3.72533321 个数据点 <math id="M21"> <mi>x</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647641&type= 1.69333339 2.62466669 的变换结果组成，因此在 图1 图1 中将每个特征节点表示为包含多个数据点的组。 <math id="M22"> <msup> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msup> <mo>≡</mo> <mfenced open="[" close="]" separators="|"> <mrow> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> <mo>…</mo> <mo>,</mo> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647689&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647688&type= 31.15733528 5.84200001 表示由 <math id="M23"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647731&type= 3.89466691 3.72533321 个特征节点组成的集合。基于所有特征节点 <math id="M24"> <msup> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msup> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647693&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647692&type= 4.65666676 3.21733332 可以计算增强节点 <math id="M25"> <mi>E</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647694&type= 2.28600001 2.62466669 ： <math display="block" id="M26"> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>ξ</mi> <mfenced separators="|"> <mrow> <msup> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msup> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mi>j</mi> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mi>j</mi> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>,</mo> <mi>j</mi> <mo>=</mo> <mn mathvariant="normal">1</mn> <mo>,</mo> <mo>…</mo> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647696&type= 47.66733551 5.84200001 其中 <math id="M27"> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <mi>j</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647699&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647698&type= 2.87866688 3.72533321 表示第 <math id="M28"> <mi>j</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647701&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647700&type= 0.84666669 3.47133350 个增强节点， <math id="M29"> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mi>j</mi> </mrow> </msub> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647703&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647702&type= 4.40266657 4.06400013 和 <math id="M30"> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mi>j</mi> </mrow> </msub> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647705&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647704&type= 3.21733332 4.06400013 分别表示随机生成的权重和偏置量。由于每个增强节点的运算需要所有特征节点作为输入，可将其视为 <math id="M31"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647731&type= 3.89466691 3.72533321 个特征节点变换结果的组合，因此 图1 图1 中每个增强节点绘制为包含多个特征节点变换结果的组。 <math id="M32"> <msup> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msup> <mo>≡</mo> <mfenced open="[" close="]" separators="|"> <mrow> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> <mo>…</mo> <mo>,</mo> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647709&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647708&type= 31.15733528 5.84200001 表示由 <math id="M33"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647824&type= 3.89466691 3.72533321 组增强节点组成的集合。最终，由 <math id="M34"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647731&type= 3.89466691 3.72533321 个特征节点和 <math id="M35"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647824&type= 3.89466691 3.72533321 个增强节点组成了特征层 <math id="M36"> <mi>A</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647687&type= 2.11666679 2.62466669 ，可表示为： <math display="block" id="M37"> <mi>A</mi> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>,</mo> <mo>…</mo> <mo>,</mo> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msub> <mo stretchy="false">|</mo> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>,</mo> <mo>…</mo> <mo>,</mo> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>=</mo> <mo stretchy="false">[</mo> <msup> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msup> <mo stretchy="false">|</mo> <msup> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msup> <mo stretchy="false">]</mo> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647719&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647718&type= 55.37200165 5.84200001 宽度学习中特征层 <math id="M38"> <mi>A</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647687&type= 2.11666679 2.62466669 与输出 <math id="M39"> <mi>Y</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647722&type= 2.11666679 2.62466669 之间通过权重 <math id="M40"> <mi>W</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647791&type= 2.87866688 2.62466669 连接起来，其关系可以用下式来简单表达： <math display="block" id="M41"> <mi>Y</mi> <mo>=</mo> <mi>A</mi> <mi>W</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647681&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647680&type= 11.51466751 2.70933342 其中， <math id="M42"> <mi>W</mi> <mo>=</mo> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mo>+</mo> </mrow> </msup> <mi>Y</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647683&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647682&type= 12.53066730 2.96333337 为网络结构中连接节点层与输出层之间的权重， <math id="M43"> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mo>+</mo> </mrow> </msup> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647685&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647684&type= 2.96333337 2.96333337 为矩阵 <math id="M44"> <mi>A</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647687&type= 2.11666679 2.62466669 的伪逆矩阵（pseudo-inverse）。在宽度网络中，伪逆可以被认为是求解神经网络输出层权值的一种非常方便的方法，但是直接求解的成本太高了，尤其是当训练样本和输入模式具有高容量、高速度以及高多样性的特点时。因此，当直接计算伪逆的成本过高时，可以通过岭回归来近似求解： <math display="block" id="M45"> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mo>+</mo> </mrow> </msup> <mo>=</mo> <msup> <mrow> <mfenced separators="|"> <mrow> <mi>λ</mi> <mi>I</mi> <mo>+</mo> <mi>A</mi> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>Τ</mi> </mrow> </msup> </mrow> </mfenced> </mrow> <mrow> <mo>-</mo> <mn mathvariant="normal">1</mn> </mrow> </msup> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>Τ</mi> </mrow> </msup> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647728&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647727&type= 30.31066895 4.99533367 其中 <math id="M46"> <mi>λ</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647730&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647729&type= 2.28600001 2.62466669 是正则化参数。 2.3　增量学习 2 在深度学习中，当网络表现不够好时往往可以通过增加卷积核或卷积层的数目来提升网络性能，但是同时也会增加计算量和模型训练时长。对于宽度学习，网络表现不佳通常是由于特征层节点数目过少或训练数据不足造成的，因此可以通过两种增量学习策略来改善网络性能：（1）增加特征节点和增强节点；（2）增加输入数据。 2.3.1　节点增量学习 3 假设原始的宽度学习系统中包含 <math id="M47"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647731&type= 3.89466691 3.72533321 个特征节点和 <math id="M48"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647824&type= 3.89466691 3.72533321 个增强节点，则特征层全部节点可表示为 <math id="M49"> <mi>A</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647687&type= 2.11666679 2.62466669 。如果需要在原有系统中增加增强节点，则第 <math id="M50"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647749&type= 10.24466610 3.80999994 个增强节点可表示为： <math display="block" id="M51"> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>=</mo> <mi>ξ</mi> <mfenced separators="|"> <mrow> <msup> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msup> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647752&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647751&type= 41.31733322 6.77333355 若增加特征节点，第 <math id="M52"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647754&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647753&type= 10.24466610 3.80999994 个特征节点可以表示为： <math display="block" id="M53"> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>=</mo> <mi>ϕ</mi> <mfenced separators="|"> <mrow> <mi>X</mi> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647756&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647755&type= 39.11600113 6.77333355 由于特征节点改变而相应生成的增强节点为： <math display="block" id="M54"> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <mi>ξ</mi> <mfenced separators="|"> <mrow> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <mi>n</mi> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>,</mo> <mo>…</mo> <mo>,</mo> <mi>ξ</mi> <mfenced separators="|"> <mrow> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647757&type= 70.78133392 7.45066643 则通过增加特征节点和增强节点而得到新的节点层可表示为： <math display="block" id="M55"> <msup> <mrow> <mi>Α</mi> </mrow> <mrow> <mi>'</mi> </mrow> </msup> <mo>=</mo> <mo stretchy="false">[</mo> <mi>A</mi> <mo stretchy="false">|</mo> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <mfenced open="|" close="|" separators="|"> <mrow> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </mfenced> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> <mo stretchy="false">]</mo> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647760&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647759&type= 37.67666626 5.92666674 其对应的 <math id="M56"> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>'</mi> </mrow> </msup> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647761&type= 2.70933342 2.96333337 矩阵的伪逆矩阵可表示为： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647861&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647860&type= 32.54400635 13.49400330 其中，矩阵 <math id="M57"> <mi>D</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647764&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647763&type= 2.53999996 2.62466669 和 <math id="M58"> <mi>B</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647765&type= 2.28600001 2.62466669 分别为： <math display="block" id="M59"> <mi>D</mi> <mo>=</mo> <msup> <mrow> <mfenced separators="|"> <mrow> <mi>A</mi> </mrow> </mfenced> </mrow> <mrow> <mo>+</mo> </mrow> </msup> <mfenced open="[" close="]" separators="|"> <mrow> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <mfenced open="|" close="|" separators="|"> <mrow> <mtext> </mtext> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </mfenced> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647736&type= 41.74066544 6.77333355 <math display="block" id="M60"> <msup> <mrow> <mi>B</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msup> <mo>=</mo> <mfenced open="{" close="" separators="|"> <mrow> <mtable> <mtr> <mtd> <msup> <mrow> <mi>C</mi> </mrow> <mrow> <mo>+</mo> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mrow> <mfenced separators="|"> <mrow> <mn mathvariant="normal">1</mn> <mo>+</mo> <msup> <mrow> <mi>D</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msup> <mi>D</mi> </mrow> </mfenced> </mrow> <mrow> <mo>-</mo> <mn mathvariant="normal">1</mn> </mrow> </msup> <msup> <mrow> <mi>B</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msup> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mo>+</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mrow> </mfenced> <mtext>   </mtext> <mtable> <mtr> <mtd> <mi>i</mi> <mi>f</mi> <mtext> </mtext> <mi>C</mi> <mo>≠</mo> <mn mathvariant="normal">0</mn> </mtd> </mtr> <mtr> <mtd> <mi>i</mi> <mi>f</mi> <mtext> </mtext> <mi>C</mi> <mo>=</mo> <mn mathvariant="normal">0</mn> </mtd> </mtr> </mtable> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647738&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647766&type= 49.02199936 10.49866676 <math display="block" id="M61"> <mi>C</mi> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> <mfenced open="|" close="|" separators="|"> <mrow> <mtext> </mtext> <msub> <mrow> <mi>F</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </mfenced> <msub> <mrow> <mi>E</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>-</mo> <mi>A</mi> <mi>D</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647768&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647767&type= 43.68799973 6.77333355 计算可得到增加节点后更新的权重： <math display="block" id="M62"> <msup> <mrow> <mi>W</mi> </mrow> <mrow> <mi>'</mi> </mrow> </msup> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <mtable> <mtr> <mtd> <mi>W</mi> <mo>-</mo> <mi>D</mi> <msup> <mrow> <mi>B</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msup> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <msup> <mrow> <mi>B</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msup> <mi>Y</mi> </mtd> </mtr> </mtable> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647769&type= 26.92399979 8.21266651 观察 式（14） 式（14） 可知，更新后的权重矩阵 <math id="M63"> <msup> <mrow> <mi>W</mi> </mrow> <mrow> <mi>'</mi> </mrow> </msup> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647772&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647771&type= 3.97933316 2.96333337 可看作原始权重矩阵 <math id="M64"> <mi>W</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647791&type= 2.87866688 2.62466669 与新增部分的组合。因此，更新权重矩阵时无需重新计算所有节点，只需要计算新增节点并将其与原始计算结果进行叠加，这样能有效减少权重矩阵更新的计算复杂度和耗费的时间。 2.3.2　数据增量学习 3 上述节点增量学习是基于固定的数据集进行的，并不涉及数据集的增广。然而在大多数深度或宽度学习网络中，输入数据集的大小是影响网络预测性能的主要因素之一。对于大多数深度学习模型，如果要在训练数据集中增加数据，则现有的模型往往需要针对增广后的新数据集重新进行训练，从而确定新的模型参数，而且该重训练过程的计算量和耗费的时间将超过原始模型。然而，宽度学习网络却可以避免该缺陷，BLS仅需计算新增数据的节点和权重，然后将其与原始网络计算结果相组合，达到更新网络的目的。 假设 <math id="M65"> <mtext> </mtext> <msub> <mrow> <mi>X</mi> </mrow> <mrow> <mi>a</mi> <mtext> </mtext> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647742&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647741&type= 4.65666676 3.80999994 是网络中新增的数据，则相应产生的特征节点和增强节点可分别表示为： <math display="block" id="M66"> <msubsup> <mrow> <mi>F</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msubsup> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <mi>ϕ</mi> <mfenced separators="|"> <mrow> <msub> <mrow> <mi>X</mi> </mrow> <mrow> <mi>a</mi> </mrow> </msub> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>,</mo> <mo>…</mo> <mo>,</mo> <mi>ϕ</mi> <mfenced separators="|"> <mrow> <msub> <mrow> <mi>X</mi> </mrow> <mrow> <mi>a</mi> </mrow> </msub> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647773&type= 64.17733002 7.45066643 <math display="block" id="M67"> <msubsup> <mrow> <mi>E</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msubsup> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <mi>ξ</mi> <mfenced separators="|"> <mrow> <msubsup> <mrow> <mi>F</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msubsup> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> <mo>,</mo> <mo>…</mo> <mo>,</mo> <mi>ξ</mi> <mfenced separators="|"> <mrow> <msubsup> <mrow> <mi>F</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msubsup> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> <mo>+</mo> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msub> </mrow> </msub> </mrow> </mfenced> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647776&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647775&type= 66.29399872 7.45066643 其中 <math id="M68"> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647778&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647777&type= 4.57200003 4.06400013 、 <math id="M69"> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647779&type= 4.74133301 4.06400013 、 <math id="M70"> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>e</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647781&type= 3.30200005 4.06400013 和 <math id="M71"> <msub> <mrow> <mi>b</mi> </mrow> <mrow> <msub> <mrow> <mi>h</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647784&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647783&type= 3.55599999 4.06400013 均为原始BLS中随机生成的权重或偏置。因此可以用 <math id="M72"> <msubsup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msubsup> <mo>=</mo> <mo stretchy="false">[</mo> <msubsup> <mrow> <mi>F</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> </mrow> </msubsup> <mo stretchy="false">|</mo> <msubsup> <mrow> <mi>E</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </mrow> </msubsup> <mo stretchy="false">]</mo> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647785&type= 20.99733353 5.24933338 表示由于新增数据生成的节点矩阵。因此，特征层节点矩阵可以更新为： <math display="block" id="M73"> <msup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>'</mi> </mrow> </msup> <mo>=</mo> <mfenced open="[" close="]" separators="|"> <mrow> <mtable> <mtr> <mtd> <mi>A</mi> </mtd> </mtr> <mtr> <mtd> <msubsup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msubsup> </mtd> </mtr> </mtable> </mrow> </mfenced> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647788&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647787&type= 13.54666710 8.21266651 最后，更新后的权重矩阵可以表示为： <math display="block" id="M74"> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <mi>x</mi> </mrow> </msub> <mo>=</mo> <mi>W</mi> <mo>+</mo> <mfenced separators="|"> <mrow> <msub> <mrow> <mi>Y</mi> </mrow> <mrow> <mi>a</mi> </mrow> </msub> <mo>-</mo> <msubsup> <mrow> <mi>A</mi> </mrow> <mrow> <mi>x</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msubsup> <mi>W</mi> </mrow> </mfenced> <mi>B</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647790&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647789&type= 35.89866638 5.16466665 其中 <math id="M75"> <mi>W</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647791&type= 2.87866688 2.62466669 为原始系统得到的权重， <math id="M76"> <msub> <mrow> <mi>W</mi> </mrow> <mrow> <mi>x</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647744&type= 3.97933316 3.72533321 为增加输入数据之后获得的权重。 <math id="M77"> <msub> <mrow> <mi>Y</mi> </mrow> <mrow> <mi>a</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647746&type= 3.21733332 3.72533321 表示增加的数据 <math id="M78"> <msub> <mrow> <mi>X</mi> </mrow> <mrow> <mi>a</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647793&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647792&type= 3.47133350 3.72533321 所对应的输出值。与节点增量学习策略类似，数据增量学习也只需要计算与新增数据相关的伪逆矩阵实现更新权重矩阵的目的，这样做同样大幅降低了运算量，提升了模型更新的速率。 3　数据介绍与实验分析 1 3.1　数据介绍 2 本文使用SAR图像样本均来自 Wang （2019） Wang （2019） 等建立的已标注的SAR图像数据集 （ https：//doi.org/10.17882/56796 https://doi.org/10.17882/56796 ，2021-11）（ Wang等，2019 Wang等，2019 ）。该数据集包含37000多幅Sentinel-1获取的波模式（wave mode）SAR影像，涵盖了10种海洋现象：平静海面（pure ocean waves）、风条纹（wind streaks）、微对流团（micro convective cells）、降雨团（rain cells）、生物浮油（biological slicks）、海冰（sea ice）、冰山（iceberg）、低风速区（low wind areas）、大气锋面（atmosphere front）和海洋锋面（oceanic front）。该数据集的样本均被处理成以PNG和TIFF格式以便于在机器学习中应用，本文使用的数据均为TIFF格式。 图3 图3 展示了九种海洋现象的SAR图像示例。 为构建正、负样本数量相当的数据集，本文选取4740幅降雨团影像作为正样本，标签值设置为1；在 图3 图3 所示的平静海面、风条纹等另外八种海洋现象的SAR图像数据集中各自随机选取691幅共计5528幅组成负样本集，将其标签值设置为0。然后将正、负样本集中90%作为训练集，其余10%组成测试集。最终数据集划分结果如 表2 表2 所示。 3.2　宽度学习训练结果 2 在宽度学习系统中共包含三个超参数：特征节点窗口数目 <math id="M79"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647805&type= 3.64066648 3.72533321 、每个特征节点窗口所包含的节点数 <math id="M80"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647807&type= 3.64066648 3.72533321 和增强节点数目 <math id="M81"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647824&type= 3.89466691 3.72533321 ，其中 <math id="M82"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647805&type= 3.64066648 3.72533321 和 <math id="M83"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647807&type= 3.64066648 3.72533321 共同构成了特征节点 <math id="M84"> <mi>F</mi> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647799&type= 2.28600001 2.62466669 ，因此特征节点数目 <math id="M85"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>F</mi> </mrow> </msub> <mo>=</mo> <mtext> </mtext> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>×</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647802&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647801&type= 20.15066719 3.89466691 。对于同一批数据，不同超参数组合的模型具有不同的预测精度。 表3 表3 展示了对于本文数据集在不同超参数组合情况下模型的测试精度。 （ N 1 × N 2 ） <math id="M86"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647816&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647803&type= 3.13266683 2.87866688 预测精度 召回率 （5×5） 100 96.81% 79.96% （5×5） 300 97.61% 85.53% （5×5） 500 97.81% 87.16% （5×10） 100 97.41% 83.61% （5×10） 300 97.91% 88.35% （5×10） 500 97.81% 90.14% （10×10） 100 97.51% 83.67% （10×10） 300 97.71% 89.76% （10×10） 500 98.21% 90.85% （18×40） 806 98.51% 95.24% 表3 表3 结果表明节点数目的改变对模型精度产生一定影响，尤其是节点数目增加对召回率提升效果较为显著。因此，确定合适的模型超参数对于模型精度至关重要。贝叶斯最佳估计方法被广泛用于确定模型的最优超参数，在编程计算中可以很方便地调用Hyperopt库完成任务（ Bergstra等，2013 Bergstra等，2013 ）。根据实验经验，特征节点一般为几十到数百个，而增强节点最高可达数千个甚至上万个。由于本研究的数据量相对较少，因此相应的节点数目也较少，因此将三个超参数 <math id="M87"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647805&type= 3.64066648 3.72533321 、 <math id="M88"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647807&type= 3.64066648 3.72533321 和 <math id="M89"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647824&type= 3.89466691 3.72533321 的初始参考范围分别设置为［1， 20］、［1， 50］和［1， 2000］，经过最优化选择计算确定的超参数取值分别如下： <math id="M90"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>=</mo> <mn mathvariant="normal">18</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647827&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647826&type= 11.85333347 3.80999994 ， <math id="M91"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> <mo>=</mo> <mn mathvariant="normal">40</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647836&type= 11.85333347 3.80999994 以及 <math id="M92"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>=</mo> <mn mathvariant="normal">806</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647839&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647838&type= 13.97000027 3.80999994 ，模型预测精度和召回率分别为98.51%和95.24%，明显优于其他超参数组合结果。 3.3　模型对比验证 2 基于训练数据集确定了宽度学习系统超参数后，特征层与输出之间的权重矩阵可通过2.2节中式（ 1 1 ）—（ 5 5 ）计算得到。为了对比宽度学习系统的预测精度和训练时间成本，本文选用ResNet50预训练模型对同一数据集进行训练和验证。对于该ResNet50预训练模型，其主要参数设置如下：学习率为10 -3 ，batch size为16，epoch取值为30。此外，为了公平地比较这两个网络的训练时间，训练任务均是基于同一计算机平台运行：Intel（R） Core（TM） i7-8700K CPU @ 3.70GHz and 64GB RAM。 表4 表4 中列出了针对同一数据集两个网络的预测精度及训练时间成本。 网络名称 预测精度 召回率 训练时间（CPU） BLS 98.51% 95.24% 227.87 ResNet50 98.71% 99.15% 5312.584 表4 表4 结果表明，BLS与ResNet50预训练模型的预测精度相当，召回率BLS略低，但是训练时间ResNet50比BLS高22倍左右。因此，在同等设备条件下，BLS的效率明显高于卷积神经网络。 3.4　增量学习与模型更新方案 2 对于神经网络模型，当现有模型难以满足当前任务需求时，通常的模型优化有两种：一是增加窗口（filter or window）或者是网络层数（layer），二是增加数据集中样本数量。对于深度学习，网络结构的复杂化或训练数据的更新需要重新训练整个模型。当数据集较大时，这一过程往往需要高算力的设备（如GPU）的支持且会耗费大量的时间。与之不同的是，宽度学习系统是一个动态的网络结构，当增加新的节点或训练新增加的样本数据时，只需要训练获取新增部分的权重矩阵就可以更新整个模型，其增量学习能力可以避免重新训练整个网络并有效降低因节点增加或新数据的加入带来的计算量和时间成本。 3.4.1　节点增量学习 3 为了验证宽度学习的节点增量学习能力可用于更新、优化模型，本文将3.2节中使用贝叶斯最佳估计确定的最优参数作为参考，计算了随着总节点数目的增加模型精度以及训练时间成本的变化（见 表5 表5 ）。结果表明，随着总节点数目接近于最佳超参数组合的节点总数时，模型的预测精度和召回率一般会随之提升；而当总节点数再次超过最佳超参数组合的节点总数时，其预测精度和召回率会出现下降的现象，这一趋势在召回率上体现的更为显著。此外，随着总节点数目的增加，模型训练时间虽然总体上呈微弱上升趋势，但在一个较小的范围内波动变化。事实上，本文模型的主要时间成本是读取数据和使用ResNet50提取图像特征向量产生的，BLS计算所需要的时间占比很小。例如当节点超参数组合为 <math id="M93"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">1</mn> </mrow> </msub> <mo>=</mo> <mn mathvariant="normal">18</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647835&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647834&type= 11.85333347 3.80999994 ， <math id="M94"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn mathvariant="normal">2</mn> </mrow> </msub> <mo>=</mo> <mn mathvariant="normal">40</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647836&type= 11.85333347 3.80999994 ， <math id="M95"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> <mo>=</mo> <mn mathvariant="normal">806</mn> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647839&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647838&type= 13.97000027 3.80999994 时，读取数据以及提取特征向量共耗时224.17秒，运算BLS耗时仅为3.78秒，仅占总时间成本的1.68%。当节点增加时，虽然会导致BLS运算时矩阵增大，但其运算量对于时间成本的增加影响有限。总的来说，BLS运算的时间成本较低且节点改变对其影响并不大，因而使用贝叶斯最佳估计找到最佳超参数组合是很有必要的。因为使用最佳超参数组合确定的模型与其他随机超参数组合产生的模型相比能在几乎同等时间成本下获得更好的预测表现。 （ N 1 × N 2 ） <math id="M96"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647841&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647840&type= 3.13266683 2.87866688 预测精度 召回率 训练时间（秒） （5×5） 100 96.81% 79.96% 220.83 （5×5） 400 98.00% 86.67% 218.79 （5×5） 806 97.91% 87.84% 225.71 （5×20） 806 98.30% 93.67% 224.85 （5×40） 806 98.11% 93.47% 226.42 （10×40） 806 98.31% 95.03% 224.14 （18×40） 806 98.51% 95.24% 227.87 （20×50） 1000 98.01% 92.46% 229.88 3.4.2　数据增量学习 3 对于宽度学习网络，当现有模型无法满足任务需求且需要通过增加数据集样本来改进模型时，模型优化方案可以分为两种：一是针对扩容后的数据集重新训练整个模型；二是利用数据增量学习功能更新模型。为了验证数据增量学习可以用于优化模型，本文设计以下实验步骤： 1） 将现有所有数据构成的数据集成为全局数据集，数据增量学习过程最开始用到的数据集成为初始训练集，首先在全局数据集中各取30%的正、负样本组成初始训练集数据，测试集则与3.1节中划分结果一致； 2） 初始模型训练：使用初始训练集确定模型最佳超参数组合，计算模型在各个节点的特征向量和特征层与输出层之间传播的权重并保存，统计模型训练的时间成本和在测试集上的精度； 3） 数据增量学习：分7次向初始训练集中增加样本数据，每次增加全局数据集中10%的正负样本，计算新增数据的节点特征向量，将其与步骤2）中保存的特征向量进行组合，求解更新后的权重，统计模型训练的时间成本和在测试集上的精度。 表6 表6 中展示了模型增量学习结果。首先针对步骤1）中的初始训练集确定三个超参数的取值。 数据集规模 超参数组合 （ <math id="M97"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647819&type= 11.85333347 3.30200005 ） 测试集精度 训练时间（秒） 2780 （16， 16， 1562） 80.78% 92.76 2781—3707 （16， 16， 1562） 88.45% 22.52 3708—4634 （16， 16， 1562） 87.95% 22.52 4635—5561 （16， 16， 1562） 87.05% 22.54 5562—6488 （16， 16， 1562） 89.64% 22.53 6489—7415 （16， 16， 1562） 90.84% 22.54 7416—8342 （16， 16， 1562） 91.43% 22.55 8343—9264 （16， 16， 1562） 92.23% 22.57 表6 表6 的结果显示，随着训练数据集中样本的增多，模型在测试集上的精度也从80.78%提升到了92.23%。从训练时间来看，因为初始训练集训练时包含了超参数最优选择过程，因此时间较长。随着初始训练集中样本量的增加，训练时间几乎不变，因为每次新增的数据样本数目相同。此外，模型三个超参数以及节点间的随机权重使用初始训练集确定后，后续的增量学习过程中将不需要重新确定。 3.4.3　模型重训练 3 为了对比模型重训练方案与增量学习方案的优缺点，本文对上述实验步骤3）每次更新后的训练数据集进行模型重训练，其结果如 表7 表7 所示。随着训练数据集的增加，模型在测试集上的精度也从80.78%提升至最高98.51%。需要注意的是，当精度达到98.51%后再次扩大训练集却下降为98.21%，这说明数据集规模达到一定程度后模型精度稳定在98%左右，重新训练整个模型也无法显著提升其精度。此外，重新训练了整个模型意味着每次都需要最优化选择三个超参数，这会增加训练所需要的时长。 数据集大小 超参数组合 （ <math id="M98"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647821&type= 11.85333347 3.30200005 ） 测试集精度 训练时间（秒） 2780 （16， 16， 1562） 80.78% 92.76 2781—3707 （19， 28， 398） 85.96% 52.72 3708—4634 （19， 40， 1004） 85.46% 55.03 4635—5561 （7， 30， 832） 88.55% 52.13 5562—6488 （12， 10， 938） 91.64% 62.75 6489—7415 （4， 48， 370） 95.22% 56.87 7416—8342 （9， 46， 1346） 98.51% 58.43 8343—9264 （14， 6， 1568） 98.21% 65.25 图4 图4 展示了两种模型训练方案的精度和训练时间的对比结果。从 图4（a） 图4（a） 中可知，当训练样本数量低于5561（60%总训练样本数目）时，增量学习方案的精度更高；当训练样本数量达到5561时，重训练方案的测试精度开始高于增量学习方案，并随着数据集的扩大二者差距逐渐扩大，最终在数据集大小为8342时差距达到最大值6.28%。但是当样本数量继续增加时，重训练方案的精度无法继续提升，而增量学习方案的精度则能继续提升。另一方面，从 图4（b） 图4（b） 可知，重训练方案的训练时间是增量学习方案的2.5倍左右；而且随着数据的不断增加，重训练的时间成本整体上呈现增长趋势，而增量学习方案则几乎保持不变。 1;2; 基于以上分析，本文对这两种用于模型更新的方案的优缺点总结如下：（1）数据集较小时，增量学习方案具有精度优势；当数据集较大时，重训练方案具有精度优势，且能较快的达到最佳精度；（2）增量学习方案由于无需重新确定模型超参数和训练整个新数据集，显著降低了训练时间；（3）当数据集增加到一定大小后，重训练方案的精度达到了最佳精度后将不再随数据集的增大而提升；而随着样本数据不断增加增量学习方案精度不断提升的趋势未发生改变，具有逼近最佳精度的潜力。因此，当任务以效率优先时，增量学习训练方案是更好的选择；当任务以精度优先而不计较时间成本时，重训练方案可以较快的达到最优精度。 3.4.4　模型混合更新方案 3 为了同时利用这两种训练方案的优势，本文将二者结合提出了混合更新方案，即“增量学习—模型重训练”交替使用的模型更新方案。例如数据积累初期，增加的数据较少时可以使用增量学习，既能保证较高的精度，还能大幅节约时间成本；当积累了足够多的增量样本数据时，采用重训练策略可以获得更好的精度；当该任务继续延续时，又可以继续增量学习策略。因此，两者模型更新策略的交替使用既保证了模型的高精度，又能最大程度节省训练时间。为验证混合更新策略的可行性，本文对3.4.2和3.4.3中的实验进行了以下修改：（1）初始数据集实验和前三次数据增量实验采用3.4.2中的增量学习方案，其结果与 表6 表6 中前四列相同；（2）第四次数据增加时采用重训练方案，这一步会改变模型的超参数的取值；（3）最后三次数据增量试验再次采用增量学习方案。以上试验的结果如 表8 表8 和 图4 图4 中所示，与增量学习方案相比，新方案的模型精度从92.23%提升至95.32%；与重训练方案相比，新方案的训练时间有了显著降低，大大提升了模型更新的速率。 数据集规模 超参数组合 （ <math id="M99"> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msub> <mo>,</mo> <msub> <mrow> <mi>N</mi> </mrow> <mrow> <mi>E</mi> </mrow> </msub> </math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28647856&type= 11.85333347 3.30200005 ） 测试集精度 训练时间（秒） 2780 （16， 16， 1562） 80.78% 92.76 2781—3707 （16， 16， 1562） 88.45% 22.52 3708—4634 （16， 16， 1562） 87.95% 22.52 4635—5561 （16， 16， 1562） 87.05% 22.54 5562—6488 （12， 10， 938） 91.64% 62.75 6489—7415 （12， 10， 938） 91.53% 22.53 7416—8342 （12， 10， 938） 93.63% 22.52 8343—9264 （12， 10， 938） 95.32% 22.55 4　结 论 1 从遥感影像中检测海面强降雨团是研究其结构、分布、形成与作用机理的基础。本文使用基于融合特征的宽度学习方法对包含九种海洋现象的SAR波模式影像数据集进行了强降雨团的检测识别研究，结果表明BLS的检测精度为98.51%，召回率为95.24%，与典型的特征提取网络ResNet50实验结果近似，但后者的训练时间长达前者的20倍。与深度学习网络相比，BLS具备增量学习能力，模型更新与优化可以通过增加网络节点或输入数据实现。本文通过对比增量学习和重训练两种模型更新方案的优缺点，提出了混合更新方案，该方案在保证模型高精度的同时又能明显减少训练时间。由于遥感领域的数据往往是随着时间推移逐渐积累的，因此宽度学习的增量学习能力和本文提出的模型更新方案可以实现遥感智能算法的持续更新和优化，这对于智能算法在遥感领域的业务化应用具有重要意义。未来将尝试将基于融合特征的宽度学习模型和混合更新方案应用于其他海洋现象的检测识别研究中。此外，将原始图像和深度学习模型提取的特征向量的集合作为BLS模型的输入，探索其对于模型计算效率和精度的影响也是未来的工作之一。 参考文献（ References ） Alpers W. , Cheng C. M. , Shao Y. , and Yang L . M . 2007 . Study of rain events over the South China Sea by synergistic use of multi-sensor satellite and ground-based meteorological data. Photogrammetric Engineering and Remote Sensing 73 ( 3 ): 267 - 78 . [ DOI: 10.14358/pers. 73.3.267 http://dx.doi.org/10.14358/pers.73.3.267 ] M Alpers W. , and Melsheimer C . 2004 . Chapter 17 . Rainfall. In Synthetic Aperture Radar Marine User’s Manual, edited by C. R . Jackson and J. R Apel, 355 - 71 . Washington, DC, USA : U.S. Department of Commerce . Chapter 17 Atlas D . 1994 . Footprints of storms on the sea: A view from spaceborne synthetic aperture radar. Journal of Geophysical Research-Oceans 99 (C 4 ): 7961 - 9 . [ DOI: 10.1029/94jc00250 http://dx.doi.org/10.1029/94jc00250 ] Footprints of storms on the sea: A view from spaceborne synthetic aperture radar. Journal of Geophysical Research-Oceans 99 Bergstra J. , Yamins D. , and Cox D . 2013 . Making a science of model search: Hyperparameter optimization in hundreds of dimensions for vision architectures . Making a science of model search: Hyperparameter optimization in hundreds of dimensions for vision architectures Chan P. W. , Cheng C. M. , and Alpers W . 2010 . Study of wind fields associated with subtropical squall lines using Envisat Synthetic Aperture Radar images and ground-based weather radar data . International Journal of Remote Sensing 31 ( 17-18 ): 4897 - 914 . [ DOI: 10.1080/01431161.2010. 485144 http://dx.doi.org/10.1080/01431161.2010.485144 ] Study of wind fields associated with subtropical squall lines using Envisat Synthetic Aperture Radar images and ground-based weather radar data Chen C . L . P., and Liu Z . L . 2018. Broad Learning System : An effective and efficient incremental learning system without the need for deep architecture." Ieee Transactions on Neural Networks and Learning Systems 29 ( 1 ): 10 - 24 . [ DOI: 10.1109/tnnls.2017.2716952 http://dx.doi.org/10.1109/tnnls.2017.2716952 ] L Contreras R. F. , and Plant W . J . 2006 . Surface effect of rain on microwave backscatter from the ocean: Measurements and modeling. Journal of Geophysical Research-Oceans 111 (C 8 ). [ DOI: 10.1029/2005jc003356 http://dx.doi.org/10.1029/2005jc003356 ] J Davis C. , Brown B. , and Bullock R . 2006 . Object-based verification of precipitation forecasts. Part I: Methodology and application to mesoscale rain areas . Monthly Weather Review 134 ( 7 ): 1772 - 84 . [ DOI: 10.1175/mwr3145.1 http://dx.doi.org/10.1175/mwr3145.1 ] Object-based verification of precipitation forecasts. Part I: Methodology and application to mesoscale rain areas Gan M. L. , Hunag W. G. , Yang J. S. , Shi A. Q. , Zhang X. L. , Sun X . M . The study of fine structure of a mesoscale thunderstorm from SAR image , ( 02 ) : 246 - 50 M 甘锡林 , 黄韦艮 , 杨劲松 , 楼琇林 , 史爱琴 , 张小丽 , 孙向明 . 2007 . 利用合成孔径雷达研究中尺度雷暴的细结构 . 遥感技术与应用 ( 02 ): 246 - 50 利用合成孔径雷达研究中尺度雷暴的细结构 Guo R. F. , and Liu Y . B . 2018 . Strategy and method for satellite precipitation data evaluation: An overview. Remote Sensing Technology and Application , 33 ( 06 ): 983 - 93 B 郭瑞芳 , 刘元波 . 2018 . 遥感降水数据精度检验策略及检验方法综述 . 遥感技术与应用 33 ( 06 ): 983 - 93 [ DOI: 10.11873/j.issn.1004-0323.2018.6.0983 http://dx.doi.org/10.11873/j.issn.1004-0323.2018.6.0983 ] 遥感降水数据精度检验策略及检验方法综述 He K. M. , Zhang X. Y. , Ren S. Q. , Sun J. , and Ieee . 2016 . Deep Residual Learning for Image Recognition. Paper presented at the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, Jun 27 - 30 . Deep Residual Learning for Image Recognition. Paper presented at the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, Jun Houze R . A . 1997 . " Stratiform precipitation in regions of convection : A meteorological paradox?" Bulletin of the American Meteorological Society 78 ( 10 ): 2179 - 96 . [ DOI: 10.1175/1520-0477(1997)078<2179:Spiroc>2.0.Co;2 http://dx.doi.org/10.1175/1520-0477(1997)078<2179:Spiroc>2.0.Co;2 ] A Kuok S. C. , and Yuen K . V . 2020a . "Broad learning for nonparametric spatial modeling with application to seismic attenuation." Computer-Aided Civil and Infrastructure Engineering 35 ( 3 ): 203 - 18 . [ DOI: 10.1111/mice.12494 http://dx.doi.org/10.1111/mice.12494 ] V Kuok S. C. , and Yuen K . V . 2020b . "Broad Learning System for Nonparametric Modeling of Clay Parameters." Asce-Asme Journal of Risk and Uncertainty in Engineering Systems Part a-Civil Engineering 6 ( 2 ). [ DOI: 10.1061/ajrua6.0001066 http://dx.doi.org/10.1061/ajrua6.0001066 ] V Liu X. , Zheng Q. A. , Liu R. , Wang D. , Duncan J. H. , and Huang S . J . 2016 . "A study of radar backscattering from water surface in response to rainfall." Journal of Geophysical Research-Oceans 121 ( 3 ): 1546 - 62 . [ DOI: 10.1002/2015jc010975 http://dx.doi.org/10.1002/2015jc010975 ] J Liu X. N. , Zheng Q. N. , Liu R. , Sletten M. A. , and Duncan J . H . 2017 . A model of radar backscatter of rain-generated stalks on the ocean surface. Ieee Transactions on Geoscience and Remote Sensing 55 ( 2 ): 767 - 76 . [ DOI: 10.1109/tgrs.2016.2614897 http://dx.doi.org/10.1109/tgrs.2016.2614897 ] H Liu C. H. , Niu R . Y . 2013 . Object-based precipitation verification method and its application. Meteorological Monthly , 39 ( 6 ): 681 - 690 Y 刘凑华 , 牛若芸 . 2013 . 基于目标的降水检验方法及应用 . 气象 , 39 ( 06 ): 681 - 90 [ DOI: 10.7519/j.issn: 1000-0526.2013.06.003 http://dx.doi.org/10.7519/j.issn:1000-0526.2013.06.003 ] 基于目标的降水检验方法及应用 Liu S . X . 2021 . Precipitation Detection Algorithm over Land for FY3C MWHS-2 and its Application in LAPS-WRF Assimilation System . Nanjing University of Information Science and Technology . Precipitation Detection Algorithm over Land for FY3C MWHS-2 and its Application in LAPS-WRF Assimilation System 刘淑贤 . 2021 . FY3C MWHS-2的陆地降水检测算法研究及其在LAPS-WRF同化系统中的应用 . 南京 ： 南京信息工程大学 FY3C MWHS-2的陆地降水检测算法研究及其在LAPS-WRF同化系统中的应用 Lv B . Q . 2020 . Research on Rainfall Detection Technology Inversion Method Based on Marine Radar Image . Harbin Engineering University . Research on Rainfall Detection Technology Inversion Method Based on Marine Radar Image 吕博群 . 2020 . 基于航海雷达图像反演的降雨检测技术研究 . 哈尔滨 ： 哈尔滨工程大学 基于航海雷达图像反演的降雨检测技术研究 Melsheimer C. , Alpers W. , and Gade M . 2001 . Simultaneous observations of rain cells over the ocean by the synthetic aperture radar aboard the ERS satellites and by surface-based weather radars. Journal of Geophysical Research-Oceans 106 (C 3 ): 4665 - 77 . [ DOI: 10.1029/2000jc000263 http://dx.doi.org/10.1029/2000jc000263 ] Simultaneous observations of rain cells over the ocean by the synthetic aperture radar aboard the ERS satellites and by surface-based weather radars. Journal of Geophysical Research-Oceans 106 Ma C . Y . 2019 . Research on Dynamic Detection Algorithm of Precipitation Clouds. Dalian Maritime University. (马春野 . 2019. 降水云团动态检测算法研究. 大连 ： 大连海事大学) . Y Tao R . Z . 2021 . A study on cloud detection and extrapolating precipitation forecast in Tibet based on FY-4A images. Nanjing University of Information Science and Technology. (陶润喆 . 2021. 基于风云4号卫星图像的西藏地区云检测和降水外推预报研究. 南京 ： 南京信息工程大学) . Z Wang C. , Mouche A. , Tandeo P. , Stopa J. E. , Longepe N. , Erhard G. , Foster R. C. , Vandemark D. , and Chapron B . 2019 . A labelled ocean SAR imagery dataset of ten geophysical phenomena from Sentinel-1 wave mode . Geoscience Data Journal 6 ( 2 ): 105 - 15 . [ DOI: 10.1002/gdj3.73 http://dx.doi.org/10.1002/gdj3.73 ] A labelled ocean SAR imagery dataset of ten geophysical phenomena from Sentinel-1 wave mode Xu F. , Li X. F. , Wang P. , Yang J. S. , Pichel W. G. , and Jin Y . Q . 2015 . A backscattering model of rainfall over rough sea surface for Synthetic Aperture Radar. Ieee Transactions on Geoscience and Remote Sensing 53 ( 6 ): 3042 - 54 . [ DOI: 10.1109/tgrs.2014.2367654 http://dx.doi.org/10.1109/tgrs.2014.2367654 ] Q Zhang Y. , and Yuen K . V . 2021 . Crack detection using fusion features-based broad learning system and image processing. Computer-Aided Civil and Infrastructure Engineering 36 ( 12 ): 1568 - 84 . [ DOI: 10.1111/mice.12753 http://dx.doi.org/10.1111/mice.12753 ] V Zhou X. , Yang X. F. , Li Z. W. , Yu Y. , Ma S . 2012 . Rain effect on C-band scatterometer wind measurement and its correction . Acta Physica Sinica , 61 ( 14 ): 532 - 42 . Rain effect on C-band scatterometer wind measurement and its correction 周旋 , 杨晓峰 , 李紫薇 , 于旸 , 马胜 . 2012 . 降雨对C波段散射计测风的影响及其校正 . 物理学报 61 ( 14 ): 532 - 42 降雨对C波段散射计测风的影响及其校正 10.11834/jrs.20221800 夏静，汪胜，杨晓峰，张阳，阮家荣，杜延磊.XXXX.宽度学习系统的SAR影像海面强降雨智能检测研究.遥感学报，XX（XX）： 1-11 夏静，汪胜，杨晓峰，张阳，阮家荣，杜延磊.XXXX.宽度学习系统的SAR影像海面强降雨智能检测研究.遥感学报，XX（XX）： 1-11 Xia Jing，Wang Sheng，Yang Xiaofeng，Zhang Yang，Ka-Veng Yuen，Du Yanlei. XXXX. Intelligent Detection of Rain Cells with SAR Imagery Based on Broad Learning System. National Remote Sensing Bulletin， XX（XX）：1-11 Xia Jing，Wang Sheng，Yang Xiaofeng，Zhang Yang，Ka-Veng Yuen，Du Yanlei. XXXX. Intelligent Detection of Rain Cells with SAR Imagery Based on Broad Learning System. National Remote Sensing Bulletin， XX（XX）：1-11 遥感科学国家重点实验室开放基金（OFSLRSS202009） Supported by Supported by the Open Fund of State Key Laboratory of Remote Sensing Science under Grant OFSLRSS202009 2022-05-31 遥感学报