遥感图像小样本舰船识别跨域迁移学习算法

遥感图像小样本舰船识别跨域迁移学习算法 Cross-domain transfer learning algorithm for few-shot ship recognition in remote-sensing images corresp first-author 陈华杰，1978年生，男，教授， 研究方向为机器学习和图像处理。E-mail： chj247@hdu.edu.cn 陈华杰，1978年生，男，教授， 研究方向为机器学习和图像处理。E-mail： chj247@hdu.edu.cn 陈华杰，1978年生，男，教授， 研究方向为机器学习和图像处理。E-mail： chj247@hdu.edu.cn 陈华杰，1978年生，男，教授， 研究方向为机器学习和图像处理。E-mail： chj247@hdu.edu.cn chj247@hdu.edu.cn 杭州电子科技大学 通信信息传输与融合技术国防重点学科实验室, 浙江 杭州 310018 杭州电子科技大学 通信信息传输与融合技术国防重点学科实验室, 浙江 杭州 310018 跨域迁移学习旨在利用现有公开数据集，突破源域和目标域样本类别空间须一致的约束，提升目标域样本的识别精度。针对现有跨域迁移学习算法应用于遥感图像小样本舰船目标识别时存在的迁移类别受限和负迁移问题，本文提出一种基于源域样本相关性排序的跨域迁移学习算法：首先将目标域样本逆向加入源域分类任务中，根据加入前后各类别源域样本的识别精度变化情况，对源域样本进行相关性排序，将其划分为强/弱/负相关样本；然后采取自监督联合学习策略，在目标域分类网络中引入自监督角度预测辅助分支，筛选出的强相关源域样本仅参与该辅助分支的训练，不改变目标域主分类网络的结构。算法通过相关性排序去除了弱/负相关源域样本，有效避免了负迁移；引入自监督角度预测辅助分支，在保持主分类网络结构完整性的同时，充分利用了强相关源域样本的有效信息，学习到更具泛化能力的目标特征。实验结果显示：在遥感舰船小样本目标数据集上，提出的算法优于跨域迁移学习中广泛使用的Fine-tune （微调）算法；与仅使用主分类网络的目标域识别算法相比，遥感舰船目标识别精度提升了17.59%。 Cross-domain transfer learning aims to utilize the public datasets, as the source data, to improve the recognition accuracy of target data，breaking through the limitation that the category space between source data and target data must be consistent.Objective As for the few-shot remote-sensing ship recognition task, the existing cross-domain transfer learning algorithms have the disadvantages of transfer category restriction and negative transfer effect. Therefore, a cross-domain transfer learning algorithm based on the source data correlation sorting was proposed to solve the above problems.Method Firstly, the target data was added reversely into the source domain recognition task, and according to the variation of the source data recognition accuracy before and after the target data was added, the various source data were classified into strong/weak/negative correlation samples, and only the strong correlation samples would be selected. Then, the self-supervised joint learning strategy was adopted to introduce the auxiliary self-supervised angle prediction branch into the classification network in the target domain. The selected strong correlation source samples were added and only added into the training of the self-supervised branch, avoiding changing the main classification network structure.Result Randomly selecting sixty-five categories samples as the source data from miniImageNet, through the comparative experiments on few-shot ship target in remote-sensing images, the following results can be obtained: 1) Choosing Resnet18 as the classification network, the performance of the proposed algorithm is better than Fine-tune algorithm which is widely used in cross-domain transfer learning, and compared with the recognition algorithm which only uses the main classification network, the proposed algorithm improves the recognition accuracy of target data from 78.89% to 96.48%; 2) Using different networks to sort correlation for the source data, the selected strong correlation source samples are not exactly the same and their categories coincidence degree is close to 60%, but they are all helpful to the classification task of the target domain. At the end of this paper, through visualizing the extracted target features, it is verified that the target features extracted by using the proposed algorithm, are more abundant and have higher generalization ability.Conclusion The proposed algorithm has two main advantages: firstly, the weak/negative correlation source samples are eliminated by correlation sorting, which can avoid the occurrence of negative transfer effect; Secondly, by introducing the self-supervised angle prediction branch, the information of the strong correlation source samples was fully utilized and the features with more generalization ability were extracted, while maintaining the structural integrity of the main classification network. 遥感 舰船识别 小样本学习 跨域迁移学习 相关性排序 自监督学习 Remote-Sensing Ship recognition Few-Shot learning Cross-domain transfer learning Correlation sorting self-supervised learning 1　引 言 1 遥感舰船的目标识别问题在国家安全监护、海上交通管制等军事和民用领域中具有非常重要的现实意义。其主要是指利用目标检测技术（ Wu等，2021 Wu等，2021 ）对可见光图像中所包含的舰船目标进行定位，而后在此基础上利用识别技术对定位目标进行分类。传统的目标识别方法（ Lu等，2011 Lu等，2011 ； Demirci等，2016 Demirci等，2016 ）主要依赖人工设计进行特征提取，需要有专业知识及复杂的调参过程，同时每个方法都是针对具体应用，泛化能力及鲁棒性较差。随着卷积神经网络，计算机视觉等方向的发展，基于深度学习的目标识别（ Hayat等，2018 Hayat等，2018 ）在精度和实时性方面都远远赶超传统方法，然而随着遥感图像分辨率的提高，舰船识别的层次逐渐细化至具体的舰型或舰级，与此同时每一细类可用的样本随之减少，不足以支撑深度学习网络的训练，容易引发小样本学习问题（ Zhong等，2020 Zhong等，2020 ； 赵凯琳等，2021 赵凯琳等，2021 ）。 作为小样本学习研究的一大主流分支，迁移学习（ Zhuang等，2020 Zhuang等，2020 ）旨在利用数据、任务、或模型之间的相似性，将在旧领域 （源域） 学习到的知识，应用于新领域 （目标域），其通过知识迁移的方式较好地解决了由于缺乏足够的数据带来的模型泛化能力不足的问题。 根据源域与目标域类别空间是否一致，迁移学习方法大致可分为以下两类：1）当两者类别空间一致或目标域为源域的子集时，一般使用领域自适应的方法实现域到域的对齐，或是类别到类别的对齐，如：Long等人提出的JAN （ Long等，2017 Long等，2017 ）和DAN （ Long等，2018 Long等，2018 ）算法，Pei等人提出的MADA算法（ Pei等，2018 Pei等，2018 ）等；2） 当源域和目标域的类别空间交集为空时（跨域迁移），Yosinski等人提出Fine-tune（微调）算法（ Yosinski等，2014 Yosinski等，2014 ）：任意选取公共数据集作为源域样本对网络进行预训练，然后使用目标域样本对预训练模型进行微调以实现迁移学习；Tan等人提出TTL算法（ Tan等，2015 Tan等，2015 ）：引入中间域的概念，将源域的特征信息先传递给中间域，由中间域传递给目标域以实现知识迁移；而后Tan等人在TTL算法基础上提出DDTL算法（ Tan等，2017 Tan等，2017 ）：使用自编码器处理不同类别的输入，然后逐渐从中间域中选择有用的数据作为桥梁，打破两个远域之间知识传递的巨大分布差距。 对于遥感图像小样本舰船目标识别而言，其难以满足类别空间一致的约束，因此希望能利用现有公开数据集进行跨域迁移学习。当前主流的跨域迁移学习算法中TTL算法和DDTL算法利用联合矩阵分解和深度神经网络，将迁移学习应用于不相似领域之间的知识共享，取得了良好的效果，具有较好的理论支撑；Fine-tune算法实现简单，不需要针对新任务从头开始训练网络，能较好地节省时间成本。然而将这些方法直接应用于遥感舰船识别时仍然存在以下局限：1） TTL和DDTL算法通常只在领域间分布差异较小时有效，因此对自然语言处理、计算机视觉等任务效果并不理想，而且这两种算法仅能处理单个类别的源域样本，而公开数据集往往是多个类别的，使用该算法无法充分利用公开数据集的信息；2） Fine-tune算法在预训练时直接使用了所有源域样本，未剔除其中可能造成负迁移的样本，学习能力较为有限。 针对上述问题，本文提出了一种从公开数据集（源域）中筛选强相关样本，并利用此样本辅助目标域分类任务的跨域迁移学习方法：首先将目标域样本加入源域的分类任务中，以加入前后源域中各类别样本的识别精度变化情况为依据，对源域样本进行相关性排序，筛选出强相关源域样本，剔除弱/负相关源域样本以避免负迁移；其次对目标域的训练网络结构进行适应性调整：将自监督角度预测任务（ Gidaris 等，2019 Gidaris 等，2019 ； Jing 等，2020 Jing 等，2020 ）引入目标域分类网络中作为辅助分支，通过将强相关源域样本参与此分支的训练，充分利用其有效信息以辅助目标域分类任务。 2　基于源域样本相关性排序的跨域迁移学习算法 1 2.1　总体设计方案 2 基于源域样本相关性排序的跨域迁移学习算法总体方案如 图1 图1 所示，具体包括源域样本相关性排序和自监督联合学习两个模块。 区别于常规从源域到目标域的单向迁移，算法采用双向迁移的方式：先将目标域样本逆向加入源域的分类任务，通过相关性排序筛选出强相关源域样本，然后假定源域样本和目标域样本间的相关性是双向的，将强相关源域样本参与目标域自监督任务分支的训练中进行辅助学习。 2.2　源域样本相关性排序与迁移样本选择 2 2.2.1　源域样本相关性排序 3 给定目标域 <math id="M1"><msubsup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></msubsup></mrow></mfenced><mo>,</mo><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>t</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>t</mi></mrow></msubsup></mrow></mfenced><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>l</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>l</mi></mrow><mrow><mi>t</mi></mrow></msubsup></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890269&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890268&type= 52.83200073 5.33400011 ， <math id="M2"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890271&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890270&type= 1.10066664 2.62466669 为目标域样本总数， <math id="M3"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890316&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890315&type= 1.86266661 2.62466669 为目标域样本类别数。任意选取公开数据集作为源域 <math id="M4"><msubsup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>S</mi></mrow><mrow><mi>M</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890274&type= 4.31799984 4.06400013 ， <math id="M5"><msubsup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>S</mi></mrow><mrow><mi>M</mi></mrow></msubsup><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>s</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced><mo>,</mo><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>s</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890276&type= 54.77933884 5.33400011 ， <math id="M6"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890279&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890278&type= 2.70933342 2.62466669 为源域样本总数， <math id="M7"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890291&type= 2.87866688 2.62466669 为样本类别数。目标域和源域所包含的样本都是可见光图像，但二者的概率分布、特征空间和类别空间均不一致。源域样本相关性排序的算法流程图如 图2 图2 所示。 选取常规的交叉熵（ 李航，2012 李航，2012 ）作为损失函数，源域分类任务的损失函数有如下两种情况： 1） 仅使用源域训练样本对模型进行训练，损失函数 <math id="M8"><msubsup><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890285&type= 3.04800010 4.06400013 为： <math display="block" id="M9"><msubsup><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi>s</mi></mrow></msubsup><mo>=</mo><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>Z</mi></mrow></munderover></mstyle><mrow/><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msubsup><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890287&type= 35.64466476 8.29733276 其中， <math id="M10"><mi>Z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890289&type= 2.28600001 2.62466669 为源域训练样本总数， <math id="M11"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890291&type= 2.87866688 2.62466669 为源域样本类别数， <math id="M12"><msubsup><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890293&type= 3.30200005 4.82600021 表示第 <math id="M13"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890302&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890301&type= 1.10066664 2.62466669 个样本属于第 <math id="M14"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890303&type= 1.69333339 2.62466669 类的概率， <math id="M15"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890299&type= 3.30200005 4.82600021 是第 <math id="M16"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890302&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890301&type= 1.10066664 2.62466669 个样本标签的one-hot表示，当样本属于类别 <math id="M17"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890303&type= 1.69333339 2.62466669 时， <math id="M18"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890305&type= 9.82133293 4.82600021 ，否则 <math id="M19"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890308&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890307&type= 9.82133293 4.82600021 。 2） 将目标域训练样本加入源域分类任务中，此时损失函数由源域训练样本和目标域训练样本两部分组成，即： <math display="block" id="M20"><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>s</mi></mrow></msubsup><mo>=</mo><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>Z</mi></mrow></munderover></mstyle><mrow/><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi><mo>+</mo><mi>L</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msubsup><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced></mrow><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mi>Z</mi></mrow><mrow><mi>Z</mi><mo>+</mo><mi>Q</mi></mrow></munderover></mstyle><mrow/><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>h</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi><mo>+</mo><mi>L</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msubsup><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>j</mi><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msubsup></mrow></mfenced></mrow></mtd></mtr><mtr><mtd><mo>=</mo><msubsup><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi>s</mi></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi>t</mi></mrow></msubsup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890309&type= 68.41066742 14.73200035 其中， <math id="M21"><msubsup><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890311&type= 3.04800010 4.06400013 为目标域训练样本对应的损失函数， <math id="M22"><mi>Q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890313&type= 2.53999996 3.38666677 为目标域训练样本总数， <math id="M23"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890316&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890315&type= 1.86266661 2.62466669 为目标域样本类别数， <math id="M24"><msubsup><mrow><mover><mrow><mi>y</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>j</mi><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890317&type= 3.30200005 4.82600021 表示第 <math id="M25"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890326&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890325&type= 0.84666669 3.47133350 个样本属于第 <math id="M26"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890328&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890327&type= 1.86266661 2.62466669 类的概率； <math id="M27"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890324&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890323&type= 3.30200005 4.82600021 是第 <math id="M28"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890326&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890325&type= 0.84666669 3.47133350 个样本标签的one-hot表示，当样本属于类别 <math id="M29"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890328&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890327&type= 1.86266661 2.62466669 时， <math id="M30"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890330&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890329&type= 9.82133293 4.82600021 ，否则 <math id="M31"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890331&type= 9.82133293 4.82600021 。 对比（1）、（2）两式，将目标域训练样本加入源域分类任务后，相当于为该任务添加了一项额外的正则化约束条件，这势必会对其归纳偏置（泛化方向）产生一定的影响。对源域中不同类别样本的分类任务来说，额外约束产生的影响可能是正向或负向的，也有可能对某些类别而言并未产生明显的影响。 由此， 相关性定义为 目标域样本对各类别源域样本分类任务的归纳偏置产生影响的方向。即：分类任务的识别性能受到目标域样本正向影响的为正相关源域样本，受到负向影响的为负相关源域样本，其中正相关源域样本又可根据其受影响的程度分为强/弱相关样本，具体如下： 设加入目标域样本前后源域中各类别样本的识别率分别为 <math id="M32"><msubsup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890334&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890333&type= 3.38666677 4.06400013 和 <math id="M33"><msubsup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890335&type= 3.38666677 4.06400013 ，识别精度增益为 <math id="M34"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mfenced separators="|"><mrow><mi>k</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>M</mi><mo stretchy="false">]</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890338&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890337&type= 21.67466736 4.40266657 ，则 <math id="M35"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890340&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890339&type= 19.04999924 4.06400013 。选取阈值 <math id="M36"><mi>δ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo><</mo><mi>δ</mi><mo><</mo><mn mathvariant="normal">100</mn><mi mathvariant="normal">%</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890342&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890341&type= 25.73866653 3.47133350 ，根据识别精度增益的大小，对各类别源域样本进行如下相关性排序与命名： 若 <math id="M37"><msub><mrow><mi>d</mi></mrow><mrow><mi>s</mi><mi>k</mi></mrow></msub><mo>≥</mo><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890344&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890343&type= 9.90600014 3.72533321 ，表示该类别样本与目标域强相关，命名为强相关源域样本，设为 P ； 若 <math id="M38"><mn mathvariant="normal">0</mn><mo>≤</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>s</mi><mi>k</mi></mrow></msub><mo><</mo><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890346&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890345&type= 16.17133331 3.80999994 ，表示该类别样本与目标域弱相关，命名为弱相关源域样本，设为 E ； 若 <math id="M39"><msub><mrow><mi>d</mi></mrow><mrow><mi>s</mi><mi>k</mi></mrow></msub><mo><</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890348&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890347&type= 10.15999985 3.80999994 ，表示该类别样本与目标域负相关，命名为负相关源域样本，设为 N 。 为了排除每次模型训练时的偶然因素，阈值不宜设置得过小，一般选取10% - 20%。相关性排序模块两次训练的目的是为了对比目标域样本加入前后，各类别源域样本的识别精度变化情况，而并非为了得到最终识别结果，因此分类网络结构不必过于复杂，选取层数较为适中的基础网络即可，如Resnet18（ He等，2016 He等，2016 ）。 2.2.2　迁移样本选择 3 理论上来说，源域样本与目标域样本间的相关性是双向的，若目标域样本对源域中部分样本学习任务的归纳偏置具有正向影响作用，那源域中此部分样本对目标域学习任务的归纳偏置也应具有正向影响作用，二者互为彼此学习任务的正则化约束条件，可以在特征层面进行相互补充，相互增强。 所以对源域样本进行相关性排序后，可选取其中强相关源域样本参与目标域的学习任务中进行辅助训练。该样本选择策略的合理性、以及源域样本与目标域样本间相关性的双向性在后续实验部分进行了定量验证。 2.3　自监督联合学习 2 自监督学习主要通过人的先验知识构造额外的监督信息，为模型的训练提供额外的学习任务，从而提高模型泛化能力。本文在常规分类任务的基础上，选取自监督角度预测作为辅助分支引入目标域分类网络中，并将强相关源域样本参与此辅助分支的训练，以此在不破坏主分类网络结构的前提下提高目标域样本的识别精度。 2.3.1　自监督任务的选择 3 作为自监督学习的一种方法，角度预测主要通过训练深度网络识别输入图像的2D旋转来学习图像特征。选取Resnet18作为分类网络，引入自监督角度预测辅助分支后，训练网络结构如 图3 图3 所示。 从网络结构来看，分类任务分支和角度预测分支共享同一个特征提取网络，二者在完成各自任务的同时相互之间必然存在一定的关系：对遥感舰船目标而言，引入角度预测分支后，模型在学习过程中必然会强化一些对舰船角度预测有用的方向敏感的特征，如：轮廓等全局的结构性特征，同时弱化对该分支任务无用的特征，如：局部纹理特征。而舰船本身属于强结构型目标，其分类任务的完成也依赖于模型对其结构性特征的提取，所以角度预测分支的加入可以使得模型最终提取出的特征对遥感舰船目标的分类任务而言具有较好的泛化能力。此外，Gidaris等人也在质量和数量上证明了角度预测这个看似简单的自监督任务，实际上为语义特征学习提供了非常强大的监督信号（ Gidaris等，2019 Gidaris等，2019 ）。 因此，本文在众多自监督学习方法中选择将较为简单的角度预测作为辅助分支引入目标域分类网络中，力图在不增加过高模型复杂度的同时提高模型泛化能力。 自监督角度预测将原始图像分别旋转0°，90°，180°和270°后输入到特征提取网络​中，再利用一个角度预测器预测当前输入图像的角度信息，损失函数如 式（3） 式（3） ： <math display="block" id="M40"><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi><mi>s</mi><mi>l</mi></mrow></msub><mfenced separators="|"><mrow><mi>θ</mi><mo>,</mo><mi>φ</mi><mo>,</mo><mi mathvariant="bold-italic">X</mi></mrow></mfenced><mo>=</mo><munder><mrow><mi>E</mi></mrow><mrow><mi mathvariant="bold-italic">x</mi><mo>~</mo><mi mathvariant="bold-italic">X</mi></mrow></munder><mfenced open="[" close="]" separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><mo>∀</mo><mi>r</mi><mo>∈</mo><mi>R</mi></mrow></munder><mrow><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>R</mi></mrow><mrow><mi>φ</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>θ</mi></mrow></msub><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>r</mi></mrow></msup></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890353&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890352&type= 59.43600082 9.65200043 其中， <math id="M41"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890372&type= 2.45533323 2.62466669 为参与训练的样本集合， <math id="M42"><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890356&type= 3.38666677 2.96333337 为 <math id="M43"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890372&type= 2.45533323 2.62466669 旋转r角度后的样本， <math id="M44"><msub><mrow><mi>F</mi></mrow><mrow><mi>θ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890375&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890374&type= 3.38666677 3.72533321 为特征提取网络， <math id="M45"><msub><mrow><mi>R</mi></mrow><mrow><mi>φ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890363&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890362&type= 3.64066648 3.72533321 为角度预测器， <math id="M46"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890365&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890364&type= 1.77800000 2.70933342 和 <math id="M47"><mi>φ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890367&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890366&type= 2.20133328 3.30200005 分别为特征提取网络和角度预测器的参数， <math id="M48"><mi>R</mi><mo>=</mo><mo stretchy="false">[</mo><msup><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo>,</mo><msup><mrow><mn mathvariant="normal">90</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo>,</mo><msup><mrow><mn mathvariant="normal">180</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo>,</mo><msup><mrow><mn mathvariant="normal">270</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890368&type= 36.06800079 3.64066648 。 分类任务的损失函数如 式（4） 式（4） 所示： <math display="block" id="M49"><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi><mi>e</mi></mrow></msub><mo stretchy="false">(</mo><mi>θ</mi><mo>,</mo><mi>w</mi><mo>,</mo><mi mathvariant="bold-italic">X</mi><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi mathvariant="bold-italic">x</mi><mo>∈</mo><mi mathvariant="bold-italic">X</mi></mrow><mrow/></munderover></mstyle><mrow/><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>y</mi><mo>∈</mo><mi>Y</mi></mrow><mrow/></munderover></mstyle><mrow><mi>y</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi>w</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>θ</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">x</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890371&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890370&type= 58.58933258 8.72066593 其中， <math id="M50"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890372&type= 2.45533323 2.62466669 和 <math id="M51"><msub><mrow><mi>F</mi></mrow><mrow><mi>θ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890375&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890374&type= 3.38666677 3.72533321 的含义与 式（3） 式（3） 保持一致， <math id="M52"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890377&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890376&type= 2.11666679 2.62466669 为训练样本集中所包含的类别数， <math id="M53"><msub><mrow><mi>C</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890378&type= 3.64066648 3.72533321 为类别预测器， <math id="M54"><mi>w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890381&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890380&type= 2.28600001 2.62466669 为类别预测器的参数。 2.3.2　强相关源域样本的使用策略 3 筛选出强相关源域样本后，原则上其可同时参与目标域分类任务分支和角度预测分支的训练，也可以仅参与其中一个分支的训练。但是由于强相关源域样本所包含的样本数远多于目标域样本，若将其加入目标域分类任务分支会由于以下原因对目标域样本的识别精度产生不利影响：1） 会加剧目标域样本间的不均衡性；2） 会破坏目标域主分类网络结构的完整性。 对于遥感舰船目标而言，角度预测和分类任务都依赖于特征提取网络对舰船目标结构性特征的提取，当共用同一个特征提取网络时，二者在特征层面能相互促进，所以通过分类任务筛选出来的强相关源域样本参与目标域角度预测分支的训练也能在特征层面上辅助目标域分类任务的完成。 综上所述，强相关源域样本的使用采取如 图4 图4 所示自监督联合学习策略：目标域训练样本同时参与角度预测分支和分类任务分支的训练，而强相关源域样本仅参与角度预测分支的训练，以此在充分利用其有效信息的同时，保持主分类网络结构的完整性。在测试目标域样本的识别精度时仅使用模型的分类任务分支。 结合分类任务损失函数与自监督角度预测损失函数，强相关源域样本参与角度预测分支的训练前后，自监督联合学习的优化目标分别如 式（5） 式（5） 和 式（6） 式（6） 所示： <math display="block" id="M55"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mfenced open="[" close="]" separators="|"><mrow><msubsup><mrow><mi>L</mi></mrow><mrow><mi>c</mi><mi>e</mi></mrow><mrow/></msubsup><mo stretchy="false">(</mo><mi>θ</mi><mo>,</mo><mi>w</mi><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><msubsup><mrow><mi>L</mi></mrow><mrow><mi>s</mi><mi>s</mi><mi>l</mi></mrow><mrow/></msubsup><mo stretchy="false">(</mo><mi>θ</mi><mo>,</mo><mi>φ</mi><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890386&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890385&type= 47.49800110 5.16466665 <math display="block" id="M56"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mfenced open="[" close="]" separators="|"><mrow><msubsup><mrow><mi>L</mi></mrow><mrow><mi>c</mi><mi>e</mi></mrow><mrow/></msubsup><mo stretchy="false">(</mo><mi>θ</mi><mo>,</mo><mi>w</mi><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><msubsup><mrow><mi>L</mi></mrow><mrow><mi>s</mi><mi>s</mi><mi>l</mi></mrow><mrow/></msubsup><mo stretchy="false">(</mo><mi>θ</mi><mo>,</mo><mi>φ</mi><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo><mi>β</mi><msubsup><mrow><mi>L</mi></mrow><mrow><mi>s</mi><mi>s</mi><mi>l</mi></mrow><mrow/></msubsup><mo stretchy="false">(</mo><mi>θ</mi><mo>,</mo><mi>φ</mi><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>s</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890388&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890387&type= 69.93466949 5.16466665 其中， <math id="M57"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890393&type= 3.13266683 3.72533321 为目标域训练样本， <math id="M58"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>r</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890392&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890391&type= 3.55599999 4.06400013 为 <math id="M59"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890393&type= 3.13266683 3.72533321 旋转r角度后的样本， <math id="M60"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>s</mi></mrow><mrow><mi>r</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890396&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890395&type= 3.55599999 4.06400013 为旋转r角度后的强相关源域样本， <math id="M61"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890401&type= 2.20133328 2.62466669 和 <math id="M62"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890403&type= 1.86266661 3.38666677 为自监督角度预测损失函数所占的比重。经多次实验验证，在本文使用数据集上， <math id="M63"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890401&type= 2.20133328 2.62466669 和 <math id="M64"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890403&type= 1.86266661 3.38666677 均取2时能获得最好的实验结果。 对比 式（5） 式（5） 和 式（6） 式（6） ，强相关源域样本参与目标域角度预测辅助分支的训练后，为模型的训练提供了一个额外的正则化约束条件。由于源域样本与目标域样本间的相关性是双向的，而且对于遥感舰船目标而言，当角度预测分支与分类任务共享同一个特征提取网络时，二者在特征层面是能相互促进的，因此强相关源域样本参与角度预测分支的训练所带来的约束是正向的：既又不破坏主分类网络结构，又能辅助目标域的分类任务。后续将通过实验对这一理论加以定量验证。 3　实验验证 1 3.1　实验数据集 2 1）　MiniImagenet数据集 3 MiniImageNet数据集共包含100类样本，其中每类有600张彩色图像，本文从中随机选取65类作为源域样本，并以2：1的比例将其划分为训练集和测试集进行算法验证。 2）　遥感图像舰船目标数据集 3 本文遥感舰船原始数据集由论文作者Liu Z提供（ Liu等，2017 Liu等，2017 ），每张图像的尺寸在800x700像素到1200x800像素之间不等，其中大都包含多个类别舰船或港口（见 图5 图5 ），所以需要对原始数据集进行预处理，将图像的舰船按类别单独分离出来，重新构造目标识别数据集。处理方法包括切割、旋转、降噪等，经预处理后的部分样例如 图6 图6 所示。 经数据预处理合并整理后，构建了如 表1 表1 所示遥感图像舰船目标数据集，数据集包含共13个类别，大致以2：1的比例划分为训练集和测试集，其中每张图像的尺寸在64x135像素到265x685像素之间不等。数据集中存在样本不均衡的情况，并非所有类别都属于小样本，所以在后续进行算法验证时，以参与训练的样本数小于200张为界限，仅统计小样本类别的识别率（ 表1 表1 中未加粗类别）。 注： 说明：上表中加粗的类别不属于小样本，统计算法指标时需剔除。 类别 训练样本数/测试样本数 美国尼米兹级航母 77/39 企业级航母 62/31 阿利伯克级驱逐舰 436/201 惠德贝岛级船坞登陆舰 90/45 佩里级护卫舰 292/112 安东尼奥级两栖船坞运输舰 54/27 提康德罗加级巡洋舰 242/142 俄罗斯库兹涅佐夫号航母 24/12 奥斯汀级两栖船坞运输舰 76/38 塔拉瓦级通用两栖攻击舰 132/66 琵琶形军舰 120/60 医疗舰船 16/8 中途号航母 30/15 3.2　实验结果 2 3.2.1　源域样本相关性排序结果 3 选取Resnet18作为分类网络，设置阈值 <math id="M65"><mi>δ</mi><mo>=</mo><mn mathvariant="normal">10</mn><mi mathvariant="normal">%</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21890413&type= 12.86933327 2.70933342 ，按 图2 图2 所示流程对源域样本进行相关性排序得到：强相关源域样本10类，弱相关源域样本52类，负相关源域样本3类，由于源域所包含的样本类别较多，这里仅列出加入目标域训练样本前后强相关源域样本的识别精度增益情况（如 表2 表2 ）。 类别 加入目标域样本前 加入目标域样本后 识别精度增益 海狮 78.00% 93.00% 15% 炮台 63.00% 93.00% 30% 航母 10.00% 67.00% 57% 手枪 21.00% 32.00% 11% 打印机 12.00% 60.00% 48% 披肩 26.00% 50.00% 24% 地毯 71.00% 81.00% 10% 校车 61.00% 79.00% 18% 坦克 9.00% 46.00% 37% 钢琴 47.00% 87.00% 40% 强相关源域样本示例如 图7 图7 所示，部分类别样本中的目标与舰船目标在外形或构件部分存在一些相似特征，如：航母、炮台、坦克中均存在与舰船相同的构件；校车、打印机和海狮等与舰船一样形状都接近于长方形。同时其中也存在手枪、地毯和披肩这类从人的感知而言与舰船毫无关联，但是利用深度网络进行相关性排序时却与目标域相关性较强的样本。负相关源域样本示例如 图8 图8 所示，这类样本图像中基本都存在较大的留白区域，没有明显可用物体特征。由于弱相关源域样本过多，暂不予列出。 3.2.2　自监督联合学习策略定量分析 3 由2.3节定性分析可知，筛选出强相关源域样本后，其仅参与目标域角度预测辅助分支的训练，而不参与分类任务，为了定量分析采取此策略的必要性和有效性，选取Resnet18作为分类网络，进行如下两组实验： 1）引入自监督角度预测分支的有效性验证暂不考虑强相关源域样本，通过对比引入自监督角度预测分支前后，主分类网络在本文遥感舰船小样本目标数据集上的识别性能进行实验验证。实验结果如 表3 表3 所示，引入自监督角度预测分支后，目标数据集总识别精度从78.89%提升至89.74%，引入自监督分支初见成效。 类别 引入自监督分支前 引入自监督分支后 总识别精度 78.89% 89.74% 美国尼米兹级航母 92.31% 61.54% 企业级航母 70.97% 87.10% 惠德贝岛级船坞登陆舰 64.44% 91.11% 安东尼奥级两栖船坞运输舰 85.19% 92.59% 俄罗斯库兹涅佐夫号航母 91.67% 75.00% 奥斯汀级两栖船坞运输舰 73.68% 97.37% 塔拉瓦级通用两栖攻击舰 83.33% 90.91% 琵琶形军舰 85.00% 100.00% 医疗舰船 75.00% 100.00% 中途号航母 53.33% 100.00% 由于美国尼米兹级航母和俄罗斯库兹涅佐夫号航母在轮廓结构上较为相似，二者的辨别主要依靠船体的纹理特征 （如 图9 图9 ），而由2.3.2节分析可知，对于遥感舰船而言，自监督角度预测分支的引入会导致模型在学习过程中强化一些对舰船角度预测有用的方向敏感的特征，如：轮廓等全局的结构性特征，同时弱化对该分支任务无用的特征，如：局部纹理特征。因此，加入自监督角度预测后，美国尼米兹级航母和俄罗斯库兹涅佐夫号航母之间较有区分度的纹理特征势必会被弱化，从而容易产生混淆，导致识别率下降，各类别识别精度最高可达100%，而最低仅有61.54%。显然，对目标数据集的分类任务而言单纯引入自监督任务是不够的。 （a）尼米兹级航母 （b）库兹涅佐夫号航母 （a） Nimitz carrier （b） Kuznetsov carrier 2）采取自监督联合学习策略的可行性验证通过对比强相关源域样本加入不同分支的训练，对目标数据集识别精度所产生的影响进行实验验证。实验结果表明（如 表4 表4 ）：对目标域的分类任务而言，强相关源域样本仅参与自监督角度预测分支的训练最具辅助作用，即自监督联合学习策略是 最优的学习方式 ，在后续实验中均采取此学习策略。 类别 同时参与角度预测和分类任务 仅参与分类任务 仅参与角度预测 总识别精度 92.08% 88.27% 96.48% 美国尼米兹级航母 79.49% 61.54% 100.00% 企业级航母 54.84% 83.87% 90.32% 惠德贝岛级船坞登陆舰 97.78% 80.00% 93.33% 安东尼奥两栖船坞运输舰 88.89% 74.07% 88.89% 俄罗斯库兹涅佐夫号航母 100.00% 100.00% 91.67% 奥斯汀级两栖船坞运输舰 97.37% 94.74% 94.74% 塔拉瓦级通用两栖攻击舰 100.00% 98.48% 100.00% 琵琶形军舰 100.00% 100.00% 100.00% 医疗舰船 100.00% 87.50% 100.00% 中途号航母 100.00% 100.00% 100.00% 3.2.3　迁移样本选择的合理性验证 3 由3.2.1节源域样本相关性排序结果，强相关源域样本共10类，包含4000张训练样本，负相关源域样本共3类，包含1200张训练样本，而弱相关源域样本共52类，其所占比重较大，为了尽量排除样本不均衡因素的干扰，在以下实验中采取各类别随机选取的方式，除单独使用负相关源域样本以外，其余每次使用的样本量均以4000张为标准。选取Resnet18作为分类网络，具体实验设置及实验结果如下： 实验1：分别将强\弱\相关源域样本参与目标域角度预测分支的训练，参与训练的样本数须保持4000张。由于负相关源域样本较少，直接全部参与训练即可。实验结果表明 （如 表5 表5 ）：源域样本与目标域样本之间的相关性确实是双向的，且强相关源域样本对目标域分类任务的辅助作用最强，其参与角度预测分支的训练后，目标数据集识别精度达96.48%，与仅使用目标域样本进行训练相比，识别精度提升近7%，因此选取强相关源域样本作为最终的迁移样本是合理的。 类别 强相关源域样本 弱相关源域样本 负相关源域样本 总识别精度 96.48% 93.55% 89.73% 美国尼米兹级航母 100.00% 66.67% 82.05% 企业级航母 90.32% 100.00% 100.00% 惠德贝岛级船坞登陆舰 93.33% 91.11% 86.67% 安东尼奥两栖船坞运输舰 88.89% 96.30% 74.07% 俄罗斯库兹涅佐夫号航母 91.67% 91.67% 83.33% 奥斯汀级两栖船坞运输舰 94.74% 94.74% 89.47% 塔拉瓦级通用两栖攻击舰 100.00% 100.00% 89.39% 琵琶形军舰 100.00% 100.00% 96.67% 医疗舰船 100.00% 87.50% 100.00% 中途号航母 100.00% 100.00% 100.00% 实验2：保持参与训练的源域样本总数为4000张，采取各类别随机选择的方式，将源域样本进行如下两种组合，并将组合后的样本参与目标域角度预测分支的训练。 组合1：强相关源域样本2000张+弱相关源域样本2000张。 组合2：强相关源域样本1400张+弱相关源域样本1400张+负相关源域样本1200张。 实验结果显示（如 表6 表6 ）：由于弱/负相关源域样本与目标域样本之间的相关性较低，在强相关源域样本中加入弱/负相关源域样本后，其对目标域分类任务的辅助作用在一定程度上被削弱了，且加入的样本与目标域样本的相关性越低，削弱程度就越强。进一步验证了源域样本与目标域样本相关性的双向性以及选取强相关源域样本作为最终迁移样本的合理性。 类别 强&弱相关源域样本 强&弱&负相关源域样本 总识别精度 94.43% 91.79% 美国尼米兹级航母 82.05% 56.41% 企业级航母 90.32% 70.97% 惠德贝岛级船坞登陆舰 91.11% 82.22% 安东尼奥两栖船坞运输舰 92.59% 70.37% 俄罗斯库兹涅佐夫号航母 91.67% 75.00% 奥斯汀级两栖船坞运输舰 94.74% 86.84% 塔拉瓦级通用两栖攻击舰 100.00% 84.85% 琵琶形军舰 100.00% 100.00% 医疗舰船 100.00% 100.00% 中途号航母 100.00% 66.67% 3.2.4　其他对比实验 3 本节实验分为3个小组进行。 1） 与Fine-tune（微调）算法的对比 ：因操作简单且性能表现不错，Fine-tune算法在迁移学习中得以广泛应用，本组实验首先跟该算法进行对比。选取Resnet18作为分类网络，使用所有源域样本进行预训练，然后使用遥感舰船目标数据集对预训练模型进行微调。实验结果显示（如 表7 表7 ）：对于遥感图像小样本舰船目标识别而言，本文提出的跨域迁移学习算法优于迁移学习中广泛应用的Fine-tune算法。 类别 调节全连接层参数 调节所有参数 总识别精度 49.85% 91.78% 美国尼米兹级航母 48.72% 74.36% 企业级航母 48.39% 100.00% 惠德贝岛级船坞登陆舰 4.44% 84.44% 安东尼奥级两栖船坞运输舰 22.22% 92.59% 俄罗斯库兹涅佐夫号航母 83.33% 66.67% 奥斯汀级两栖船坞运输舰 31.58% 92.11% 塔拉瓦级通用两栖攻击舰 65.15% 100.00% 琵琶形军舰 85.00% 96.67% 医疗舰船 100.00% 100.00% 中途号航母 26.67% 100.00% 2） 强相关源域样本与其他舰船样本对目标域分类任务的辅助作用对比： 依然选择Resnet18作为分类网络，与 表1 表1 所示遥感舰船目标数据集的大类保持相同，随机选取如 图10 图10 所示共7类舰船样本参与目标域角度预测分支的训练。实验结果显示（如 表8 表8 ）：对目标域的分类任务而言，以相关性排序为基础筛选出的强相关源域样本比遥感舰船同一大类下的样本更具辅助作用。 类别 识别率 总识别精度 91.50% 美国尼米兹级航母 84.62% 企业级航母 83.87% 惠德贝岛级船坞登陆舰 86.67% 安东尼奥级两栖船坞运输舰 62.96% 俄罗斯库兹涅佐夫号航母 91.67% 奥斯汀级两栖船坞运输舰 97.37% 塔拉瓦级通用两栖攻击舰 100.00% 琵琶形军舰 100.00% 医疗舰船 100.00% 中途号航母 100.00% 3） 不同分类网络下的相关性排序算法对比： 考虑到选用不同的分类网络进行相关性排序得到结果可能不一样，本组实验将源域样本相关性排序的分类网络分别更换为Resnet50和PCB分块网络（ Sun等人，2018 Sun等人，2018 ），按 图2 图2 所示流程对源域样本重新进行相关性排序后筛选出的强相关源域样本类别如 表9 表9 所示。为了与之前的实验保持一致，筛选出强相关源域样本后，依然使用Resnet18作为目标域分类网络进行自监督联合学习，实验结果如 表10 表10 所示。 分类网络 10 强相关源域样本 Resnet18 炮台 披肩 校车 坦克 打印机 钢琴 地毯 航母 手枪 海狮 Resnet50 炮台 披肩 校车 坦克 打印机 钢琴 拖鞋 啤酒瓶 锁 钟 PCB 炮台 披肩 校车 坦克 竖琴 拖鞋 文具盒 火箭 集装箱 类别 Resnet50网络 PCB分块网络 总识别精度 97.36% 97.65% 美国尼米兹级航母 100.00% 94.87% 企业级航母 100.00% 100.00% 惠德贝岛级船坞登陆舰 93.33% 91.11% 安东尼奥级两栖船坞运输舰 81.48% 96.30% 俄罗斯库兹涅佐夫号航母 91.67% 91.67% 奥斯汀级两栖船坞运输舰 100.00% 100.00% 塔拉瓦级通用两栖攻击舰 100.00% 100.00% 琵琶形军舰 100.00% 100.00% 医疗舰船 100.00% 100.00% 中途号航母 100.00% 100.00% 从 表9 表9 和 表10 表10 可以看出，选用不同的分类网络进行相关性排序筛选出的强相关源域样本不完全相同，其类别重合度接近60%，但对目标域的分类任务均具有辅助作用。 3.3　总结分析 2 选取miniImageNet数据集作为源域样本，由3.2节实验结果可得出以下结论： 1） 论文提出的相关性排序算法可以从现有公开数据集中有效筛选出一些人眼无法感知，但实际对舰船目标识别任务具有辅助作用的样本，该思想也可适当扩展到其他识别场景； 2） 对遥感舰船目标的分类任务而言，筛选出辅助样本（强相关源域样本）后，仅将其加入目标域的自监督角度预测任务分支是最优的学习方式，既不破坏主分类网络结构的完整性，又能辅助目标域的分类任务，提高识别精度； 3） 论文提出的跨域迁移学习算法优于迁移学习中广泛应用的Fine-tune算法，且对目标域的分类任务而言，使用相关性排序算法筛选出的强相关源域样本比遥感舰船同一大类下的样本更具辅助作用，这也进一步验证了论文提出算法的可靠性。 3.4　特征可视化分析 2 考虑到分类器的最终决策由全连接层的输入所决定，本文将全连接层的输入视为网络模型从原始输入样本中所提取的特征，对强相关源域样本参与目标域角度预测分支的训练前后，目标数据集中识别精度上升较为明显的“美国尼米兹级航母”和“俄罗斯库兹涅佐夫号航母”特征进行了可视化（由于特征通道数较多，这里仅列举部分通道）。 如 图11 图11 和 图12 图12 所示，每个通道图中，左/右分别为强相关源域样本参与训练前/后的特征可视化结果。从图中可以看出，相较于单独使用目标域样本训练的模型而言，强相关源域样本参与训练后所得的模型提取出的特征明显更加丰富，在更大程度上保持了图像的空间结构和边缘特征，因此在目标数据集上也具有更高的识别精度。这也意味着通过相关性排序算法挑选出的强相关源域样本能有效提高模型的泛化能力，为目标域的分类任务带来有力的辅助作用。 4　结 论 1 区别于传统从源域到目标域的单向迁移学习，本文采取双向迁移的方式，首先将目标域样本逆向加入源域的学习任务中，利用深度网络自身对数据强大的表征能力自适应地从源域中筛选有用样本，然后通过引入自监督辅助分支，充分利用所筛选出样本的有效信息以辅助目标域的学习任务，提高目标域样本的识别精度。 实验结果显示该算法在遥感图像小样本舰船目标数据集上的识别精度为97.65%，其性能表现优于迁移学习中广泛使用的Finetune算法，且对于目标域的分类任务而言，通过本文相关性排序算法筛选出的样本甚至比目标域同一大类下的样本更具辅助作用。 虽然提出的算法在遥感舰船小样本目标识别问题上具有较好的性能表现，但是整个算法流程至少需要训练三次，操作步骤较为繁琐，后续的工作考虑从简化算法流程方面入手，进一步增强算法的实用性。 参考文献（ References ） Demirci M F , Kacka S . 2016 . Object Recognition by Distortion-Free Graph Embedding and Random Forest . //2016 IEEE Tenth International Conference on Semantic Computing (ICSC), Laguna Hills, CA, USA, February 4 - 6 , pp: 17 - 23 , 2016. [ DOI: 10.1109/ICSC.2016.46 http://dx.doi.org/10.1109/ICSC.2016.46 ] Object Recognition by Distortion-Free Graph Embedding and Random Forest Gidaris S , Bursuc A , Komodakis N . 2019 . Boosting Few-Shot Visual Learning With Self-Supervision . //2019 IEEE/CVF International Conference on Computer Vision ICCV), Seoul, SOUTH KOREA , October ( Boosting Few-Shot Visual Learning With Self-Supervision 27 -November 2 , 8058-8067.) 8058-8067.) Gidaris S , Singh P , Komodakis N . 2018 . Unsupervised Representation Learning by Predicting Image Rotations . //6 th International Conference on Learning Representations, ICLR , Vancouver, BC, Canada , April 30 – May 3 . Unsupervised Representation Learning by Predicting Image Rotations He K M , Zhang X Y , Ren S Q , et al . 2016 . Deep Residual Learning for Image Recognition . // IEEE Conference on Computer Vision & Pattern Recognition . IEEE Computer Society, Las Vegas, NV, USA, June 27 - 30 , 770 - 778 . [DOI: 10. 1109/CVPR. 2016. 90]. Deep Residual Learning for Image Recognition Hayat S , She K , Zuo T T , et al . 2018 . A Deep Learning Framework Using Convolutional Neural Network for Multi-Class Object Recognition . //2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC), Chongqing, China, June 27 - 29 , pp: 194 - 198 . [ DOI: 10.1109/ICIVC.2018.8492777 http://dx.doi.org/10.1109/ICIVC.2018.8492777 ] A Deep Learning Framework Using Convolutional Neural Network for Multi-Class Object Recognition Jing L L , Tian Y J . 2020 . Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey . IEEE Transactions on Pattern Analysis and Machine Intelligence, PP ( 99 ): 1 - 22 . [ DOI: 10.1109/ http://dx.doi.org/10.1109/ Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey TPAMI . 2020 . 2992393 ] Li H . 2012 . Statistical learning method . Beijing : Tsinghua University Press : 78 - 86 Statistical learning method 李航 . 2012 . 统计学习方法 . 北京 : 清华大学出版社 : 78 - 86 统计学习方法 Liu , Z K , Yuan L , Weng L B , et al . 2017 . A High Resolution Optical Satellite Image Dataset for Ship Recognition and Some New Baselines . // 6th International Conference on Pattern Recognition Applications and Methods ,‏ Porto, PORTUGAL , February 24 - 26 , 324 - 331 . [ DOI: 10.5220/ 0006120603240331 http://dx.doi.org/10.5220/0006120603240331 ] A High Resolution Optical Satellite Image Dataset for Ship Recognition and Some New Baselines Long M S , Cao Y , Cao Z J , et al . 2018 . Transferable Representation Learning with Deep Adaptation Networks . IEEE Transactions on Pattern Analysis and MachineIntelligence, pp ( 41 ): 3071 - 3085 . [ DOI: 10.1109/TPAMI.2018.2868685 http://dx.doi.org/10.1109/TPAMI.2018.2868685 ] Transferable Representation Learning with Deep Adaptation Networks Long M S , Zhu H , Wang J M , et al . 2017 . Deep Transfer Learning with Joint Adaptation Networks . //34 th International Conference on Machine Learning, In ICML, Sydney , NSW, Australia , August 6 - 11 , 3470 - 3479 . Deep Transfer Learning with Joint Adaptation Networks Lu J B , Xi Z M , Yuan X H , et al . 2011 . Ship target recognition using high resolution range profiles based on FMT and SVM . // Proceedings of 2011 IEEE CIE International Conference on Radar , Chengdu, China, Oct 24 - 27 , pp: 1299 - 1302 .[ DOI: 10.1109 http://dx.doi.org/10.1109 Ship target recognition using high resolution range profiles based on FMT and SVM /CIE-Radar . 2011 . 6159795 ] Pei Z Y , Cao Z J , Long M S , et al . 2018 . Multi-Adversarial Domain Adaptation // In AAAI Conference on Artificial Intelligence , New Orleans, LA, February 2 - 7 , 3934 - 3941 . Multi-Adversarial Domain Adaptation Sun Y F , Zheng L , Yang Y , et al . 2018 . Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Baseline) . // 15th European Conference on Computer Vision , ECCV 2018, Munich, Germany, September 8 -14, 501 - 518 . Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Baseline) Tan B , Song Y Q , Zhong E , et al . 2015 . Transitive transfer learning . // 21st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD) , Adv Analyt Inst, Sydney, August 10 - 13 , 1155 - 1164 . Transitive transfer learning Tan B , Zhang Y , Pan S J , et al . 2017 . Distant Domain Transfer Learning . // 31st AAAI Conference on Artificial Intelligence , San Francisco, CA, February 4 - 9 , 2604 - 2610 . Distant Domain Transfer Learning Wu T H , Wang T W , Liu Y Q . 2021 . Real-Time Vehicle and Distance Detection Based on Improved Yolo v5 Network // 2021 3rd World Symposium on Artificial Intelligence (WSAI) , Guangzhou, China, July 20 , PP: 24 - 28 . [ DOI: 10.1109/WSAI51899.2021.9486316 http://dx.doi.org/10.1109/WSAI51899.2021.9486316 ] Real-Time Vehicle and Distance Detection Based on Improved Yolo v5 Network Yosinski J , Clune J , Bengio Y , et al . 2014 . How transfer-able are features in deep neural networks? // 28th Conference on Neural Information Processing Systems (NIPS) , Montreal , CANADA , December 08 - 13 , 27 . How transfer-able are features in deep neural networks? Zhong Q , Chen L , Qian Y T . 2020 . Few-Shot Learning for Remote Sensing Image Retrieval With MAML . // 2020 IEEE International Conference on Image Processing (ICIP) , Abu Dhabi, United Arab Emirates, October 25 - 28 , 2446 - 2450 . [ DOI: 10.1109/ICIP40778 http://dx.doi.org/10.1109/ICIP40778 . Few-Shot Learning for Remote Sensing Image Retrieval With MAML 2020 . 9191042 ] 9191042 Zhao K L , Jin X L , Wang Y Z . 2021 . Survey on few-shot learning . Journal of Software , 32 ( 2 ): 349 - 369 . Survey on few-shot learning 赵凯琳 , 靳小龙 , 王元卓 . 2021 . 小样本学习研究综述 . 软件学报 , 32 ( 2 ): 349 - 369 . [ DOI：10.13328 / j.cnki.jos.006138] 小样本学习研究综述 Zhuang F Z , Qi Z Y , Duan K Y , et al . 2020 . A Comprehensive Survey on Transfer Learning. Proceedings of the IEEE, PP(99): 1 - 34 , 2020 . [ DOI: 10.1109/JPROC.2020.3004555 http://dx.doi.org/10.1109/JPROC.2020.3004555 ] A Comprehensive Survey on Transfer Learning. Proceedings of the IEEE, PP(99): 10.11834/jrs.20211368 TP751 A 陈华杰，吕丹妮，周枭，刘俊.XXXX.遥感图像小样本舰船识别跨域迁移学习算法.遥感学报，XX（XX）： 1-13 陈华杰，吕丹妮，周枭，刘俊.XXXX.遥感图像小样本舰船识别跨域迁移学习算法.遥感学报，XX（XX）： 1-13 . XXXX. Cross-domain transfer learning algorithm for few-shot ship recognition in remote-sensing images. National Remote Sensing Bulletin， XX（XX）：1-13 . XXXX. Cross-domain transfer learning algorithm for few-shot ship recognition in remote-sensing images. National Remote Sensing Bulletin， XX（XX）：1-13 国防基础科研项目（编号： JCKY2018415C004）；浙江省重点研发计划（编号： 2019C05005） Supported by Supported by National Defense Basic Scientific Research Program of China (No. JCKY2018415C004); Zhejiang Provincial Key Research and Development Program of China (No.2019C05005). 2021-05-30 2021-11-11 遥感学报