多图卷积网络的遥感图像小样本分类

多图卷积网络的遥感图像小样本分类 Multi-graph convolutional network for a remote sensing image few shot classification first-author 陈杰虎，研究方向为图神经网络、小样本学习。E-mail： 2286336238@qq.com 陈杰虎，研究方向为图神经网络、小样本学习。E-mail： 2286336238@qq.com 2286336238@qq.com corresp 汪西莉，研究方向为智能信号处理、模式识别、图像处理。E-mail： wangxili@snnu.edu.cn 汪西莉，研究方向为智能信号处理、模式识别、图像处理。E-mail： wangxili@snnu.edu.cn wangxili@snnu.edu.cn 陕西师范大学 计算机科学学院, 西安 710119 陕西师范大学 计算机科学学院, 西安 710119 School of Computer Science, Shaanxi Normal University, Xi'an 710119, China School of Computer Science, Shaanxi Normal University, Xi'an 710119, China 小样本学习旨在利用非常少的监督信息识别出新的类别，由于忽视了样本之间的关联信息，现有的小样本分类方法用于遥感图像小样本分类时往往不能获得令人满意的精度。为此，本文利用图来建模图像在特征空间的相似关系，使用图卷积运算平滑同类别图像的特征，增强不同类别图像特征的区分度，提升分类精度。所提方法在现有图卷积运算的基础上，使用多阶次的邻接矩阵线性加权的方法代替传统的一阶邻接矩阵，通过图谱分析得出这种改进方法能够让不同阶次邻接矩阵的频率响应函数在高频部分正负相抵，有效抑制图信号的高频分量，更显著的提升同类别节点特征的聚集程度；同时，在训练过程引入了微调的方法，使用新类别中的标记数据对最后一层图卷积网络进行少量次数的训练，能够进一步提高精度，增强模型的迁移能力。实验使用AID、OPTIMAL31以及RSI-CB256这3个常用的遥感数据集对方法的有效性进行了测试，结果表明提出的方法在同数据集小样本分类任务和跨数据集小样本分类任务中，在分类精度方面均优于原型网络等比较方法。 Few shot classification is a hot topic in the field of deep learning, which aims at identifying novel concepts with little supervisory information. In the remote sensing scene few shot classification, existing methods are often unable to achieve satisfactory accuracy because the relationships among samples are ignored. To improve the RS few shot classification accuracy, the multi-graph convolutional network (Multi-GCN) is proposed in this paper. In the proposed method, a graph convolutional network is introduced into the metric network to smooth the samples’ features, which can model relationships among samples, make images from the same class get more similar feature representation and improve the classification accuracy. The proposed Multi-GCN is mainly composed of three parts: (1) Feature extraction network, which is composed of 4-layer convolutional neural networks and is used to extract images’ features; (2) Graph convolutional network, which is used to model the relationships among samples in the feature space, and update the node features by multi-graph convolution; (3) Metric prediction part, which is used to calculate the prototype of each class, and predict labels of the unlabeled samples according to the distance between samples and prototypes. Based on spectral domain analysis, the proposed multi-graph convolution can effectively suppress the high-frequency components of the graph signals and significantly enhance the clustering coefficients of features from the same class. In addition, the fine-tuning method is introduced in the training process, and labeled samples in the new class are used to train the last layer of the graph convolutional network for a small number of steps, which can further improve the classification accuracy and enhance the transfer ability of the model. To validate the effectiveness of the proposed method, in the experiments, Multi-GCN is compared with ProtoNet, GNN-FSL, and two single graph based methods ProtoGCN and ProtoIGCN on two different tasks, i.e. the same dataset few shot classification task and cross datasets few shot classification task. From the experimental results, we can obtain that in the same dataset few shot classification task, the proposed method is significantly superior to ProtoNet. When the number of labeled samples of each class is 1, the accuracy of the proposed method is higher than ProtoNet by more than 5%; Compared with GNN-FSL, the accuracy of the proposed method is about 10% higher on average. In the cross datasets few shot classification task, the classification accuracy of the proposed method is 10%—15% higher than that of GNN-FSL; And compared with ProtoNet, it is about 10% higher in the case of 1-shot and about 2%—5% higher in the case of 5-shot. In most cases, Multi-GCN is also better than single graph methods, such as ProtoGCN and ProtoIGCN. The classification accuracy can be further improved by using fine-tuning training methods. From the above experimental results, we can conclude that the proposed method can achieve a higher classification accuracy compared with ProtoNet, GNN-FSL, and the methods based on a single graph convolutional network. The conclusions of multi-graph convolutional operation and spectrum analysis in this work can also be extended to other graph-based semi-supervised learning. 小样本学习 遥感场景分类 度量学习 多图卷积网络 图谱分析 few shot learning remote sensing scene classification metric learning multi-graph convolution graph spectral analysis 1　引言 1 随着遥感技术的快速发展，人们获得的遥感图像数据量显著增加，大量遥感图像中所蕴含的信息亟待充分挖掘和利用，遥感图像的复杂场景分类（ Cheng 等，2020 Cheng 等，2020 ； 余东行 等，2020 余东行 等，2020 ； 邓培芳 等，2021 邓培芳 等，2021 ）是提取信息的重要手段之一，被广泛应用于污染检测、城市规划、土地利用等领域（ 刘康 等，2020 刘康 等，2020 ； 杨思齐 等，2019 杨思齐 等，2019 ； 欧阳淑冰 等，2022 欧阳淑冰 等，2022 ）。遥感场景中常常会有新的类别出现，如果使用传统的深度学习网络对这些新的场景进行识别，需要大量带标签的训练数据，这在很多情况下是不现实的。相比于计算机，人类往往在给定几个甚至一个样本的情况下，就能够利用先验知识，快速识别新的事物（ Sung 等，2018 Sung 等，2018 ）。利用原有数据集，在给定极少的新类别标记数据的情况下，快速迁移到新任务中，实现对新类别图像的分类，成为小样本学习FSL（Few Shot Learning）的目标，亦是近年深度学习领域研究的热点之一（ Lu等，2020 Lu等，2020 ； Snell 等，2017 Snell 等，2017 ）。 Lu等（2020） Lu等（2020） 针对小样本学习给出如下定义：给定一个有特定于任务 T 的包含少量监督信息的任务数据集 D T 和一个与任务 T 不相关的辅助数据集 D A ，小样本学习就是利用 D T 中很少的监督信息和 D A 中的知识，构建一个函数，完成输入到目标的映射。其中“与任务 T 不相关”表示 D T 中的类别集合 Y T 和 D A 中的类别集合 Y A 交集为空，即 <math id="M1"><msub><mrow><mi>Y</mi></mrow><mrow><mi>T</mi></mrow></msub><mo>⋂</mo><msub><mrow><mi>Y</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>=</mo><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906823&type= 18.45733452 4.57200003 。任务数据集 D T 指需要分类的数据集，通常由于标注困难等原因， D T 中只含有很少的标记样本。辅助数据集 D A 指已有的带标签的数据集，这些数据可以看作已有的知识，能够帮助解决 D T 中的任务。通常，学者们将小样本学习设定为一个 N -way K -shot问题，即 D T 中的类别数为 N ，每个类中有 K 个标记样本，小样本学习的目的是利用 D A 和 D T 中的标记样本将 D T 中未标记样本的标签预测出来。 度量学习是解决上述小样本分类任务的主流方法。其主要思想是通过辅助数据集 D A 学习一个通用的度量网络，对于该度量网络，同类别的样本对获得较高的相似度，不同类别的样本对获得较低的相似度，然后在只有少量标记样本的情况下，就可以根据未标记样本和标记样本的相似度将 D T 中未标记样本的类别预测出来（ Snell 等，2017 Snell 等，2017 ）。在度量学习方面学者们已经做了大量的工作， Koch等（2015） Koch等（2015） 率先将深度学习融入到小样本学习的解决方案中，使用一个孪生CNN（Convolutional Neural Network）在样本对上学习样本之间的相似度度量，开启了用深度学习解决小样本学习的先河； Vinyals等（2016） Vinyals等（2016） 提出了一种基于匹配网络的模型，该模型引入了注意力机制，通过基于余弦距离的K近邻法来预测未标记的点； Snell等（2017） Snell等（2017） 提出了一种可以用于小样本学习的原型网络ProtoNet（Prototypical Networks），ProtoNet将每个类别中的样例数据映射到一个特征空间中，提取样例的“均值”来表示为该类的原型，通过训练使得本类别数据的特征表示到本类原型的距离最近，到其他类原型的距离较远，然后根据未标记样本与各原型在特征空间的距离来判断测试数据的类别； Sung等（2018） Sung等（2018） 通过学习深度非线性度量来训练一个关系网络以比较图像之间的关系，对图像标签进行预测； Li等（2019b） Li等（2019b） 采用局部描述子来描述图像的局部特征，通过比较图像与类别之间的局部描述子来寻找与输入图像最接近的类别。小样本分类实质是一种半监督分类问题，上述方法均没有考虑标记样本之间或者未标记样本之间的关联性，这样会忽视有利于提高分类精度的信息。 Mou等（2020） Mou等（2020） 和 Wan等（2021） Wan等（2021） 指出利用图网络建模样本之间的相关性有助于提升半监督分类精度，所以将图网络引入到小样本分类任务中是一件很自然的事情。 Garcia和Bruna（2018） Garcia和Bruna（2018） 首次将图神经网络GNN（Graph Neural Network）用在了小样本分类任务中，提出了一种基于GNN的小样本分类方法GNN-FSL。GNN-FSL利用图网络建模图像之间的相似性，通过图节点特征的相互传播更新节点的特征，然后根据更新后的特征得到节点标签的概率。在构建图网络过程中，GNN-FSL将任意两个节点的特征输入到多层感知器求出对应边的权重，这种方法得到的图是一个全连接网络，会让节点过多聚合其他类别的特征，导致该方法并不能获得很高的分类精度。 针对上述方法存在的不足，本文在ProtoNet的基础上，将多图神经网络引入到了小样本学习中，提出了基于多图卷积网络的小样本分类方法Multi-GCN（Multi-Graph Convolutional Network）。所提Multi-GCN由CNN、多图卷积网络和度量预测三部分组成：首先利用经过预训练的CNN提取图像的特征；然后使用图建模图像当前特征的相似度关系，利用“K近邻+径向基函数”的方法计算邻接矩阵，用得到的邻接矩阵进行图卷积运算更新节点特征，获得更有效的特征表示；最后用特征之间的欧氏距离对未标记节点进行预测。 相比于现有未使用图网络的小样本分类方法，所提方法通过建模图像之间的相似关系，利用图上的卷积运算可以获得更利于分类的特征表示，而相比于GNN-FSL，所提方法使用“K近邻+径向基函数”的方法获得邻接矩阵，能够避免节点过多的聚合他类节点的信息，提升分类精度；另外，在图卷积过程中，相对于使用单一邻接矩阵的GCN（ Kipf和Welling，2017 Kipf和Welling，2017 ）、SGC（ Li 等，2019a Li 等，2019a ）以及IGCN（ Wu 等，2019 Wu 等，2019 ）等方法，所提方法采用多个不同阶次邻接矩阵的线性组合进行卷积运算，通过图谱分析以及相关实验证明这种多阶邻接矩阵组合的方法能够更快地缩小同类别节点特征之间的差别，增强不同类别特征之间的区分度，进一步提高遥感图像的分类精度。 2　基于Multi-GCN的小样本分类 1 ProtoNet是一种基于度量学习的小样本分类方法，该方法主要由特征提取CNN和度量预测两部分组成。其主要思想是利用CNN将图像投射到特征空间，求出每一类标记样本的均值作为该类的原型中心，通过训练使同类图像的特征距本类别原型中心最近，距其他类的原型中心较远，然后利用未标记样本和原型中心在特征空间的距离将未标记样本预测出来（ Snell等，2017 Snell等，2017 ）。本文提出的Multi-GCN是在ProtoNet的基础上，在特征提取网络的输出端增加了一个图卷积网络来建模图像在特征空间的相似关系，利用图卷积平滑同类别图像的特征，提高不同类别特征的区分度。本节首先简述小样本分类和图神经网络的基本原理，然后详细介绍Multi-GCN的原理，最后介绍所提模型的训练方法。 2.1　基本原理 2 2.1.1　小样本分类 3 如前所述，小样本学习一般包含两个数据集，任务数据集 D T 和辅助数据集 D A ， D A 含有足够多可供训练的标记样本， D T 中只有很少的标记样本，且 D T 中的类别集合 Y T 和 D A 中的类别集合 Y A 交集为空。通常，学者们将小样本学习设定为一个 N -way K -shot问题，这里的 N 指的是 D T 中的类别个数， K 指的是 D T 中每一类样本标记数据的个数，如 图1 图1 所示，在任务数据中，数据的标签有“湖泊”、“沙滩”和“岛屿”这3种，所以 N =3，每一类中只有1个带标签的数据，所以 K =1。 D T 中带标签的数据称为支撑集，待预测的数据称为查询集。模型在训练时，从 D A 中采样多个任务，每个任务中的数据也分为支撑集和查询集，这里的数据均带有标签，模型利用采样的支撑集对查询集的数据进行预测，求出相应的损失函数，对模型进行训练，得到解决该领域分类问题的一个通用模型。在测试阶段，使用训练好的模型对 D T 中的未标记数据进行预测。 2.1.2　图卷积神经网络 3 图卷积神经网络是一种定义在图上的深度学习网络。首先给出图的定义：图是一种由节点和边构成的非线性数据结构，通常用来描述非欧式空间中一对多的数据关系。图可以表示为 <math id="M2"><mi mathvariant="bold-italic">G</mi><mo>=</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">V</mi><mo>,</mo><mi mathvariant="bold-italic">E</mi><mo>,</mo><mi mathvariant="bold-italic">A</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906835&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906832&type= 23.53733444 3.47133350 ，其中， V 是节点的集合， E 是边的集合， <math id="M3"><mi mathvariant="bold-italic">A</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>M</mi><mo>×</mo><mi>M</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906839&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906837&type= 15.07066536 2.96333337 是邻接矩阵，在图中 <math id="M4"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906841&type= 9.14400005 3.80999994 表示图中的一个节点， <math id="M5"><mi>i</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>M</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906949&type= 24.72266769 3.30200005 ， M 表示节点的个数。 <math id="M6"><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>∈</mo><mi mathvariant="bold-italic">E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906852&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906850&type= 24.29933357 4.57200003 表示图上的一条边，如果 <math id="M7"><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>∈</mo><mi mathvariant="bold-italic">E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906855&type= 9.48266602 3.72533321 ， <math id="M8"><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>></mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906860&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906858&type= 9.82133293 3.80999994 ，否则 <math id="M9"><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906866&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906863&type= 9.82133293 3.80999994 。 Kipf和Welling（2017） Kipf和Welling（2017） 在前人工作的基础上提出的一种简洁而高效的图卷积运算GCN，并将方法用在图节点的半监督分类任务中，公式如下： <math display="block" id="M10"><msup><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mi>σ</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">S</mi><msup><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906868&type= 31.49600029 4.57200003 式中， <math id="M11"><mi mathvariant="bold-italic">S</mi><mo>=</mo><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906874&type= 21.84399986 3.64066648 是归一化增广邻接矩阵， <math id="M12"><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>=</mo><mi mathvariant="bold-italic">A</mi><mo>+</mo><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906881&type= 15.07066536 3.38666677 是无向图加上自循环后的邻接矩阵， <math id="M13"><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906890&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906887&type= 2.62466669 3.38666677 为度矩阵，且有 <math id="M14"><msub><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub><mo>=</mo><msub><mo>∑</mo><mrow><mi>j</mi></mrow></msub><mrow><msub><mrow><mover><mrow><mi>A</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906895&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906893&type= 16.51000023 5.16466665 ， l 表示图卷积网络的层数， <math id="M15"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906900&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906898&type= 5.50333309 2.96333337 是一个可训练的权值矩阵， <math id="M16"><mi>σ</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906905&type= 5.50333309 3.47133350 为激活函数，通常为 <math id="M17"><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906910&type= 34.20533371 3.47133350 ， <math id="M18"><msup><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>M</mi><mo>×</mo><mi>D</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906916&type= 17.52599907 2.96333337 是由第 l 层图卷积网络上 M 个节点的特征向量构成的矩阵， D 是特征的维度。图卷积运算的过程就是输入 <math id="M19"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906922&type= 2.28600001 2.62466669 和 <math id="M20"><msup><mrow><mi>H</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906931&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906929&type= 4.91066647 2.96333337 的情况下，图上每个节点聚合邻居节点特征并更新自己特征的过程。近期，有学者通过图谱分析指出图卷积运算中给节点的特征矩阵 H 左乘以 S 相当于在频域对 H 进行了低通滤波（ Hoang和Maehara，2019 Hoang和Maehara，2019 ； Wu 等，2019 Wu 等，2019 ），低通滤波的效果是对图上节点的特征进行平滑，让标签相同的节点具有更加相近的特征，在解决图节点的半监督分类问题时可以利用图卷积有效提高分类精度。通过合理的建模，小样本学习也可以转化为图节点的半监督分类任务。只要每次根据当前节点特征计算出合适的邻接矩阵，再利用图卷积运算获得新的节点特征，这样交替更新邻接矩阵和节点特征，提升同类节点的聚集程度，最终就能够为度量预测提供更有效的特征表示，提升度量方法的有效性（ Chen 等，2019 Chen 等，2019 ）。根据此原理，本文针对遥感图像中的小样本分类任务提出了Multi-GCN。 2.2　多图卷积网络 2 如 图2 图2 所示，提出的Multi-GCN模型主要由3个部分构成：（1）特征提取网络，该部分主要由一个CNN构成，输入的图像经过CNN得到每幅图像的特征图，特征图经过拼接后得到对应的特征向量；（2）多图卷积网络，该部分使用（1）输出的特征向量建模图像在特征空间的相似关系，得到相应的邻接矩阵，并求出邻接矩阵的 P 次方（ P 为大于1的整数），利用学习到的参数将不同次方的邻接矩阵进行融合，然后利用融合后的矩阵进行节点特征的学习与更新；（3）度量预测部分，该部分首先利用（2）输出的带标签节点的特征向量计算出每一类的原型，然后使用L2范数计算每个未标记节点与原型在特征空间的距离，根据距离的大小预测出未标记节点的标签。第一部分采用和ProtoNet相同的特征提取网络Conv4，Conv4由4层CNN构成，每层的输出都接有归一化层、激活层以及最大池化层。下面重点介绍（2）多图卷积和（3）度量预测。 2.2.1　多图卷积 3 该部分利用图卷积网络建模图像在特征空间的相似关系，生成图 <math id="M21"><mi mathvariant="bold-italic">G</mi><mo>=</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">V</mi><mo>,</mo><mi mathvariant="bold-italic">E</mi><mo>,</mo><mi mathvariant="bold-italic">A</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906946&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906944&type= 23.53733444 3.47133350 ，并利用图卷积运算更新节点的特征。本文将每次从数据集读取的一个batch的图像构建成一个图卷积网络。图卷积网络中每个节点 v i ， <math id="M22"><mi>i</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>M</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906949&type= 24.72266769 3.30200005 代表一幅图像，其中带标签的节点数有 <math id="M23"><mi>N</mi><mo>×</mo><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906955&type= 9.48266602 2.70933342 个， M 表示节点个数， N 表示任务数据中的类别数目， K 表示每一类已标记的节点个数，节点的初始特征由经过预训练的CNN提取。然后采用径向基函数（ Hong 等，2021 Hong 等，2021 ）计算邻接矩阵： <math display="block" id="M24"><msubsup><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow/></msubsup><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mi>γ</mi><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></msup><mo>,</mo></mtd><mtd><mi>j</mi><mo>∈</mo><mi mathvariant="italic">ℕ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mtext> </mtext><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mtext> </mtext><mi>i</mi><mo>∈</mo><mi mathvariant="italic">ℕ</mi><mo stretchy="false">(</mo><mi>j</mi><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo></mtd><mtd><mi mathvariant="normal">其</mi><mi mathvariant="normal">他</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906959&type= 58.58933258 12.36133385 式中， h i 是节点 i 当前的特征向量， <math id="M25"><mi mathvariant="italic">ℕ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906968&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906965&type= 6.94266701 3.47133350 指节点 i 的 K 近邻，实验中 <math id="M26"><mi>K</mi><mo>=</mo><mfenced open="⌊" close="⌋" separators="|"><mrow><mi>M</mi><mo>/</mo><mi>N</mi></mrow></mfenced><mo>-</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906971&type= 22.60600090 3.80999994 ， <math id="M27"><mi>γ</mi><mo>=</mo><mn mathvariant="normal">0.2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906977&type= 11.17599964 3.38666677 。通过上述方法，在大多数情况下，相同类别的节点之间会分配一个较大的权重，不同类别的节点之间权重很小或者为0，这样在进行图卷积运算的过程中，相同类别节点之间的特征会快速趋于相似，而不同类别节点之间的特征相互影响很小，增加了节点特征的区分度，进而提高分类精度。 Wu等（2019） Wu等（2019） 和 Li等（2019a） Li等（2019a） 在GCN的基础上，使用归一化增广邻接矩阵的 P 次方 <math id="M28"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906983&type= 3.38666677 2.96333337 来代替 式（1） 式（1） 中 <math id="M29"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907034&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907032&type= 2.03200006 2.62466669 ， <math id="M30"><mi>P</mi><mo>=</mo><mn mathvariant="normal">2,3</mn><mo>,</mo><mo>…</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36906994&type= 21.67466736 3.13266683 ，分别提出了两种改进的图卷积运算SGC和IGCN，并通过实验证明用 <math id="M31"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907001&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907000&type= 3.38666677 2.96333337 来代替 <math id="M32"><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907007&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907003&type= 1.86266661 2.62466669 在图的半监督分类任务上可以获得更高的精度。本文通过图谱分析进一步发现，如果采用矩阵 S 奇偶次方组合的方式进行图卷积运算，可以进一步增强图卷积的平滑能力，提高节点分类精度（详细的分析见2.2.2节）。基于此，本文使用学习到的参数将若干个不同次方的邻接矩阵进行线性组合来获得最终图卷积使用的邻接矩阵： <math display="block" id="M33"><mi mathvariant="bold-italic">B</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>P</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>j</mi></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907010&type= 16.76399994 8.80533314 ， <math display="block" id="M34"><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>≥</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907020&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907016&type= 9.22866726 3.80999994 且 <math display="block" id="M35"><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>P</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907021&type= 13.29266548 8.80533314 式中， P 表示邻接矩阵的最高次方， <math id="M36"><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907026&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907025&type= 2.79399991 3.72533321 是需要学习的加权系数， <math id="M37"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>j</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907028&type= 2.62466669 2.96333337 指 <math id="M38"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907034&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907032&type= 2.03200006 2.62466669 的 j 次方。 生成图之后，在图上进行卷积运算，用 B 代替 式（1） 式（1） 中的 S ，最终的图卷积数学表达式如下： <math display="block" id="M39"><msup><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mi>σ</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">B</mi><mmultiscripts><mrow><mi mathvariant="bold-italic">H</mi></mrow><mprescripts/><mrow/><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></mmultiscripts><msup><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907035&type= 35.22133255 4.57200003 式中， l 表示图卷积网络的层数，本文的实验中使用了两层图卷积网络。邻接矩阵的维度等于batch size的大小，batch size设定为10 2 至10 3 数量级。在实验中， 式（3） 式（3） 中的 P 取值为2，由2.2.2节的频谱分析可知，当 P =2时， <math id="M40"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907040&type= 2.03200006 2.62466669 的一阶项和二阶项对应的频谱在高频部分正负相抵，可以增强图滤波器对高频分量的衰减作用；同时相比于原始的GCN，当 P =2所提方法复杂度增加很小，在一定程度上兼顾了算法的有效性和算法的复杂度。 2.2.2　图的频谱分析 3 图的频谱分析是基于图谱理论在谱域对图的性质进行分析的方法，通过分析图的频率特性曲线可以对图的滤波能力进行评估（ Wu 等，2019 Wu 等，2019 ）。这里首先介绍图频谱分析的基础知识，包括拉普拉斯矩阵、图的总变差以及图卷积的滤波特性。然后在频域对所提的图卷积方法和GCN、SGC和IGCN进行比较，说明所提算法的优势。 在图频谱分析中，图拉普拉斯矩阵分别对应于传统信号处理中的频率和傅里叶变换的基（ Shuman 等，2013 Shuman 等，2013 ）。拉普拉斯矩阵定义为 <math id="M41"><mi mathvariant="bold-italic">L</mi><mo>=</mo><mi mathvariant="bold-italic">D</mi><mo>-</mo><mi mathvariant="bold-italic">A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907044&type= 15.49400043 2.62466669 ， D 是度矩阵， <math id="M42"><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub><mo>=</mo><msub><mo>∑</mo><mrow><mi>j</mi></mrow></msub><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907048&type= 16.25600052 5.16466665 ， L 是半正定对称矩阵 ， 可以进行正交分解 <math id="M43"><mi mathvariant="bold-italic">L</mi><mo>=</mo><mi mathvariant="bold-italic">U</mi><mi>Λ</mi><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907054&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907052&type= 16.76399994 3.04800010 ，这里 <math id="M44"><mi>Λ</mi><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907058&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907056&type= 18.79599953 4.74133301 ， <math id="M45"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi>M</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907061&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907060&type= 19.98133469 4.57200003 是 L 从小到大排列的特征值， <math id="M46"><mi mathvariant="bold-italic">U</mi><mo>=</mo><mfenced open="[" close="" separators="|"><mrow><msubsup><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow/></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907063&type= 11.68400002 4.31799984 <math id="M47"><mfenced open="" close="]" separators="|"><mrow><mtable><mtr><mtd><msubsup><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow/></msubsup></mtd><mtd><mo>⋯</mo></mtd><mtd><msubsup><mrow><mi>u</mi></mrow><mrow><mi>M</mi></mrow><mrow/></msubsup></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907069&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907067&type= 19.38866615 3.38666677 是对应的正交向量， <math id="M48"><mo stretchy="false">(</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907073&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907071&type= 12.78466606 4.57200003 是对应的图傅里叶变换的基（ Li 等，2019a Li 等，2019a ）。 图信号是一个定义在图节点集合 V 上的实值函数 f ： <math id="M49"><mi mathvariant="bold-italic">V</mi><mo>→</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>D</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907077&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907075&type= 12.53066730 2.96333337 ，其可以用矩阵表示为 <math id="M50"><mi mathvariant="bold-italic">H</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mo>⋯</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>M</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>D</mi><mo>×</mo><mi>M</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907081&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907079&type= 61.29866791 4.57200003 ，这里的 D 指的是信号的维度， M 指图节点的个数。假设 <math id="M51"><mi mathvariant="bold-italic">x</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>M</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907085&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907083&type= 10.58333302 2.96333337 是图上的一维信号，图信号的平滑程度一般采用总变差来衡量（ Liu 等，2021 Liu 等，2021 ）： <math display="block" id="M52"><mo>∆</mo><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow/><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi>L</mi><mi mathvariant="bold-italic">x</mi><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>∈</mo><mi>E</mi></mrow></munder><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907087&type= 45.63533020 7.36600018 由（5）式可以看出，图上相邻两点 <math id="M53"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907093&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907091&type= 2.28600001 3.72533321 、 <math id="M54"><msub><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907098&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907096&type= 2.11666679 3.72533321 对应的特征 <math id="M55"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907102&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907100&type= 2.45533323 3.72533321 、 <math id="M56"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907107&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907104&type= 2.37066650 3.72533321 差值越小，图信号越平滑， <math id="M57"><mo>∆</mo><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907117&type= 7.11199999 3.47133350 也越小。将 <math id="M58"><mi>L</mi><mo>=</mo><mi mathvariant="bold-italic">U</mi><mi>Λ</mi><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907113&type= 16.59466553 3.04800010 带入 <math id="M59"><mo>∆</mo><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907117&type= 7.11199999 3.47133350 有： <math display="block" id="M60"><mtable columnalign="left"><mtr><mtd><mo>∆</mo><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>Λ</mi><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mo>⋯</mo><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi>M</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907122&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907120&type= 54.27133560 10.07533360 因为 <math id="M61"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>≤</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>≤</mo><mo>⋯</mo><mo>≤</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907125&type= 28.27866554 3.72533321 ，所以 x 在小特征值对应的分量越多， <math id="M62"><mo>∆</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907134&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907133&type= 7.28133297 3.47133350 越小，图上节点的特征越平滑，在大特征值对应的分量越多， <math id="M63"><mo>∆</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907134&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907133&type= 7.28133297 3.47133350 越大，相邻节点的特征差异也越大（ Li 等，2019a Li 等，2019a ）。 <math id="M64"><mo stretchy="false">(</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi>i</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907139&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907136&type= 13.97000027 4.57200003 相应信号分量的大小能够反映信号的平滑程度，被看作是图信号的频率， <math id="M65"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907141&type= 3.38666677 3.72533321 对应于图信号的最低频率， <math id="M66"><msub><mrow><mi>λ</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907147&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907145&type= 3.97933316 3.72533321 对应最高频率。 GCN（ Kipf和Welling，2017 Kipf和Welling，2017 ）对邻接矩阵进行了增广归一化处理： <math id="M67"><mi mathvariant="bold-italic">S</mi><mo>=</mo><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907152&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907149&type= 21.67466736 3.64066648 ， <math id="M68"><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>=</mo><mi mathvariant="bold-italic">A</mi><mo>+</mo><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907154&type= 14.81666565 3.38666677 ，相应的归一化拉普拉斯矩阵为： <math id="M69"><mover><mrow><mo>∆</mo></mrow><mrow><mi>˜</mi></mrow></mover><mo>=</mo><mi mathvariant="bold-italic">I</mi><mo>-</mo><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907159&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907157&type= 27.60133362 3.64066648 ，其特征值和傅里叶变换基分别记为 <math id="M70"><mover><mrow><mi mathvariant="bold-italic">Λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907163&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907161&type= 25.31533241 5.41866684 ， <math id="M71"><mo>⋯</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>M</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907165&type= 9.39799976 5.07999992 和 <math id="M72"><mover><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msubsup><mrow><mover><mrow><mi>u</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow/></msubsup></mtd><mtd><msubsup><mrow><mover><mrow><mi>u</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow/></msubsup></mtd><mtd><mo>⋯</mo></mtd><mtd><msubsup><mrow><mover><mrow><mi>u</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>M</mi></mrow><mrow/></msubsup></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907169&type= 34.79800034 4.14866638 。 式（1） 式（1） 中给特征矩阵 H 左乘以邻接矩阵 S 可展开成： <math display="block" id="M73"><mi mathvariant="bold-italic">S</mi><mi mathvariant="bold-italic">H</mi><mo>=</mo><mover><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">(</mo><mi mathvariant="bold-italic">I</mi><mo>-</mo><mover><mrow><mi mathvariant="bold-italic">Λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><msup><mrow><mover><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">H</mi><mo>=</mo><mover><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>˜</mi></mrow></mover><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><msup><mrow><mover><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">H</mi><mo>=</mo><mover><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>˜</mi></mrow></mover><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi mathvariant="bold-italic">H</mi></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi mathvariant="bold-italic">H</mi></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>M</mi></mrow></msub><mo stretchy="false">)</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi mathvariant="bold-italic">H</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907176&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907174&type= 93.89533997 22.43666649 式中， <math id="M74"><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mi mathvariant="bold-italic">H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907180&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907178&type= 6.43466663 4.06400013 表示特征矩阵 H 频域对应于频率 <math id="M75"><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907183&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907182&type= 2.96333337 4.48733330 的分量，可以看出，给特征矩阵 H 左乘以 S ，相当于在频域给每个频率分量乘以频率响应 <math id="M76"><mi>g</mi><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907188&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907185&type= 20.23533440 4.14866638 。 <math id="M77"><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907206&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907204&type= 2.28600001 3.38666677 取值范围为［0，1.5］（ Wu 等，2019 Wu 等，2019 ； Li 等，2019a Li 等，2019a ），所以 <math id="M78"><mi>g</mi><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo>∈</mo><mo stretchy="false">[</mo><mo>-</mo><mn mathvariant="normal">0.5,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907196&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907194&type= 26.07733345 4.14866638 ，在 <math id="M79"><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907206&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907204&type= 2.28600001 3.38666677 接近于0的低频段， <math id="M80"><mi>g</mi><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907201&type= 7.28133297 4.14866638 接近于1，对低频信号几乎没有衰减，当 <math id="M81"><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907206&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907204&type= 2.28600001 3.38666677 较大时， <math id="M82"><mo stretchy="false">|</mo><mi>g</mi><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mo><</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907209&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907207&type= 15.15533447 4.14866638 ，对信号的高频部分会起到衰减作用（ Wu 等，2019 Wu 等，2019 ），因此， S 相当于一个低通滤波器 ， 给特征矩阵 H 左乘以邻接矩阵 S ，相当于对图上节点的特征进行了一次平滑。 Wu等（2019） Wu等（2019） 和 Li等（2019a） Li等（2019a） 使用 S 的 P （ P 为大于1的整数）阶矩阵 <math id="M83"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907213&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907211&type= 3.38666677 2.96333337 来代替 式（1） 式（1） 中的 S ，分别提出了SGC和IGCN。由矩阵特征值的关系可以得出 P 阶归一化增广邻接矩阵 <math id="M84"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>P</mi></mrow></msup><mo>=</mo><mo stretchy="false">(</mo><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup><mover><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>˜</mi></mrow></mover><msup><mrow><mover><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>/</mo><mn mathvariant="normal">2</mn></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907215&type= 27.34733391 4.23333359 的频谱特性为 <math id="M85"><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo>=</mo><msup><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907219&type= 25.31533241 5.58799982 。 图3 图3 给出了 P 取不同值的情况下 <math id="M86"><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907223&type= 8.97466660 5.24933338 的函数曲线。 如果某一频率 <math id="M89"><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow/></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907242&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907241&type= 3.13266683 4.48733330 对应的 <math id="M90"><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></mrow></mfenced><mo><</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907245&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907244&type= 17.44133186 5.24933338 ，说明滤波器对频率为 <math id="M91"><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907247&type= 2.28600001 3.38666677 的信号具有衰减作用， <math id="M92"><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907253&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907251&type= 11.17599964 5.24933338 越小，衰减越强（ Wu 等，2019 Wu 等，2019 ）。由 图3 图3 可以看出，在 <math id="M93"><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1,1.5</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907255&type= 19.04999924 3.97933316 的情况下， <math id="M94"><mo stretchy="false">|</mo><msub><mrow><mfenced open="" close="|" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo stretchy="false">|</mo></mrow></mfenced></mrow><mrow><mi>P</mi><mo>></mo><mn mathvariant="normal">1</mn></mrow></msub><mo><</mo><mo stretchy="false">|</mo><msub><mrow><mfenced open="" close="|" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo stretchy="false">|</mo></mrow></mfenced></mrow><mrow><mi>P</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907259&type= 37.93066406 5.84200001 ，这说明 <math id="M95"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907284&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907282&type= 3.38666677 2.96333337 对高频信号的衰减能力要好于 S ，所以与GCN相比，SGC和IGCN对图上节点的特征有更好的平滑能力。同时可以看出，当 <math id="M96"><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow/></msub><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1,1.5</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907269&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907267&type= 19.98133469 5.07999992 ， P 为偶数时， <math id="M97"><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo>></mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907272&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907270&type= 15.15533447 5.24933338 ， P 为奇数时， <math id="M98"><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo><</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907276&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907273&type= 15.15533447 5.24933338 ，所以在该区间内，均有 <math id="M99"><mo stretchy="false">|</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mo>></mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907278&type= 16.76399994 5.24933338 ，这说明滤波器 <math id="M100"><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907284&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907282&type= 3.38666677 2.96333337 会让一部分高频分量通过，由 式（5） 式（5） 和 式（6） 式（6） 可知，高频部分会让图上的信号变得不平滑，让相邻的节点之间始终存在一定的差别，影响节点标签预测精度，是需要抑制的。 提出的图卷积运算使用 <math id="M101"><mi mathvariant="bold-italic">B</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>P</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>j</mi></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907286&type= 16.76399994 8.80533314 代替 式（1） 式（1） 中的 S ， B 的频谱特性 <math id="M102"><msub><mrow><mi>g</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907290&type= 8.97466660 5.24933338 可以表示为不同阶次 <math id="M103"><msub><mrow><mi>g</mi></mrow><mrow><mi>P</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo>=</mo><msup><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907296&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907294&type= 25.31533241 5.58799982 的线性组合（ Wu 等，2019 Wu 等，2019 ）如下： <math display="block" id="M104"><msub><mrow><mi>g</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo stretchy="false">)</mo><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>P</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub><msub><mrow><mi>g</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow></mfenced></mrow><mo>=</mo><msup><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>P</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow></mfenced></mrow></mrow><mrow><mi>j</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907298&type= 51.98533249 9.39799976 通过以上分析，可以看出这样做的好处是：（1） <math id="M105"><msub><mrow><mi>g</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907316&type= 9.99066734 5.24933338 中奇数项与偶数项的频率特性在 <math id="M106"><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1,1.5</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907307&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907306&type= 19.13466644 3.97933316 部分正负相消，使整个函数在高频部分的模值减小，增强滤波器对高频信号的滤除能力；（2） <math id="M107"><msub><mrow><mi>g</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907311&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907309&type= 9.99066734 5.24933338 的第一项为常数项，通过参数的学习，常数项能够自适应改变 <math id="M108"><msub><mrow><mi>g</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907315&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907313&type= 9.99066734 5.24933338 零点的位置，调节 <math id="M109"><msub><mrow><mi>g</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>λ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907316&type= 9.99066734 5.24933338 在低频和高频部分的滤波能力，改善滤波器的性能。因此相比于GCN、SGC和IGCN，提出的多阶次矩阵线性融合的方法能够更有效的滤除图信号的高频分量，增强对图节点特征的平滑能力，在相同的条件下更显著的增强大多数同类节点特征的聚集程度。由于不同类别的节点之间权重很小或者为0，相互之间影响较小，所以提出的图卷积方法能够有效的提高不同类别特征的区分度，进而提高分类精度。以上结论也被实验3.3中的结果所证实。 2.2.3　度量预测 3 经过图滤波后，图神经网络输出的特征送给度量预测部分做预测，输出预测节点的类别概率。首先使用每一类标记节点的特征向量计算每个类的原型中心： <math display="block" id="M110"><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>S</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>∈</mo><mi>S</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></munder><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>,</mo><mtext> </mtext><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext> </mtext><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907322&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907319&type= 51.47733307 8.89000034 式中， <math id="M111"><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907500&type= 2.62466669 3.72533321 和 <math id="M112"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907330&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907328&type= 2.45533323 4.57200003 分别表示节点 <math id="M113"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907334&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907332&type= 2.28600001 3.72533321 对应的特征向量和标签， N 是类别个数， <math id="M114"><mi>S</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907335&type= 6.85799980 3.47133350 表示输入的 M 幅图像中，第 k 类带标签的图像组成的集合。计算出原型中心后，采用ProtoNet（ Snell 等，2017 Snell 等，2017 ）中的预测方法，使用欧氏距离计算未标记数据与各类的原型中心在特征空间距离，然后代入softmax计算出类别的概率如下： <math display="block" id="M115"><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>k</mi><mo stretchy="false">|</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced><mo stretchy="false">)</mo></mrow><mrow><msub><mo>∑</mo><mrow><mi>j</mi></mrow></msub><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907342&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907340&type= 50.88466644 11.00666618 综上所述，提出的Multi-GCN进行小样本分类的流程为 输入：模型参数 （1）每次从数据集读取一个batch的遥感图像（2） <math id="M116"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907346&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907344&type= 23.70666695 4.23333359 ，用CNN提取图像 <math id="M117"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907350&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907348&type= 2.45533323 3.72533321 的初始特征向量： <math id="M118"><msubsup><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907354&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907352&type= 4.57200003 4.06400013 （3）for l = 1，2： （4）利用 式（2） 式（2） 和 式（3） 式（3） 计算矩阵 A 和 B ； （5）利用 式（4） 式（4） 更新节点的特征向量 <math id="M119"><msubsup><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow><mrow><mo stretchy="false">(</mo><mi>l</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907355&type= 4.14866638 4.06400013 ； （6）end （7）利用 式（9） 式（9） 计算各类的原型中心 c k ； （8）利用 式（10） 式（10） 计算未标记样本的类别概率； 输出：未标记样本的预测标签 <math id="M120"><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907359&type= 2.45533323 4.74133301 。 2.3　模型的训练 2 所提模型包括特征提取、多图卷积和度量预测这3个部分（ 图2 图2 ），其中第一部分的CNN和第二部分多图卷积网络的参数需要通过训练得到，训练使用的损失函数均为交叉熵损失函数（ Snell 等，2017 Snell 等，2017 ）： <math display="block" id="M121"><mi>L</mi><mi>o</mi><mi>s</mi><mi>s</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mover accent="true"><mi>y</mi><mo>̂</mo></mover><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>k</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907365&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907363&type= 35.98332977 8.38199997 式中， y k 表示节点真实值的标签，以独热码的形式给出。 <math id="M122"><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907368&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907367&type= 2.79399991 4.74133301 表示模型的预测值。 训练共分为3个阶段：第一阶段是CNN网络的预训练，该阶段直接将CNN与度量预测部分相连在 <math id="M123"><msub><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907374&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907373&type= 3.80999994 3.72533321 上进行训练，利用 式（11） 式（11） 得到分类损失，反向传播更新CNN的参数；第二阶段将 图2 图2 所示的整个模型在 <math id="M124"><msub><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907374&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907373&type= 3.80999994 3.72533321 上进行训练，更新CNN、多图卷积网络的参数；第三阶段是微调阶段，在每一类标记样本个数 K 大于1的情况下，利用 式（11） 式（11） 和 <math id="M125"><msub><mrow><mi>D</mi></mrow><mrow><mi>T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907378&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907376&type= 3.80999994 3.72533321 中的标记样本对最后一层图卷积网络进行微调训练，微调算法具体步骤为 输入：在 <math id="M126"><msub><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907380&type= 3.89466691 3.72533321 上训练得到的模型参数 <math id="M127"><msup><mrow><mi>θ</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907386&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907384&type= 2.87866688 2.96333337 ， <math id="M128"><msub><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907389&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907388&type= 3.89466691 3.72533321 的支撑集 <math id="M129"><msubsup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907391&type= 8.89000034 4.06400013 ，循环次数 <math id="M130"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mo>-</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907405&type= 11.43000031 3.72533321 ，学习步长 <math id="M131"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907403&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907401&type= 2.20133328 2.62466669 （1）for j = 1，…， <math id="M132"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mo>-</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907405&type= 11.43000031 3.72533321 ： （2）从 <math id="M133"><msubsup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907408&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907407&type= 8.89000034 4.06400013 中每个类随机抽取1个数据组成（3） <math id="M134"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907410&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907409&type= 8.97466660 3.72533321 并得到 <math id="M135"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>Q</mi></mrow></msub><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo>\</mo><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907412&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907411&type= 33.02000046 4.06400013 ； （4）将 <math id="M136"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907413&type= 8.97466660 3.72533321 和 <math id="M137"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>Q</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907416&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907415&type= 9.31333351 3.72533321 拼接作为网络的输入，利用 表1 表1 中的前向算法预测出 <math id="M138"><mi mathvariant="bold-italic">D</mi><mi mathvariant="bold-italic">a</mi><mi mathvariant="bold-italic">t</mi><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>Q</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907417&type= 9.31333351 3.72533321 的类别 <math id="M139"><msup><mrow><mover accent="true"><mi>y</mi><mo>^</mo></mover></mrow><mrow><mi mathvariant="normal">‘</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907420&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907419&type= 2.96333337 3.80999994 ； 方法 特征提取 邻接矩阵计算 卷积运算邻接矩阵阶数 标签预测 ProtoNet Conv4 无 无 特征的欧氏距离 GNN-FSL Conv4 多层感知器 一阶 特征对应的标签概率 ProtoGCN Conv4 KNN+径向基函数 一阶 特征的欧氏距离 ProtoIGCN Conv4 KNN+径向基函数 二阶 特征的欧氏距离 Ours Conv4 KNN+径向基函数 一阶+二阶 特征的欧氏距离 （5）根据 式（11） 式（11） 计算损失函数 <math id="M140"><msub><mrow><mi>L</mi></mrow><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mtext> </mtext><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907424&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907423&type= 5.67266655 3.64066648 ； （6）更新网络参数： <math id="M141"><msup><mrow><mi>θ</mi></mrow><mrow><mtext> </mtext><mi>j</mi></mrow></msup><mo>=</mo><msup><mrow><mi>θ</mi></mrow><mrow><mtext> </mtext><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>-</mo><mi>α</mi><mo>∇</mo><msub><mrow><mi>L</mi></mrow><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mtext> </mtext><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907425&type= 27.68600082 3.97933316 ； （7）end 输出：训练后的模型。 其中的 <math id="M142"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mo>-</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907428&type= 11.43000031 3.72533321 是微调阶段的循环次数，微调时训练次数不宜过大，在实验中 <math id="M143"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mo>-</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2</mn><msup><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907432&type= 21.33600044 4.06400013 。 3　实验结果与分析 1 实验部分用所提Multi-GCN与具有相同主干网络的ProtoNet和GNN-FSL在3个常用的遥感数据集AID（ Zhou 等，2018 Zhou 等，2018 ）、OPTIMAL31（ Wang 等，2019 Wang 等，2019 ）以及RSI-CB256（ Scott 等，2018 Scott 等，2018 ）上进行了比较，验证Multi-GCN（实验结果中用Ours指代）在遥感图像小样本分类任务中的有效性；同时进行了消融实验，分别用一阶和二阶单图网络在相同条件下进行了测试，一阶单图网络相当于ProtoNet与GCN的结合，二阶单图网络相当于ProtoNet与IGCN的结合，这两种方法分别记为ProtoGCN和ProtoIGCN。 表1 表1 给出了不同模型的异同点对比。 3.1　数据集与实现设置 2 实验部分使用的数据集是遥感图像场景分类3个常用数据集AID、OPTIMAL31以及RSI-CB256。实验共分为两部分，相同数据集小样本分类和跨数据集小样本分类。在相同数据集小样本分类任务中，每次从一个数据集中随机抽取 N -way类作为任务数据 D T ，其余类别对应的数据作为辅助数据 D A 用于训练和验证。在跨数据集小样本分类中，辅助 D A 和测试 D T 来自不同数据集，且类别不同。 AID数据集是一个大型航空图像数据集。该数据集共有30个场景类别，总共约10000幅图像，每幅图像大小为600像素×600像素；OPTIMAL-31（OPT）数据集包含了从谷歌地图中收集的31类影像，每个类由60幅图像组成，大小为256像素×256像素，总共有1860幅图像；RSI-CB256（RSI）是一个大型遥感图像数据集。该数据集包含农业用地、建设用地、交通运输和设施、水利设施、林地和其他用地6个大类，35个小类，共24000幅图片，每幅图片的大小为256像素×256像素，实验中，将35个小类的类别作为图像的标签。 实验中batch size的大小为 <math id="M144"><mi>N</mi><mo stretchy="false">(</mo><mi>K</mi><mo>+</mo><mi>Q</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907436&type= 15.32466698 3.64066648 ， N 指类别个数， K 指每一类标记样本数， Q 指每一类需要预测的样本数，实验中 Q= 15，每个epoch采样100个batch。遵循现有文献（ Snell 等，2017 Snell 等，2017 ）的表示方法，实验中将任务数据集类别数为 N ，每一类标记样本数为 K 的实验设置简写为“ N -way K -shot”（比如 图4 图4 — 图7 图7 以及 表4 表4 中的5-way 5-shot表示任务数据集类别数为5，每类标记样本数为5）。Multi-GCN共有两层，第一层图卷积网络各节点的权值矩阵 <math id="M145"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907440&type= 5.58799982 2.96333337 为1600维的单位矩阵，第二层的权值矩阵 <math id="M146"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msup><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mn mathvariant="normal">1600</mn><mo>×</mo><mn mathvariant="normal">1000</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907442&type= 23.36800003 2.96333337 通过训练得到。每层图神经网络的输出都接着批量归一化层和ReLU激活层。Multi-GCN的输出送入度量网络得到最终的预测结果。模型的训练使用Adam优化器，初始学习步长为10 -3 ，每循环1000次步长减小一半。实验平台为Intel Xeon E5-2623 v4处理器、128 G内存，并使用NVIDIA TITANX pascal 显存运算进行加速。软件使用PyTorch搭建神经网络。 1,2;3; 1,2;3; 1,2;3; 1;2;3; 2 方法 2 5-way 5-shot 2 10-way 5-shot AID RSI AID RSI ProtoNet 1005 410 1945 865 GNN-FSL 2091 1290 3795 2232 ProtoGCN 1610 945 3100 1695 ProtoIGCN 1655 982 3118 1710 本文方法 1679 985 3152 1735 本文方法（微调） 1692 992 3171 1742 2 方法 2 5-way 5-shot 2 10-way 5-shot AID RSI AID RSI ProtoNet 3.5 1.4 5.2 2.3 GNN-FSL 9.3 5.5 13.1 10.1 ProtoGCN 5.2 2.7 9.8 4.7 ProtoIGCN 5.3 2.7 9.8 4.9 本文方法 5.3 2.8 9.9 4.9 本文方法（微调） 5.3 2.8 9.9 4.9 2 方法 3 5-way 1-shot 3 5-way 5-shot AID OPT RSI AID OPT RSI ProtoNet 1.152 1.165 1.353 1.245 1.231 1.579 ProtoGCN 1.256 1.223 1.658 1.436 1.303 1.937 ProtoIGCN 1.269 1.237 1.669 1.440 1.307 1.940 本文方法 1.272 1.250 1.704 1.447 1.324 1.949 3.2　同数据集的遥感图像小样本分类 2 本实验中，每个小样本分类任务的辅助数据集 D A 和任务数据集 D T 来自于同一数据集的不同类别，数据集的划分如3.1节所述。模型首先在 D A 上进行训练和验证，然后在 D T 上进行测试。得到在测试类别数分别为5、10，每一类图像的标记样本数分别为1、3、5、10的情况下，各方法在3种数据集上的分类精度如 图4 图4 — 图6 图6 所示，图中fine-tune表示模型使用了微调算法，横坐标 K 表示每一类的标记样本数，纵坐标表示分类精度（ Snell 等，2017 Snell 等，2017 ）。 从上面的结果可以看出：（1）所提方法在精度方面高于ProtoNet，尤其在每一类数据标记样本只有1的情况下在3个数据集均高出5%以上，从模型结构上看，所提方法只比ProtoNet增加了一个多图卷积网络，说明通过图卷积网络对图像特征的滤波作用，能够显著提高预测精度；（2）与GNN-FSL相比，所提方法在精度方面平均高出约10%。GNN-FSL将任意两个节点的特征输入到多层感知器求得对应边的权重，得到一个稠密的图网络，然后使用图卷积进行节点特征的更新，利用更新后的特征计算节点标签概率。这种方法的缺点是在 D A 上训练出的多层感知器不一定能够很好的迁移到 D T 中，同时，这种方法得到的是一个全连接网络，由于遥感图像特征相似度较高，可能会给不同类别的节点之间分配一种较大的权重，让节点过多聚合其他类别的特征，降低分类精度。所提方法使用“KNN+径向基函数”计算邻接矩阵，不需要使用多层感知器，同时每个节点只和特征最相近的 K 个邻居相连，在一定程度上避免了不同类别节点之间的干扰，因此所提方法在精度方面明显好于GNN-FSL；（3）所提方法在大多数情况下预测精度高于ProtoGCN和ProtoIGCN，这与本文2.2.2节中的分析相一致，证明了不同阶次的邻接矩阵线性组合能够提高节点标签的预测精度；（4）在标记样本个数大于1的情况下，使用fine-tune的训练方法又可以将分类精度提高0.5%—2.0%，这就证明了，使用少量样本对最后一层图卷积网络进行微调，能够提升模型的迁移能力，提高模型在新任务上的分类精度。 图7 图7 给出了10-way 5-shot情况下，所提方法和ProtoNet 在AID 和RSI-CB256这两个数据集上的损失（val_loss）和精度 （val_accuracy）曲线，其中所提方法的曲线是CNN经过20个epoch预训练后的结果。从 图7 图7 可以看出，在50个epoch内模型基本已经达到最优，实验中设置的epoch的值为50。 表2 表2 和 表3 表3 给出了在图像大小不同的两个数据集上，不同方法训练和测试的时间。引入图卷积网络的方法在训练和测试阶段所需时间均高于ProtoNet，但是所提方法训练时间小于1 h，分类一幅图像的时间依然是毫秒级别，满足现实中大部分应用的需求，并且在分类精度方面显著高于ProtoNet。 3.3　图卷积运算对节点特征聚集性的影响 2 为了定量衡量节点特征的聚集程度，测试不同方法对特征的平滑能力，本文提出了一种新的量化指标——特征聚集系数，特征聚集系数定义为：在特征空间中，本类样本距其他类原型中心平均距离与本类样本距本类别原型中心平均距离的比值，其表达式为 <math display="block" id="M147"><mi>η</mi><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext> </mtext><mi>N</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext> </mtext><mi>k</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext> </mtext><mi>N</mi></mrow></munder><mrow><mrow><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mo>/</mo><mrow><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi>N</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></mfenced><mo stretchy="false">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext> </mtext><mi>N</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></munder><mrow><mrow><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mo>/</mo><mrow><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow></mrow></mrow></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907495&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907494&type= 88.98467255 15.74800014 式中， N 指 D T 中的类别数， <math id="M148"><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907497&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907496&type= 7.53533268 3.64066648 表示第 k 类未标记样本组成的集合， <math id="M149"><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907499&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907498&type= 9.56733322 4.57200003 表示样本的个数， <math id="M150"><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907500&type= 2.62466669 3.72533321 表示样本 i 最终用于预测的特征， <math id="M151"><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907504&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907503&type= 2.53999996 3.72533321 表示第 k 类的原型中心。根据 式（12） 式（12） 中 <math id="M152"><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907506&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36907505&type= 2.20133328 3.38666677 越大，说明在特征空间，未标记样本距离其他类原型中心的距离相对越远，我们的结果表明，距离本类别原型中心的距离相对越近，数据的聚集性越好。 表4 表4 和 表5 表5 分别给出了使用本文3.2节训练好的4种模型在不同条件下获得的的特征聚集系数。 2 方法 3 10-way 1-shot 3 10-way 5-shot AID OPT RSI AID OPT RSI ProtoNet 1.157 1.162 1.336 1.237 1.222 1.497 ProtoGCN 1.243 1.216 1.555 1.386 1.282 1.846 ProtoIGCN 1.278 1.223 1.615 1.398 1.310 1.904 本文方法 1.282 1.246 1.661 1.408 1.329 1.924 由 表4 表4 和 表5 表5 可以看出，与ProtoNet相比，引入图卷积网络的方法能够显著增强图像在特征空间的聚集性，而在3种引入了图卷积网络的方法中，所提方法的特征聚集系数最高。对比 图2 图2 — 图4 图4 和 表4 表4 、 表5 表5 可以看出，特征聚集系数和分类精度成正相关关系，即在相同条件下，某种方法的特征聚集系数越高，其对应的精度就越高；同时，从 表4 表4 和 表5 表5 可以看出，与ProtoGCN和ProtoIGCN相比，所提方法在相同条件下能够获得最高的特征聚集系数，这说明提出的图卷积运算能够让同类节点的特征更显著的趋于一致，提高算法的精度，这与本文2.2.2节从频谱分析得到的结果相一致，从另一方面证明了所提方法的有效性。 3.4　小样本分类结果展示与分析 2 图8 图8 给出了当数据集为RSI的情况下，某个batch中的支撑集数据与部分查询集数据示意图，而 表6 表6 给出了各方法的预测结果； 表7 表7 和 图9 图9 分别给出了4种方法对应的特征聚集系数和经过降维处理后的特征可视化分布图，其中， 图9 图9 中点的颜色表示对应数据的真实标签。 2 方法 5 类别 桥梁 森林 红树林 管道 海洋 ProtoNet 海洋 海洋 森林 桥梁 森林 ProtoGCN 海洋 森林 红树林 桥梁 海洋 ProtoIGCN 海洋 森林 红树林 管道 海洋 本文方法 桥梁 森林 红树林 管道 海洋 方法 ProtoNet ProtoGCN ProtoIGCN 本文方法 聚集系数 1.282 1.467 1.501 1.532 通过 表7 表7 和 图9 图9 可以看出，对于同一组数据，经过图卷积运算后，同类图像的特征聚集程度更高，特征区分度增强。与没有使用图网络的方法ProtoNet相比，原来容易被错分的一些特征区分度不高的图像（比如bridge和sea）经过图卷积运算之后，会被正确的分出来；同时从表9可以看出，所提方法能够获得最高的特征聚集系数，这反映了所提方法的优势。 3.5　跨数据集的遥感图像小样本分类 2 为了测试辅助数据集 D A 和任务数据集 D T 来自不同遥感数据集时所提方法的有效性，本实验中每次从AID、OPTIMAL31和RSI-CB256这3个数据集随机抽取两个作为 D A 和 D T ，将 D A 和 D T 中标签相同的数据全部剔除，确保 D A 和 D T 中标签互不相交。 图10 图10 — 图13 图13 分别给出了当 D T 中类别数 N -way分别为5和10，每一类中标记样本的个数 K -shot分别为1和5的情况下，各方法在跨数据集小样本分类任务中的分类精度。 从实验结果可以看出，在跨数据集的情况下，提出的Multi-GCN方法在分类精度方面比GNN-FSL高出10%—15%。与ProtoNet相比，在1-shot的情况下高出约10%，在5-shot的情况下高出约2%—5%。在绝大多数情况下也好于基于单图的方法。在引入微调训练方法后，跨数据集小样本分类的精度大约提升1%。通过实验结果可以得出与本文3.2节相一致的结论，证明了所提方法在跨数据集情况下的有效性。 4　结论 1 针对现有小样本分类方法在遥感图像小样本分类任务中精度不高的问题，本文提出了一种基于多图卷积的分类方法Multi-GCN。所提方法在ProtoNet的基础上，引入图卷积网络来建模图像在特征空间的相似关系，利用图卷积运算对同类别的图像特征进行平滑，更好的为度量预测提供有效的图像特征，提高分类精度。在图卷积运算中改进了现有卷积方法，使用多阶次矩阵的线性加权和代替GCN中的一阶矩阵，通过图谱分析得出，这种改进方法能够有效抑制图信号的高频分量，增强对图节点特征的平滑能力，提升方法的有效性。同时，提出了衡量特征聚集程度的指标——特征聚集系数，通过测试得出与现有方法相比，所提方法能够获得最高的特征聚集系数，进一步证明了方法的有效性。另外在训练中引入了微调的方法，增强了模型的迁移能力。实验从相同数据集小样本分类和跨数据集小样本分类两个方面对方法的精度进行了测试。实验结果表明，在相同数据集小样本分类任务中，所提方法在分类精度方面显著优于ProtoNet，在每一类标记样本数等于1的情况下，所提方法的精度比ProtoNet高出5%以上；与GNN-FSL相比，所提方法在精度方面平均高出约10%。在跨数据集小样本分类任务中，提出的Multi-GCN方法在分类精度方面比GNN-FSL高出10%—15%。与ProtoNet相比，在1-shot的情况下高出约10%，在5-shot的情况下高出约2%—5%。在绝大多数情况下也要好于GCN、IGCN等单图的方法。提出的多图卷积运算及其谱分析结论在其他的图节点分类任务中具有参考意义，在除ProtoNet之外的度量学习小样本分类方法中也具有推广价值。 参考文献（References） Chen W Y , Liu Y C , Kira Z , Wang Y C and Huang J B . 2019 . A closer look at few-shot classification // Proceedings of the 7th International Conference on Learning Representations . New Orleans, United State : ICLR: 1 - 17 A closer look at few-shot classification Cheng G , Xie X X , Han J W , Guo L and Xia G S . 2020 . Remote sensing image scene classification meets deep learning: challenges, methods, benchmarks, and opportunities . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 13 : 3735 - 3756 [ DOI: 10.1109/jstars.2020.3005403 http://dx.doi.org/10.1109/jstars.2020.3005403 ] Remote sensing image scene classification meets deep learning: challenges, methods, benchmarks, and opportunities Deng P F , Xu K J and Huang H . 2021 . CNN-GCN-based dual-stream network for scene classification of remote sensing images . Journal of Remote Sensing , 25 ( 11 ): 2270 - 2282 CNN-GCN-based dual-stream network for scene classification of remote sensing images 邓培芳 , 徐科杰 , 黄鸿 . 2021 . 基于CNN-GCN双流网络的高分辨率遥感影像场景分类 . 遥感学报 , 25 ( 11 ): 2270 - 2282 [ DOI: 10.11834/jrs.20210587 http://dx.doi.org/10.11834/jrs.20210587 ] 基于CNN-GCN双流网络的高分辨率遥感影像场景分类 Garcia V and Bruna J . 2018 . Few-shot learning with graph neural networks // Proceedings of the 6th International Conference on Learning Representations . Vancouver, Canada : ICLR: 1 - 13 Few-shot learning with graph neural networks Hoang N T and Maehara T . 2019 . Revisiting graph neural networks: all we have is low-pass filters. arXiv: 1905 . 09550 Revisiting graph neural networks: all we have is low-pass filters. arXiv: 1905 Hong D F , Gao L R , Yao J , Zhang B , Plaza A and Chanussot J . 2021 . Graph convolutional networks for hyperspectral image classification . IEEE Transactions on Geoscience and Remote Sensing , 59 ( 7 ): 5966 - 5978 [ DOI: 10.1109/TGRS.2020.3015157 http://dx.doi.org/10.1109/TGRS.2020.3015157 ] Graph convolutional networks for hyperspectral image classification Kipf T N and Welling M . 2017 . Semi-supervised classification with graph convolutional networks // Proceedings of the 5th International Conference on Learning Representations . Toulon, France : ICLR: 1 - 14 Semi-supervised classification with graph convolutional networks Koch G , Zemel R and Salakhutdinov R . 2015 . Siamese neural networks for one-shot image recognition // Proceedings of the 32nd International Conference on Machine Learning . Lille, France : ICML: 1 - 9 Siamese neural networks for one-shot image recognition Li Q M , Wu X M , Liu H , Zhang X T and Guan Z C . 2019a . Label efficient semi-supervised learning via graph filtering // Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach, CA : IEEE: 9574 - 9583 [ DOI: 10.1109/CVPR.2019.00981 http://dx.doi.org/10.1109/CVPR.2019.00981 ] Label efficient semi-supervised learning via graph filtering Li W B , Wang L , Xu J L , Huo J , Gao Y and Luo J B . 2019b . Revisiting local descriptor based image-to-class measure for few-shot learning // Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach, CA : IEEE: 7253 - 7260 [ DOI: 10.1109/CVPR.2019.00743 http://dx.doi.org/10.1109/CVPR.2019.00743 ] Revisiting local descriptor based image-to-class measure for few-shot learning Liu K , Zhou Z , Li S Y , Liu Y F , Wan X , Liu Z W , Tan H and Zhang W F . 2020 . Scene classification dataset using the Tiangong-1 hyperspectral remote sensing imagery and its applications . Journal of Remote Sensing , 24 ( 9 ): 1077 - 1087 Scene classification dataset using the Tiangong-1 hyperspectral remote sensing imagery and its applications 刘康 , 周壮 , 李盛阳 , 刘云飞 , 万雪 , 刘志文 , 谭洪 , 张万峰 . 2020 . 天宫一号高光谱遥感场景分类数据集及应用 . 遥感学报 , 24 ( 9 ): 1077 - 1087 [ DOI: 10.11834/jrs.20209323 http://dx.doi.org/10.11834/jrs.20209323 ] 天宫一号高光谱遥感场景分类数据集及应用 Liu X R , Jin W , Ma Y , Li Y X , Wang Y Q , Yan M and Tang J L . 2021 . Elastic graph neural networks // Proceedings of the 38th International Conference on Machine Learning . Vienna, Austria : ICML: 6837 - 6849 Elastic graph neural networks Lu J , Gong P H , Ye J P and Zhang C S . 2020 . Learning from very few samples: a survey. arXiv: 2009 . 02653 Learning from very few samples: a survey. arXiv: 2009 Mou L C , Lu X Q , Li X L and Zhu X X . 2020 . Nonlocal graph convolutional networks for hyperspectral image classification . IEEE Transactions on Geoscience and Remote Sensing , 58 ( 12 ): 8246 - 8257 [ DOI: 10.1109/TGRS.2020.2973363 http://dx.doi.org/10.1109/TGRS.2020.2973363 ] Nonlocal graph convolutional networks for hyperspectral image classification Ouyang S B , Chen W T , Li X J , Dong Y S and Wang L Z . 2022 . Geomorphological scene classification dataset of high-resolution remote sensing imagery in vegetation-covered areas . Journal of Remote Sensing , 26 ( 4 ): 606 - 619 Geomorphological scene classification dataset of high-resolution remote sensing imagery in vegetation-covered areas 欧阳淑冰 , 陈伟涛 , 李显巨 , 董玉森 ， 王力哲 . 2022 . 植被覆盖区高精度遥感地貌场景分类数据集 . 遥感学报 , 26 ( 4 ): 606 - 619 [ DOI： 10.11834/jrs.20221385 http://dx.doi.org/10.11834/jrs.20221385 ] 植被覆盖区高精度遥感地貌场景分类数据集 Scott G J , Hagan K C , Marcum R A , Hurt J A , Anderson D T and Davis C H . 2018 . Enhanced fusion of deep neural networks for classification of benchmark high-resolution image data sets . IEEE Geoscience and Remote Sensing Letters , 15 ( 9 ): 1451 - 1455 [ DOI: 10.1109/LGRS.2018.2839092 http://dx.doi.org/10.1109/LGRS.2018.2839092 ] Enhanced fusion of deep neural networks for classification of benchmark high-resolution image data sets Shuman D I , Narang S K , Frossard P , Ortega A and Vandergheynst P . 2013 . The emerging field of signal processing on graphs: extending high-dimensional data analysis to networks and other irregular domains . IEEE Signal Processing Magazine , 30 ( 3 ): 83 - 98 [ DOI: 10.1109/MSP.2012.2235192 http://dx.doi.org/10.1109/MSP.2012.2235192 ] The emerging field of signal processing on graphs: extending high-dimensional data analysis to networks and other irregular domains Snell J , Swersky K and Zemel R . 2017 . Prototypical networks for few-shot learning // Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach, California : Curran Associates Inc.: 4080 - 4090 . Prototypical networks for few-shot learning Sung F , Yang Y X , Zhang L , Xiang T , Torr P H S and Hospedales T M . 2018 . Learning to compare: relation network for few-shot learning // Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City, UT : IEEE: 1199 - 1208 [ DOI: 10.1109/CVPR.2018.00131 http://dx.doi.org/10.1109/CVPR.2018.00131 ] Learning to compare: relation network for few-shot learning Vinyals O , Blundell C , Lillicrap T , Kavukcuoglu K and Wierstra D . 2016 . Matching networks for one shot learning // Proceedings of the 30th International Conference on Neural Information Processing Systems . Barcelona : Curran Associates Inc.: 3637 - 3645 Matching networks for one shot learning Wan S , Gong C , Zhong P , Pan S R , Li G Y and Yang J . 2021 . Hyperspectral image classification with context-aware dynamic graph convolutional network . IEEE Transactions on Geoscience and Remote Sensing , 59 ( 1 ): 597 - 612 [ DOI: 10.1109/TGRS.2020.2994205 http://dx.doi.org/10.1109/TGRS.2020.2994205 ] Hyperspectral image classification with context-aware dynamic graph convolutional network Wang Q , Liu S T , Chanussot J and Li X L . 2019 . Scene classification with recurrent attention of VHR remote sensing images . IEEE Transactions on Geoscience and Remote Sensing , 57 ( 2 ): 1155 - 1167 [ DOI: 10.1109/TGRS.2018.2864987 http://dx.doi.org/10.1109/TGRS.2018.2864987 ] Scene classification with recurrent attention of VHR remote sensing images Wu F , Zhang T Y , de Souza A H , Fifty C , Yu T and Weinberger K Q . 2019 . Simplifying graph convolutional networks // Proceedings of the 36th International Conference on Machine Learning . Long Beach, United States : ICML: 6861 - 6871 Simplifying graph convolutional networks Yang S Q , Jin Z , Yu Y L and Lin H . 2019 . Analysis of the spatial-temporal characteristics of LUCC from 1975 to 2015 in the Dongzhi loess tableland . Quaternary Sciences , 39 ( 6 ): 1433 - 1442 Analysis of the spatial-temporal characteristics of LUCC from 1975 to 2015 in the Dongzhi loess tableland 杨思齐 , 金钊 , 余云龙 , Henry Lin . 2019 . 1975—2015年董志塬土地利用/覆被变化及人类活动影响 . 第四纪研究 , 39 ( 6 ): 1433 - 1442 [ DOI: 10.11928/j.issn.1001-7410.2019.06.11 http://dx.doi.org/10.11928/j.issn.1001-7410.2019.06.11 ] 1975—2015年董志塬土地利用/覆被变化及人类活动影响 Yu D H , Zhang B M , Zhao C , Guo H T and Lu J . 2020 . Scene classification of remote sensing image using ensemble convolutional neural network . Journal of Remote Sensing , 24 ( 6 ): 717 - 727 Scene classification of remote sensing image using ensemble convolutional neural network 余东行 , 张保明 , 赵传 , 郭海涛 , 卢俊 . 2020 . 联合卷积神经网络与集成学习的遥感影像场景分类 . 遥感学报 , 24 ( 6 ): 717 - 727 [ DOI: 10.11834/jrs.20208273 http://dx.doi.org/10.11834/jrs.20208273 ] 联合卷积神经网络与集成学习的遥感影像场景分类 Zhou W X , Newsam S , Li C M and Shao Z F . 2018 . PatternNet: a benchmark dataset for performance evaluation of remote sensing image retrieval . ISPRS Journal of Photogrammetry and Remote Sensing , 145 : 197 - 209 [ DOI: 10.1016/j.isprsjprs.2018.01.004 http://dx.doi.org/10.1016/j.isprsjprs.2018.01.004 ] PatternNet: a benchmark dataset for performance evaluation of remote sensing image retrieval 10.11834/jrs.20210522 1007-4619（2022）10-2029-14 陈杰虎，汪西莉.2022.多图卷积网络的遥感图像小样本分类.遥感学报，26（10）： 2029-2042 陈杰虎，汪西莉.2022.多图卷积网络的遥感图像小样本分类.遥感学报，26（10）： 2029-2042 Chen J H and Wang X L. 2022. Multi-graph convolutional network for a remote sensing image few shot classification. National Remote Sensing Bulletin， 26（10）：2029-2042 Chen J H and Wang X L. 2022. Multi-graph convolutional network for a remote sensing image few shot classification. National Remote Sensing Bulletin， 26（10）：2029-2042 第二次青藏高原综合科学考察和研究计划（编号：2019QZKK0405） Supported by Second Tibetan Plateau Scientific Expedition and Research Program (No. 2019QZKK0405) 2020-11-16 2022-10-07 2022-11-18 2021-07-25 遥感学报 10 26