联合空谱信息的高光谱影像深度胶囊网络分类

联合空谱信息的高光谱影像深度胶囊网络分类 Deep capsule network combined with spatial-spectral information for hyperspectral image classification 1 first-author 高奎亮，1996年生，男，硕士研究生， 研究方向为高光谱影像处理与分析。E-mail： gokling1219@163.com 高奎亮，1996年生，男，硕士研究生， 研究方向为高光谱影像处理与分析。E-mail： gokling1219@163.com gokling1219@163.com 1 2 2 1 1 战略支援部队信息工程大学, 郑州 450001 战略支援部队信息工程大学, 郑州 450001 Strategic Support Force Information Engineering University, Zhengzhou 450001, China Strategic Support Force Information Engineering University, Zhengzhou 450001, China 昆明物理研究所, 昆明 650223 昆明物理研究所, 昆明 650223 Institute of Kunming Physics, Kunming 650223, China Institute of Kunming Physics, Kunming 650223, China 向量化的胶囊神经元和动态路由式的信息传递机制赋予了胶囊网络更强的特征表示能力。在遥感领域，基于胶囊网络的高光谱影像分类方法已经获得了较传统深度学习模型更为优异的分类结果。针对现有胶囊分类模型中存在的网络浅层、空谱联合信息利用不足等问题，本文利用卷积胶囊层、残差连接、三维卷积胶囊层构建了一种用于高光谱影像分类的新型深度胶囊网络。具体地，本文方法直接以高维数据立方体作为网络输入，并利用胶囊残差块逐层提取数据中的深层抽象特征。为了更加充分地利用影像中的空谱联合特征，在深层次的胶囊残差块中引入三维卷积胶囊层，以进一步提高分类精度。为了验证本文方法的有效性，选择University of Pavia、Indian Pines和Salinas等3个常用高光谱数据集和一个大规模机载高光谱数据集Chikusei进行实验。结果表明，与现有深度学习模型相比，本文方法能够获得更为优异的分类效果，在4个数据集上分别获得了99.43%、98.85%、97.14%和97.43%的总体分类精度。 Owing to vectorized capsule neurons and dynamic routing algorithm, capsule network possesses stronger feature representation capability than traditional convolutional neural networks. In the field of remote sensing, hyperspectral image (HSI) classification methods based on capsule network have obtained better classification results than traditional deep learning models. Aiming at the problems in the capsule classification models, such as shallow network layers and insufficient utilization of spatial–spectral information, this paper constructs a new deep capsule network for HSI classification. The designed network utilizes convolutional capsule layer, residual connection, and three dimensional convolutional capsule layer to further improve classification accuracy. The proposed method includes a convolutional layer, four capsule residual blocks, a class capsule layer, and a reconstruction network. First, the proposed method takes HSI data cubes as the input directly to retain the spatial–spectral details in the HSI. Then, the deep features in the input data are extracted layer by layer with the capsule residual blocks. Finally, the three dimensional convolutional capsule layer is introduced to make full use of the spatial–spectral information, so as to improve the classification accuracy. Three public HSI data sets including University of Pavia, Indian Pines and Salinas, as well as a large-scale hyperspectral data set Chikusei, are selected for the experiments. The results demonstrate that the proposed method outperforms the existing deep learning classification methods. Compared with the shallow capsule network model and the deep three dimensional convolutional network with residual structure, the proposed method improves the overall classification accuracy by 1%—3%, 2%—5%, 1%—2%, and 2%—4% on four different data sets. In addition, hyperparameters such as learning rate, capsule neurons dimension, network structure, and spatial neighborhood have been analyzed in detail. The effectiveness of three dimensional convolutional capsule layer has also been proven by conducting ablation studies. Compared with the existing HSI classification model based on capsule network, the proposed method has the following advantages. (1) The high-dimensional cubes are used for input data without any dimension reduction process, thus enabling the model to make full use of spatial–spectral details. (2) A deep network is constructed utilizing convolutional capsule layers and residual connection, thus allowing the model to extract more robust and abstract deep features. (3) The introduction of three dimensional convolutional capsule layer can make full use of spatial–spectral information in HSI to further improve the classification accuracy. 高光谱影像分类 深度胶囊网络 三维卷积胶囊 三维卷积路由 深度学习 hyperspectral image classification deep capsule network three dimensional convolutional capsule three dimensional convolutional routing deep learning 1　引言 1 与普通遥感影像相比，高光谱影像同时包含了丰富的光谱和空间信息，已经被广泛应用于资源调查、环境监测、军事目标探测等诸多领域（ 董新丰 等，2020 董新丰 等，2020 ）。高光谱影像分类作为高光谱影像分析和应用的重要环节，是当前遥感领域最重要的研究方向之一。在高光谱影像分类的早期研究中，研究人员通常采用分类器与特征提取技术相结合的分类模式。常用的分类器包括支持向量机SVM （Support Vector Machine）（ Tarabalka等，2010 Tarabalka等，2010 ）、随机森林RF （Random Forest）等，常用的特征提取技术包括扩展形态学轮廓EMP （Extended Morphological Profiles）（ Benediktsson等，2005 Benediktsson等，2005 ）、局部二值模式LBP （Local Binary Patterns）、Gabor特征等。如此的分类模式能够在一定程度上改善分类效果，但受到高光谱影像光谱冗余和“同物异谱，异物同谱”等问题的制约，无法获得高精度的分类结果。 深度学习模型通过构建层次化的学习框架能够自动地从数据中挖掘所需要的深层特征。与人工设计的特征相比，这些特征具有更强的判别性和信息性，能够使模型获得更优异的分类表现。堆栈式自编码器SAE （Stacked AutoEncoder）（ Chen等，2014 Chen等，2014 ）、深度置信网络DBN （Deep Belief Networks）（ Chen等，2015 Chen等，2015 ）、循环神经网络RNN （Recurrent Neural Network）（ Liu等，2018b Liu等，2018b ）、一维卷积神经网络1D-CNN （1D Convolutional Neural Network）（ Hu等，2015 Hu等，2015 ）等深度模型被率先应用于高光谱影像分类，并取得了一定效果。然而，上述模型均无法充分利用高光谱影像中的空间结构信息，因此无法获得较高的分类精度。二维卷积神经网络2D-CNN （2D Convolutional Neural Network）和三维卷积神经网络3D-CNN （3D Convolutional Neural Network）能够直接以图像数据作为输入进行特征提取，因此在高光谱影像处理和分析中更具优势（ He等，2018 He等，2018 ）。在处理高光谱数据时，二维卷积神经网络通常与主成分分析PCA （Principal Component Analysis）、形态学轮廓等特征提取方法相结合，用于提取影像中的空间信息（ Zhang等，2018 Zhang等，2018 ； Zhi等，2019 Zhi等，2019 ）。三维卷积神经网络则直接以高维度的高光谱数据立方体作为输入，能够充分提取影像中的空谱联合特征（ Xu等，2020 Xu等，2020 ； Li等，2017 Li等，2017 ）。 Chen等（2016） Chen等（2016） 系统性地研究了一维、二维和三维卷积神经网络在高光谱影像特征提取和分类中的效果，并对网络结构、学习率等超参数进行了详细地分析。结果表明，3D-CNN由于能够更好地利用影像中的空谱联合信息，因而具有更优异的分类性能。 为了进一步提高卷积网络的分类性能，许多改进方法被相继提出并应用于高光谱影像分类。结合Network In Network结构的卷积网络具有更强的抽象拟合能力，因而能够获得更高的分类精度（ 高奎亮 等，2019 高奎亮 等，2019 ）。此外，许多研究人员通过增加网络的“深度”和“宽度”来增强模型的抽象拟合能力。 Lee和Kwon（2017） Lee和Kwon（2017） 通过引入多尺度滤波器和残差结构构建了包含11个卷积层的深度CNN模型。 刘冰等（2019） 刘冰等（2019） 通过堆叠三维卷积残差块构建深度三维卷积模型，分类精度和鲁棒性得到了进一步提高。大量文献表明，构建深度卷积模型能够有效提高高光谱影像分类精度，但需要足够的标记样本对模型进行充分的优化训练。因此，当训练样本数量受限时，上述方法均无法获得令人满意的分类结果。众所周知，高光谱影像标记样本的获得费时费力。为了缓解分类结果对训练样本的过度依赖，半监督学习、主动学习、无监督特征提取、迁移学习等方法被引入。这些方法通过与2D-CNN或3D-CNN相结合，能够有效提高训练样本受限时的影像分类精度（ Kang等，2019 Kang等，2019 ； Zhang等，2019 Zhang等，2019 ； Gao等，2020 Gao等，2020 ）。 CNN凭借其强大的特征提取能力，已经成为了目前高光谱数据分析的主流方法。然而，CNN仍然存在固有缺陷：一方面，CNN中神经元的输入和输出均为标量，这在一定程度上限制了模型的表示能力；另一方面，最大池化策略的采用忽视了特征之间的空间关系，而这些空间关系很有可能是区分地物类别的关键判别信息（ Sabour等，2017 Sabour等，2017 ）。不同于传统CNN模型，胶囊网络采用向量化的胶囊神经元编码特征信息，并利用权重矩阵和动态路由算法传递特征对象之间的空间关系，具有更高层次上的抽象建模能力。最近，研究人员已经开始探索胶囊网络在高光谱影像分类中的应用效果。 Paoletti等（2019） Paoletti等（2019） 率先将胶囊网络应用于高光谱影像分类，获得了较传统CNN模型更高的分类精度。随后，空谱胶囊网络（ Zhu等，2019 Zhu等，2019 ）、双通道胶囊网络（ Jiang等，2020 Jiang等，2020 ）等改进模型被相继提出，不断提高着分类的精度和鲁棒性。然而，现有的基于胶囊网络的分类方法均采用原始的胶囊网络结构处理高光谱数据，不能充分适应高光谱数据的高维特性。具体而言，主要存在以下3个问题：（1）普遍采用PCA对高光谱影像进行降维处理，损失了原有的光谱细节信息；（2）网络层数过少，无法提取影像中深层次特征；（3）仅利用二维卷积构建胶囊，无法充分利用影像中的空谱联合信息。 针对上述问题，本文提出了一种用于高光谱影像分类的深度三维胶囊网络。首先，该方法直接以高维的高光谱数据立方体作为网络输入，以保留影像中的空谱细节信息。其次，结合卷积胶囊层和残差结构构建深度网络模型，以提取影像中的深层次特征。最后，引入三维卷积胶囊层充分利用影像中的空谱联合信息，以进一步提高分类精度。 2　本文算法 1 2.1　胶囊网路与动态路由算法 2 与传统CNN模型相比，胶囊网络利用向量化的胶囊神经元代替传统标量神经元，并采用动态路由算法代替池化策略进行信息传递，因而具有更强的抽象建模能力。一个胶囊神经元实际上是一组标量神经元，其模长和方向分别负责编码特征对象的存在概率和实例化参数。 图1 图1 展示了相邻层级间胶囊神经元的信息路由过程。如 式（1） 式（1） 所示，每个低层胶囊的输出向量 <math id="M1"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194499&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194495&type= 4.06400013 3.72533321 首先与编码空间关系的权重矩阵 <math id="M2"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194507&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194502&type= 4.23333359 3.72533321 作乘积，得到预测向量 <math id="M3"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194512&type= 4.06400013 3.72533321 。然后，所有低层胶囊的预测向量乘以对应的耦合系数 <math id="M4"><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194522&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194518&type= 2.62466669 3.72533321 并作和，生成高层胶囊的输入向量 <math id="M5"><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194526&type= 2.11666679 3.72533321 （ 式（2） 式（2） ）。最后，利用 squash 函数对输入向量 <math id="M6"><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194532&type= 2.11666679 3.72533321 进行激活，得到高层胶囊神经元 <math id="M7"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194606&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194602&type= 2.28600001 3.72533321 （ 式（3） 式（3） ）。 <math display="block" id="M8"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo> </mo><mo> </mo><mo>=</mo><mo> </mo><mo> </mo><mo> </mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194560&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194556&type= 17.78000069 3.80999994 <math display="block" id="M9"><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub><mo> </mo><mo> </mo><mo>=</mo><mo> </mo><mo> </mo><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194564&type= 18.88066673 6.94266701 <math display="block" id="M10"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo> </mo><mo> </mo><mo>=</mo><mo> </mo><mo> </mo><mfrac><mrow><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">1</mn><mo> </mo><mo> </mo><mo>+</mo><mo> </mo><mo> </mo><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mfrac><mrow><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194571&type= 31.32666588 13.20800018 胶囊神经元之间的动态路由过程实际上是更新耦合系数 <math id="M11"><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194585&type= 2.62466669 3.72533321 的过程。耦合系数 <math id="M12"><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194585&type= 2.62466669 3.72533321 的更新幅度由预测向量 <math id="M13"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194593&type= 4.06400013 3.72533321 与高层胶囊 <math id="M14"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194606&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194602&type= 2.28600001 3.72533321 的内积决定：内积越大时，两胶囊神经元之间的耦合系数越大，即低层胶囊传递给高层胶囊的特征信息越多；内积越小时，耦合系数越小，即低层胶囊传递给高层胶囊的特征信息越少。相比与传统CNN模型中的池化策略，胶囊网络中的信息传递机制能够更好地保留特征间的空间关系并进行准确的信息传递（ Xi等，2017 Xi等，2017 ）。 2.2　三维卷积胶囊与三维卷积路由 2 Sabour等（2017） Sabour等（2017） 提出的胶囊网络仅利用二维卷积构造胶囊神经元，无法充分适应高光谱数据的高维特性。另外，原始的动态路由算法以全连接的形式进行信息传递，无法构建高效的深度网络模型。为了更好地利用高光谱影像中的空谱联合信息，提取高维非线性数据中的深层次特征，本文引入三维卷积胶囊与三维卷积路由算法，以进一步提高网络模型的分类性能。 如 图2 图2 所示，将低层级 l 和高层级 l+ 1中的胶囊神经元分别记为 <math id="M15"><msup><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>∈</mo><mi mathvariant="normal">ℝ</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194609&type= 30.56466866 3.80999994 和 <math id="M16"><msup><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>∈</mo><mi mathvariant="normal">ℝ</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194616&type= 46.56666946 3.80999994 ，其中 <math id="M17"><mi>w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194622&type= 2.28600001 2.62466669 表示特征图的空间大小， <math id="M18"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194632&type= 1.43933344 2.62466669 和 <math id="M19"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194638&type= 1.86266661 2.62466669 分别表示三维胶囊张量的数量和维度。三维卷积路由算法以三维卷积为基本运算进行信息传递。首先，低层级胶囊神经元 <math id="M20"><msup><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>l</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194646&type= 3.47133350 2.96333337 被重塑为单通道四维张量 <math id="M21"><msup><mrow><mover><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>l</mi></mrow></msup><mo>∈</mo><mi mathvariant="normal">ℝ</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>×</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194653&type= 36.32199860 4.57200003 ，并利用 <math id="M22"><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>×</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194664&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194661&type= 15.91733265 2.96333337 个步长为 <math id="M23"><mn mathvariant="normal">1</mn><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mn mathvariant="normal">1</mn><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194672&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194668&type= 11.76866722 3.38666677 的三维卷积核对其进行卷积运算。运算所得中间结果 <math id="M24"><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194675&type= 2.28600001 2.62466669 中的每个元素 <math id="M25"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194687&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194682&type= 7.78933382 3.72533321 按照 式（4） 式（4） 计算，其中， <math id="M26"><msubsup><mrow><mi mathvariant="normal">Ψ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194694&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194690&type= 3.80999994 4.06400013 代表 l 层第 t 个卷积核， <math id="M27"><mi>i</mi><mo>,</mo><mo> </mo><mo> </mo><mi>j</mi><mo>,</mo><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194698&type= 7.78933382 3.47133350 和 <math id="M28"><mi>p</mi><mo>,</mo><mi>q</mi><mo>,</mo><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194706&type= 8.21266651 3.47133350 分别标明特征图和三维卷积核中的空间位置， m 索引 l 层中的三维胶囊张量。 <math display="block" id="M29"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>m</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>q</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>r</mi></mrow></munder><mrow><msup><mrow><mover><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mi>p</mi><mo>,</mo><mo> </mo><mo> </mo><mi>j</mi><mo>-</mo><mi>q</mi><mo>,</mo><mi>k</mi><mo>-</mo><mi>r</mi><mo stretchy="false">)</mo><mo>⋅</mo><msubsup><mrow><mi mathvariant="normal">Ψ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>l</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>,</mo><mi>r</mi><mo stretchy="false">)</mo></mrow></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194725&type= 71.37400055 7.02733374 原始的动态路由算法为相邻两层级间的所有胶囊建立路由连接。然而，卷积运算产生的特征图具有局部特征，这意味着邻近的胶囊享有相似的信息。因此，在三维卷积路由算法中，选取一组邻近的胶囊 s 而不是所有胶囊向高层传递信息。相比于原始的动态路由算法，三维卷积路由算法能够显著降低参数数量和运算复杂度。具体地，先验概率 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194736&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194732&type= 3.21733332 3.72533321 被初始化为 <math id="M31"><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194744&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194739&type= 1.86266661 2.70933342 ，其中 <math id="M32"><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>∈</mo><mi mathvariant="normal">ℝ</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194746&type= 35.22133255 4.82600021 ， <math id="M33"><mi>s</mi><mo>∈</mo><mo stretchy="false">[</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194755&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194753&type= 10.15999985 3.64066648 。对应的耦合系数按照 式（5） 式（5） 进行计算。 <math display="block" id="M34"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">K</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo>_</mo><mn mathvariant="normal">3</mn><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>k</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>x</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>y</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>z</mi></mrow></munder><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>b</mi><mi>x</mi><mi>y</mi><mi>z</mi><mi>s</mi><mo stretchy="false">)</mo></mrow></mrow></mrow></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194759&type= 38.52333450 17.61066628 式中，将胶囊组 s 中所有的先验概率进行归一化。这是因为高层级 l+ 1中的每个胶囊神经元均有 <math id="M35"><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194765&type= 2.03200006 2.96333337 个对应的预测量，每个预测量乘以对应的耦合系数后产生唯一的预测值 <math id="M36"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194780&type= 4.65666676 3.72533321 ，如 式（6） 式（6） 所示。之后，利用三维非线性挤压函数对预测值 <math id="M37"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194780&type= 4.65666676 3.72533321 进行激活，将其模长压缩到0至1之间而保持向量方向不变（ 式（7） 式（7） ）。 <math display="block" id="M38"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>s</mi></mrow></munder><mrow><mi>k</mi><mmultiscripts><mrow/><mprescripts/><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow><mrow/></mmultiscripts></mrow><mo>⋅</mo><msub><mrow><mover><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194791&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194787&type= 27.68600082 6.51933336 <math display="block" id="M39"><mtable columnalign="left"><mtr><mtd><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">S</mi><mo>̂</mo></mover></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">q</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">h</mi><mo>_</mo><mn mathvariant="normal">3</mn><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mfrac><mrow><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mo>⋅</mo><mfrac><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub></mrow></mfenced></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194794&type= 39.28533173 19.30400085 与原始的动态路由算法相似，三维卷积路由中的耦合系数依据 <math id="M40"><mover accent="true"><mi mathvariant="bold-italic">S</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194805&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194801&type= 2.03200006 3.47133350 与 <math id="M41"><msub><mrow><mover><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194807&type= 3.13266683 4.48733330 之间的点积进行更新，点积的大小决定着耦合系数的增减。 表1 表1 详细描述了三维卷积路由算法的计算过程。相较于传统的池化策略，该算法能够更加准确且高效地进行信息传递；相较于原始路由算法，该算法以三维卷积为基本运算，能够在构建高效深度网络的同时更好地利用影像中的空谱联合信息（ Rajasegaran等，2019 Rajasegaran等，2019 ）。 2 <math id="M42"><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mtext> </mtext><mi mathvariant="normal">R</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">G</mi><mo stretchy="false">(</mo><mo> </mo><msup><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><mo> </mo><mo> </mo><mi>i</mi><mo> </mo><mo> </mo><mo>,</mo><mo> </mo><mo> </mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo> </mo><mo> </mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194817&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194814&type= 45.55066681 2.87866688 01 <math id="M43"><msup><mrow><mstyle displaystyle="true"><mover><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mstyle></mrow><mrow><mi>l</mi></mrow></msup><mo>←</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo><mo>∈</mo><mi mathvariant="double-struck">R</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>×</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><mn>1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194821&type= 47.07466888 3.47133350 02 <math id="M44"><mi mathvariant="bold-italic">V</mi><mo>←</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mn>3</mn><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msup><mrow><mstyle displaystyle="true"><mover><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>˜</mi></mrow></mover></mstyle></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo><mo>∈</mo><mi mathvariant="double-struck">R</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>×</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194833&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194829&type= 57.40399933 3.47133350 03 <math id="M45"><mstyle displaystyle="true"><mover><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi>˜</mi></mrow></mover></mstyle><mo>←</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">V</mi><mo stretchy="false">)</mo><mo>∈</mo><mi mathvariant="double-struck">R</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>n</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194841&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194836&type= 55.20266724 3.38666677 04 <math id="M46"><mi mathvariant="bold-italic">B</mi><mo>←</mo><mn>0</mn><mo>∈</mo><mi mathvariant="double-struck">R</mi><mo stretchy="false">(</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194843&type= 36.57600021 2.87866688 05 <math id="M47"><mi mathvariant="normal">L</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mo> </mo><mo> </mo><mi>p</mi><mo>∈</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><mi>q</mi><mo>∈</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><mi>r</mi><mo>∈</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>,</mo><mi>s</mi><mo>∈</mo><msup><mrow><mi>c</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194855&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194852&type= 43.60333252 2.87866688 06 for i iterations do 07 <math id="M48"><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi><mo> </mo><mo> </mo><mo> </mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>,</mo><mi>r</mi><mo>,</mo><msub><mrow><mi>k</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub><mo>←</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo>_</mo><mn>3</mn><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194860&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194858&type= 43.60333252 3.47133350 08 <math id="M49"><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi><mo> </mo><mo> </mo><mo> </mo><mi>s</mi><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo>←</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>s</mi></mrow></munder><mrow><mi>k</mi><mmultiscripts><mrow/><mprescripts/><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow><mrow/></mmultiscripts></mrow><mo>⋅</mo><msub><mrow><mstyle displaystyle="true"><mover><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi>˜</mi></mrow></mover></mstyle></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194870&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194865&type= 34.62866592 5.16466665 09 <math id="M50"><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi><mo> </mo><mo> </mo><mo> </mo><mi>s</mi><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">S</mi><mo>̂</mo></mover></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo>←</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">q</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">h</mi><mo>_</mo><mn>3</mn><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194877&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194873&type= 38.18466568 4.14866638 010 <math id="M51"><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi><mo> </mo><mo> </mo><mo> </mo><mi>s</mi><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><msub><mrow><mi>b</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub><mo>←</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub><mo>+</mo><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">S</mi><mo>̂</mo></mover></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi></mrow></msub><mo>⋅</mo><msub><mrow><mstyle displaystyle="true"><mover><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi>˜</mi></mrow></mover></mstyle></mrow><mrow><mi>p</mi><mi>q</mi><mi>r</mi><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194883&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194881&type= 38.94666672 3.80999994 011 return <math id="M52"><msup><mrow><mi mathvariant="normal">Φ</mi></mrow><mrow><mi>l</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>=</mo><mover accent="true"><mi mathvariant="bold-italic">S</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194892&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194889&type= 10.83733368 2.87866688 2.3　本文网络结构 2 针对现有基于胶囊网络的高光谱影像分类模型中存在的不足和缺陷，本文利用卷积胶囊层、三维卷积胶囊层和残差连接设计了一种深度胶囊网络模型（记为D-Capsnet-HSI）。如 图3 图3 所示，该模型以高光谱数据立方体作为输入，以分类结果作为输出，具有端到端的网络结构。总体而言，D-Capsnet- HSI共包括一个卷积层、4个胶囊残差块、一个类别胶囊层和一个重构网络。 表2 表2 对本文方法与iCapsnet（ Yin等，2019 Yin等，2019 ）、DCCapsNet（ Jiang等，2020 Jiang等，2020 ）和Conv-Capsule（ Zhu等，2019 Zhu等，2019 ）3种胶囊分类模型的网络结构进行了比较。可以看出，D-Capsnet-HSI具有更深的网络结构，因此能够利用高光谱影像中更为抽象和鲁棒的深层次特征。 隐藏层名称 iCapsnet DCCapsNet Conv- Capsule 本文 方法 卷积层 2 2 2 1 胶囊层 1 1 2 16 类别胶囊层 1 1 1 1 共计 4 4 5 18 不同与现有胶囊分类模型中普遍采用的PCA降维处理，D-Capsnet-HSI直接以高维数据立方体作为网络输入，以充分利用影像中的空谱细节信息。具体地，D-Capsnet-HSI将输入影像的波段数视为通道数，并使用128个3×3的卷积核进行低层次的特征提取。这种做法已经在相关文献中被证明是高效的（ Liu等，2018a Liu等，2018a ）。卷积层Ⅰ获得的特征图先后通过4个胶囊残差块进行更深层次的特征提取。每个胶囊残差块中均包含4个胶囊层，其中主径包含3个胶囊层，捷径包含一个胶囊层。主径和捷径中的卷积核数量、大小均保持一致，填充方式均为“SAME”，每个胶囊残差块的输出结果为主径与捷径的加和。为了对影像中的空谱联合特征进行更为充分的提取和利用，在最后两个残差块中引入三维卷积胶囊层，以进一步提高分类精度。最后，对胶囊残差块Ⅲ和Ⅳ的输出结果进行展平并连接，以增强模型对不同数据集的泛化能力。连接结果与类别胶囊层之间采用动态路由算法进行信息传递。胶囊神经元的维数从低层至高层依次设置为2、4、8。在类别胶囊层中，模长最大的胶囊向量对应着网络的预测类别，因此可以由类别胶囊层直接得到分类结果。为了对模型进行正则化约束，在类别胶囊层之后添加一个由全连接层和反卷积层构成的重构网络，以进一步提高模型的泛化能力。反卷积层中的卷积核数量成倍数增长，并最终将胶囊神经元转换为与输入数据大小一致的重构影像。与原始的全连接重构网络相比，由反卷积层构成的重构网络能够更好地还原特征间的空间关系，并大大减少参数数量。 D-Capsnet-HSI共包括分类和重构两个方面的损失。 式（8） 式（8） 为计算分类损失的边缘损失函数， 式（9） 式（9） 为网络模型的总损失计算公式。 式（8） 式（8） 中， c 为分类， T c 为关于分类的函数，当第 c 类地物出现时， T c 为1，否则 T c 为0。 <math id="M53"><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold">v</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194922&type= 6.43466663 5.16466665 表示胶囊向量的模长。 m + 与 m - 均为阈值函数，用于表示胶囊之间的连接强度。 m + 的取值为0.9，用于惩罚预测存在而实际不存在的错误情况； m - 的取值为0.1，用于惩罚实际存在而预测不存在的错误情况。 λ 负责调整二者比重，取值通常为0.5。 式（9） 式（9） 中，x为网络的输入数据， <math id="M54"><mi mathvariant="bold">x</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194930&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194928&type= 3.13266683 2.70933342 为重构网络的输出结果， α 为权重因子。 <math display="block" id="M55"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo>=</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><msub><mrow><mi>T</mi></mrow><mrow><mi>c</mi></mrow></msub><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><msup><mrow><mi>m</mi></mrow><mrow><mo>+</mo></mrow></msup><msup><mrow><mo> </mo><mo> </mo><mo>-</mo><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold">v</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced><mo> </mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo> </mo><mo> </mo><mo>+</mo><mo> </mo></mtd></mtr><mtr><mtd><mo> </mo><mi>λ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo> </mo><mo> </mo><mo>-</mo><mo> </mo><mo> </mo><msub><mrow><mi>T</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo><mo> </mo><mo> </mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold">v</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced><mo> </mo><mo> </mo><mo>-</mo><mo> </mo><mo> </mo><msup><mrow><mi>m</mi></mrow><mrow><mo>-</mo></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194934&type= 56.55733109 12.19200039 <math display="block" id="M56"><msub><mrow><mi>L</mi></mrow><mrow><mi>t</mi><mi>o</mi><mi>t</mi><mi>a</mi><mi>l</mi></mrow></msub><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo>=</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><munder><mo movablelimits="false">∑</mo><mrow><mi>c</mi></mrow></munder><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>+</mo><mi>α</mi></mrow><mo> </mo><mo> </mo><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold">x</mi><mo> </mo><mo> </mo><mo>-</mo><mo> </mo><mo> </mo><mi mathvariant="bold">x</mi><mi mathvariant="normal">'</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194946&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20194942&type= 44.02666473 6.85799980 3　数据 1 为验证提出方法在高光谱影像分类方面的有效性，本文选择University of Pavia （UP）、Indian Pines （IP）和Salinas （SA）等3个公开数据集进行实验。 3.1　University of Pavia数据集 2 该数据集由德国宇航中心的ROSIS传感器于2001年获取，观测区域为意大利北部帕维亚大学。影像大小为610×340像素，光谱覆盖范围为0.43—0.86 μm，像素分辨率为1.3 m。数据集共包括9个类别和103个波段。参照相关文献，将数据集随机划分为训练集、验证集和测试集，具体划分情况如 表3 表3 所示。 序号 类别 训练集 验证集 测试集 1 柏油路 180 20 6631 2 草地 180 20 18649 3 沙砾 180 20 2099 4 树木 180 20 3064 5 金属板 180 20 1345 6 裸土 180 20 5029 7 沥青 180 20 1330 8 砖体 180 20 3682 9 阴影 180 20 947 2 总计 1620 180 42776 3.2　Indian Pines数据集 2 该数据集由美国NASA喷气推进实验室研制的AVIRIS传感器于2001年获取，观测区域为美国印第安纳州西北部。影像大小为145×145像素，光谱覆盖范围为0.40—2.50 μm，像素分辨率为20 m，共包括200个波段可用于分类。数据集共包括16个地物类别，但部分类别包含的标记样本过少。参照相关文献，本文仅选取了9个样本数量较多的类别进行实验，划分情况如 表4 表4 所示。 序号 类别 训练集 验证集 测试集 1 免耕玉米 180 20 1428 2 少耕玉米 180 20 830 3 草—牧场 180 20 483 4 草—树 180 20 730 5 堆积干草 180 20 478 6 免耕大豆 180 20 972 7 少耕大豆 180 20 2455 8 大豆 180 20 593 9 树木 180 20 1265 2 总计 1620 180 9234 3.3　Salinas数据集 2 该数据集由美国AVIRIS传感器于1992年获取，观测区域为美国加利福尼亚州某山谷。影像大小为512×217像素，光谱覆盖范围为0.40—2.50 μm，像素分辨率为3.7 m。数据集共包括16个标注类别和204个波段。数据集的具体划分情况如 表5 表5 所示。 序号 类别 训练集 验证集 测试集 1 椰菜_绿_野草_1 180 20 2009 2 椰菜_绿_野草_2 180 20 3726 3 休耕地 180 20 1976 4 粗糙的休耕地 180 20 1394 5 平滑的休耕地 180 20 2678 6 残株 180 20 3959 7 芹菜 180 20 3579 8 未结果实的葡萄 180 20 11271 9 正在开发的葡萄园土壤 180 20 6203 10 开始衰老的玉米 180 20 3278 11 长叶莴苣（4周） 180 20 1068 12 长叶莴苣（5周） 180 20 1927 13 长叶莴苣（6周） 180 20 916 14 长叶莴苣（7周） 180 20 1070 15 未结果实的葡萄园 180 20 7268 16 葡萄园小路 180 20 1807 2 总计 2880 320 54129 4　结果与分析 1 4.1　实验结果 2 选择像素周围28×28× N channels （ N channels 为波段数）的邻域立方体作为网络的输入数据，以充分利用高光谱影像中的空谱联合信息（ Chen等，2016 Chen等，2016 ）。学习率大小为0.001，数据批量大小为128，权重因子 α 为0.4 。 选取 Adam 算法作为网络的优化算法，并设置训练迭代次数为50。根据试验结果，三维卷积胶囊层和类别胶囊层中的路由次数统一设置为2 （ 图4 图4 ）。D-Capsnet-HSI在训练集上进行网络优化，在验证集上选择分类精度最高的模型作为最终的训练结果，最后利用测试集评估分类性能。为了验证D-Capsnet-HSI的有效性，选择两种经典的分类算法EMP+SVM和GCK-MLR（ Li等，2013 Li等，2013 ），一种先进的三维残差网络模型Res-3D-CNN（ 刘冰 等，2019 刘冰 等，2019 ），以及两种先进的基于胶囊网络的分类方法iCapsnet和Conv-Capsule与本文方法进行比较。EMP+SVM方法首先利用PCA算法对数据进行降维处理，然后选取前3个主成分提取EMP特征。开闭运算半径分别设置为1、3、5、7、9，因此每个样本的EMP特征为27维的特征向量。SVM中的参数采用四折交叉验证的方法在验证集上选取最优参数。iCapsnet共包括2个卷积层、1个胶囊层和1个类别胶囊层，采用9×9和7×7的卷积核进行卷积运算。Conv-Capsule共包括2个卷积层、2个胶囊层和1个类别胶囊层。iCapsnet和Conv-Capsule均首先采用PCA算法对原始高光谱影像进行降维处理，并选取前3个主成分作为网络输入。 为了进行定量比较，本文选择总体精度OA（Overall Accuracy）、平均精度AA（Average Accuracy）和Kappa系数作为评价指标。为了进一步提高实验结果的说服力，所有的分类方法被运行10次（10次均随机划分数据集），并以平均值的形式呈现分类结果。 （1）University of Pavia数据集实验结果。 表6 表6 列出了各分类方法在University of Pavia数据集上的分类结果。两种传统的分类方法EMP+SVM和GCK-MLR由于无法利用数据中的深层次特征，无法获得令人满意的分类结果。Res-3D-CNN能够更好地利用影像中的空谱联合信息，因此分类结果优于传统分类方法。两种基于胶囊网络的分类方法iCapsnet和Conv-Capsule能够对特征对象进行更高层次上的抽象建模，因此能够获得比Res-3D-CNN更高的分类精度。从OA、AA和Kappa系数3个指标来看，本文方法取得了最为优异的分类效果，其OA较iCapsnet和Conv-Capsule而言分别提高了2.41%和1.4%。从每类地物分类结果上看，除了树木和阴影两类地物外，本文方法在其余7类地物上均取得了最高的分类精度，而且在沙砾、裸土、砖体等较难区分的类别上有明显的精度提升。相较于深度学习方法Res-3D-CNN而言，本文方法利用胶囊神经元进行向量计算，具有更强的抽象建模能力；相较于iCapsnet和Conv-Capsule而言，本文方法具有更深的网络结构并引入了三维卷积胶囊层进行特征提取，能够更好的利用高光谱数据中的空谱联合特征。 注： 黑体表示每行中数值最高项。 序号 EMP+ SVM GCK- MLR Res-3D-CNN iCapsnet Conv- Capsule 本文 方法 1 86.17 98.44 95.23 98.77 99.30 99.32 2 91.57 97.49 96.88 99.77 99.19 99.99 3 88.61 83.15 94.85 89.42 96.39 100.00 4 95.07 98.61 98.43 97.38 99.15 96.67 5 99.03 99.85 99.85 100.00 100.00 100.00 6 94.35 83.06 93.28 91.16 92.26 98.45 7 95.79 91.87 97.67 95.74 97.63 99.63 8 83.24 94.09 95.71 92.57 97.67 99.81 9 99.89 99.37 100.00 98.54 98.13 99.89 OA 91.00 94.70 96.3 97.02 98.03 99.43 AA 92.64 93.99 96.88 95.93 97.75 99.31 Kappa 88.24 93.02 95.11 96.07 97.40 99.25 on the University of Pavia data set 图5 图5 展示了不同分类方法在University of Pavia数据集上的分类图。可以发现，EMP+SVM和GCK-MLR两种方法由于无法充分利用高光谱影像中的空间结构信息，其分类图中存在较多的椒盐噪声。Res-3D-CNN、iCapsnet和Conv-Capsule均以像素领域数据作为模型输入，因此其分类图中噪声和错分现象大大减少。D-Capsnet-HSI的分类图与真实地物标记最为接近，从可视的角度证明了本文方法在高光谱影像分类上的有效性。 1,2,3;4,5,6;7; （2）Indian Pines数据集实验结果。 表7 表7 列出了各分类方法在Indian Pines数据集上的分类结果。 表7 表7 中的统计数据表明，本文方法能够获得较其他分类方法更为优异的分类效果。本文方法的OA、AA和Kappa系数较iCapsnet分别提高了3.70%，3.39%和4.34%，较Conv-Capsule分别提高了2.73%、2.66%和3.18%。除了草—牧场、草—树和树木3个类别外，本文方法在其他6类地物上均取得了最高的分类精度。 注： 黑体表示每行中数值最高项。 序号 EMP+ SVM GCK- MLR Res- 3D-CNN iCapsnet Conv- Capsule 本文 方法 1 69.75 87.41 86.55 94.17 92.24 98.41 2 87.71 80.02 94.58 95.64 95.03 96.05 3 97.93 88.10 98.96 99.58 96.76 99.38 4 98.77 95.03 99.86 99.18 97.06 98.38 5 99.79 99.38 100.00 96.76 98.96 100.00 6 91.87 91.88 94.75 91.27 92.09 98.35 7 82.57 93.43 86.97 94.40 98.29 99.96 8 90.56 84.98 96.46 87.26 95.46 98.83 9 95.10 99.26 99.84 99.84 99.84 99.22 OA 87.23 91.30 93.1 95.15 96.12 98.85 AA 90.45 91.05 95.33 95.34 96.07 98.73 Kappa 85.11 89.84 91.94 94.31 95.47 98.65 on the Indian Pines data set 图6 图6 展示了不同分类方法在Indian Pines数据集上的分类图。Indian Pines数据集的空间分辨率为20 m，存在较为严重的混合像元问题，因此EMP+SVM和GCK-MLR两种传统分类方法的分类图中存在较多的噪声和错分现象。随着分类精度的不断提高，分类图中的错分现象不断减少。从类一致性的角度看，D-Capsnet-HSI的分类图具有最好的视觉效果。 1,2,3;4,5,6;7; （3）Salinas数据集实验结果。 表8 表8 列出了各分类方法在Salinas数据集上的分类结果。Salinas数据集共有16类标记地物，较University of Pavia和Indian Pines数据集而言更为复杂。从OA、AA和Kappa系数3个指标上看，本文方法仍然取得了最为优异的分类效果。但较 表6 表6 和 表7 表7 中统计结果而言，本文方法在该数据集上的精度提升幅度较小。例如，本文方法的OA、AA和Kappa系数较iCapsnet分别提高了1.13%、1.09%和1.25%，均小于前两个数据集。每类地物分类结果方面，除了第4、6、12、13、14、15类地物外，本文方法在其余10类地物上均取得了最高的分类精度。 注： 黑体表示每行中数值最高项。 序号 EMP+ SVM GCK- MLR Res- 3D-CNN iCapsnet Conv- Capsule 本文 方法 1 99.85 97.76 99.7 99.75 99.11 100.00 2 99.49 99.97 100.00 99.44 99.95 100.00 3 100.00 99.70 98.73 99.54 99.90 100.00 4 99.78 99.64 99.78 99.50 99.57 99.43 5 97.46 99.85 99.22 99.22 99.81 99.93 6 99.70 100.00 100.00 99.82 100.00 99.85 7 98.91 98.10 99.89 99.25 96.02 100.00 8 81.60 98.92 89.51 91.17 91.90 92.63 9 98.03 99.98 99.81 98.88 99.98 100.00 10 97.04 97.61 97.04 96.45 97.09 99.54 11 98.78 97.62 98.03 95.47 97.45 99.53 12 100.00 97.82 100.00 100.00 99.28 99.18 13 99.02 98.17 99.78 99.89 97.97 99.46 14 99.72 99.72 99.91 97.18 99.44 99.81 15 85.90 73.23 85.13 89.21 91.90 90.86 16 99.39 97.88 99.94 97.86 98.12 100.00 OA 93.54 94.36 95.46 96.01 96.45 97.14 AA 97.17 97.24 97.9 97.67 97.97 98.76 Kappa 92.82 93.75 94.05 95.56 96.16 96.81 on the Salinas data set 图7 图7 展示了不同方法在Salinas数据集上的分类图。可以从 图7 图7 中得到与图 5 5 、 6 6 基本一致的结论：与其他分类方法相比，本文方法的分类图中噪声和错分现象最少，与地物真实标记最为接近。 1,2,3;4,5,6;7; （4）大规模高光谱数据集试验结果。为了验证提出方法在大规模高光谱数据集上的有效性，选择Chikusei数据集进行分类试验。整幅影像大小为2517×2335像素，共包含128个波段和19个标注类别。与UP、IP和SA数据集相比，该数据集空间范围大，包含地物类别和样本数量多，分类任务更为复杂。 表9 表9 列出了不同方法在该数据集上的分类结果。本文方法的OA、AA和Kappa系数仍然高于其他方法，这进一步表明了本文方法的有效性。 评价 指标 EMP+ SVM GCK- MLR Res- 3D-CNN iCapsnet Conv- Capsule 本文 方法 OA 87.99 91.65 93.34 94.53 95.67 97.43 AA 86.08 90.99 83.36 94.02 95.05 96.30 Kappa 84.38 89.17 92.34 93.18 94.93 96.61 4.2　超参数分析 2 超参数的选择影响着网络模型分类性能的发挥，合适的超参数能够使模型获得最优异的分类结果。本节对D-Capsnet-HSI中包含的主要超参数进行了详细的研究和分析。 （1）学习率对训练过程的影响。学习率直接决定着网络参数在训练过程中的更新幅度，进而影响模型的收敛速度。 图8 图8 展示了不同数据集上，不同学习率下的损失函数曲线。可以看出，合适的学习率取值能够使模型得到更为充分的训练，从而获得更低更稳定的训练损失；学习率过大或者过小都会影响模型的训练效果。 1,2,3;4; （2）胶囊神经元维度对分类结果的影响。胶囊神经元维度决定着胶囊神经元的表示能力，进而影响最终的分类结果。将残差块Ⅰ中的胶囊神经元维度记为N 1 ，残差块Ⅱ、Ⅲ和Ⅳ中的胶囊神经元维度记为N 2 ，类别胶囊层中胶囊神经元维度记为N 3 。参照相关实验，将N 1 、N 2 和N 3 的取值设置为倍数增长。从 表10 表10 的统计结果中可以看出，不同的维度取值对应着不同的分类结果。对于UP数据集而言，最佳的维度取值为8、16、32；对于IP和SA数据集而言，最佳的维度取值为2、4、8。 数据集 N 1 ∶2 N 2 ∶4 N 3 ∶8 N 1 ∶4 N 2 ∶8 N 3 ∶16 N 1 ∶8 N 2 ∶16 N 3 ∶32 UP 99.43 99.58 99.67 IP 98.85 98.54 98.42 SA 97.14 97.01 96.73 （3）网络结构对分类精度的影响。与现有的基于胶囊网络的高光谱影像分类方法相比，本文方法的主要创新点在于深层次的网络结构和三维卷积胶囊层的引入。为了验证深度网络结构和三维卷积胶囊层的有效性，本小节对比了D-Capsnet-HIS在不同网络结构下的总体分类精度。 表11 表11 中，（Ⅰ Ⅱ）表示网络模型中只包含胶囊残差块Ⅰ和Ⅱ。从 表11 表11 的统计结果中可以看出：（1） 随着网络结构的加深，本文方法的分类精度不断上升。（2） 三维卷积胶囊层能够进一步提高模型的分类精度，在UP、IP和SA数据集上，总体分类精度分别提高了1.05%、1.14%和0.62%。 数据集 （Ⅰ Ⅱ） （Ⅰ Ⅱ Ⅲ） （Ⅰ Ⅱ Ⅲ Ⅳ） （Ⅰ Ⅱ Ⅲ Ⅳ 无三维卷积胶囊层） UP 97.43 98.21 99.43 98.38 IP 95.36 96.93 98.85 97.71 SA 96.11 96.49 97.14 96.52 （4）像素邻域大小对分类精度的影响。为了利用高光谱影像中的空谱联合信息，本文方法选择像素周围的三维数据立方体作为网络输入。本小节进一步探究了输入数据空间邻域对分类精度的影响。从 表12 表12 中可以看出，随着空间邻域不断变大，本文方法的分类精度先逐渐上升后趋于稳定。这表明，在一定范围内增大空间邻域能够提供更多的空间和光谱信息，进而提高分类准确性；但过大的空间邻域无益于分类精度的提高。 2 数据集 5 空间邻域 16×16 20×20 24×24 28×28 32×32 UP 98.53 98.86 99.12 99.43 99.41 IP 97.98 98.31 98.64 98.85 98.83 SA 96.37 96.75 96.93 97.14 97.10 4.3　模型参数比较 2 网络参数数量是影响深度学习模型执行效率的重要因素。过多的参数数量将导致大量的计算开销，影响模型在实际应用中价值。 表13 表13 对比了Res-3D-CNN、iCapsnet和D-Capsnet-HIS等3个模型中所包含的参数数量和在UP数据集上的总执行时间。Res-3D-CNN是一个端到端的分类网络，所包含的参数数量最少，但分类精度为三者中最低。iCapsnet的分类网络中包含预训练的卷积层和过大的卷积模板，重构网络中完全采用全连接层，因此其参数数量和执行时间远远大于其他两种方法。总的来说，本文方法采用3×3的小卷积模板和残差连接构建深度分类网络，并利用反卷积层构建重构网络，能在有效提高分类精度的同时避免参数数量的过度增加，从而提高其在实际应用中的执行效率。 2 统计对象 3 模型 Res-3D-CNN iCapsnet 本文方法 分类网络/个 874089 4322690 2121183 重构网络/个 — 2841227 222871 共计/个 874089 7163917 2344054 执行时间 （UP）/s 1158.14 3618.69 2436.37 5　结论 1 针对现有基于胶囊网络的高光谱影像分类模型中存在的问题，本文利用卷积胶囊层、残差连接和三维卷积胶囊层构建了一种新型深度胶囊网络模型，以进一步提高高光谱影像分类精度。与现有胶囊分类模型相比，本文方法具有以下3点优势： （1）直接以高维数据立方体作为网络输入，能够充分利用影像中的空谱细节信息。 （2）利用卷积胶囊层和残差连接构建深度网络，能够提取出更为鲁棒和抽象的深层次特征。 （3）在深层次的残差块中引入三维卷积胶囊层，能够更为充分地利用高光谱影像中的空谱联合信息。 4个公开数据集上的实验结果表明，本文方法能够获得较现有深度学习模型更为优异的分类结果。然而，本文方法实际上只利用了目标高光谱影像中的标记样本进行训练，因此在不同数据集间的泛化能力较差。针对高光谱影像的高维和小样本特性，如何利用迁移学习和元学习的思想构建泛化能力更强的深度网络，使本文方法在小样本条件下获得高精度的分类结果，是下一步的研究重点。 参考文献（References） Benediktsson J A , Palmason J A and Sveinsson J R . 2005 . Classification of hyperspectral data from urban areas based on extended morphological profiles . IEEE Transactions on Geoscience and Remote Sensing , 43 ( 3 ): 480 - 491 [ DOI: 10.1109/tgrs.2004.842478 http://dx.doi.org/10.1109/tgrs.2004.842478 ] Classification of hyperspectral data from urban areas based on extended morphological profiles Chen Y S , Lin Z H , Zhao X , Wang G and Gu Y F . 2014 . Deep learning-based classification of hyperspectral data . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 7 ( 6 ): 2094 - 2107 [ DOI: 10.1109/JSTARS.2014.2329330 http://dx.doi.org/10.1109/JSTARS.2014.2329330 ] Deep learning-based classification of hyperspectral data Chen Y S , Zhao X and Jia X P . 2015 . Spectral–spatial classification of hyperspectral data based on deep belief network . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 8 ( 6 ): 2381 - 2392 [ DOI: 10.1109/JSTARS.2015.2388577 http://dx.doi.org/10.1109/JSTARS.2015.2388577 ] Spectral–spatial classification of hyperspectral data based on deep belief network Chen Y S , Jiang H L , Li C Y , Jia X P and Ghamisi P . 2016 . Deep feature extraction and classification of hyperspectral images based on convolutional neural networks . IEEE Transactions on Geoscience and Remote Sensing , 54 ( 10 ): 6232 - 6251 [ DOI: 10.1109/TGRS.2016.2584107 http://dx.doi.org/10.1109/TGRS.2016.2584107 ]. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks Dong X F , Gan F P , Li N , Yan B K , Zhang L , Zhao J Q , Yu J C , Liu R Y and Ma Y N . 2020 . Fine mineral identification of GF-5 hyperspectral image . Journal of Remote Sensing , 24 ( 4 ): 454 - 464 Fine mineral identification of GF-5 hyperspectral image 董新丰 , 甘甫平 , 李娜 , 闫柏琨 , 张磊 , 赵佳琪 , 于峻川 , 刘镕源 , 马燕妮 . 2020 . 高分五号高光谱影像矿物精细识别 . 遥感学报 , 24 ( 4 ): 454- 464 [ DOI: 10.11834/jrs.20209194 http://dx.doi.org/10.11834/jrs.20209194 ] 高分五号高光谱影像矿物精细识别 Gao K L , Zhang P Q , Yu X C , Tan X and Liu B . 2019 . Classification method of hyperspectral image based on Network In Network structure . Journal of Geomatics Science and Technology , 36 ( 5 ): 500 - 504, 510 Classification method of hyperspectral image based on Network In Network structure 高奎亮 , 张鹏强 , 余旭初 , 谭熊 , 刘冰 . 2019 . 基于Network In Network网络结构的高光谱影像分类方法 . 测绘科学技术学报 , 36 ( 5 ): 500 - 504 , 510 基于Network In Network网络结构的高光谱影像分类方法 Gao K L , Liu B , Yu X C , Qin J C , Zhang P Q and Tan X . 2020 . Deep relation network for hyperspectral image few-shot classification . Remote Sensing , 12 ( 6 ): 923 [ DOI: 10.3390/rs12060923 http://dx.doi.org/10.3390/rs12060923 ] Deep relation network for hyperspectral image few-shot classification He L , Li J , Liu C Y and Li S T . 2018 . Recent advances on spectral-spatial hyperspectral image classification: an overview and new guidelines . IEEE Transactions on Geoscience and Remote Sensing , 56 ( 3 ): 1579 - 1597 [ DOI: 10.1109/TGRS.2017.2765364 http://dx.doi.org/10.1109/TGRS.2017.2765364 ] Recent advances on spectral-spatial hyperspectral image classification: an overview and new guidelines Hu W , Huang Y Y , Li W , Zhang F and Li H C . 2015 . Deep convolutional neural networks for hyperspectral image classification . Journal of Sensors , 2015 : 258619 [ DOI: 10.1155/2015/258619 http://dx.doi.org/10.1155/2015/258619 ] Deep convolutional neural networks for hyperspectral image classification Jiang X F , Liu W B , Zhang Y , Liu J R , Li S Y and Lin J Z . 2020 . Spectral–spatial hyperspectral image classification using dual-channel capsule networks . IEEE Geoscience and Remote Sensing Letters [ DOI: 10.1109/LGRS.2020.2991405 http://dx.doi.org/10.1109/LGRS.2020.2991405 ] Spectral–spatial hyperspectral image classification using dual-channel capsule networks Kang X D , Zhuo B B and Duan P H . 2019 . Semi-supervised deep learning for hyperspectral image classification . Remote Sensing Letters , 10 ( 4 ): 353 - 362 Semi-supervised deep learning for hyperspectral image classification Lee H and Kwon H . 2017 . Going deeper with contextual CNN for hyperspectral image classification . IEEE Transactions on Image Processing , 26 ( 10 ): 4843 - 4855 [ DOI: 10.1109/tip.2017.2725580 http://dx.doi.org/10.1109/tip.2017.2725580 ] Going deeper with contextual CNN for hyperspectral image classification Li J , Marpu P R , Plaza A , Bioucas-Dias J M and Benediktsson J A . 2013 . Generalized composite kernel framework for hyperspectral image classification . IEEE Transactions on Geoscience and Remote Sensing , 51 ( 9 ): 4816 - 4829 [ DOI: 10.1109/TGRS.2012.2230268 http://dx.doi.org/10.1109/TGRS.2012.2230268 ] Generalized composite kernel framework for hyperspectral image classification Li Y , Zhang H K and Shen Q . 2017 . Spectral–spatial classification of hyperspectral imagery with 3D convolutional neural network . Remote Sensing , 9 ( 1 ): 67 [ DOI: 10.3390/rs9010067 http://dx.doi.org/10.3390/rs9010067 ] Spectral–spatial classification of hyperspectral imagery with 3D convolutional neural network Liu B , Yu X C , Zhang P Q , Yu A Z , Fu Q Y and Wei X P . 2018a . Supervised deep feature extraction for hyperspectral image classification . IEEE Transactions on Geoscience and Remote Sensing , 56 ( 4 ): 1909 - 1921 [ DOI: 10.1109/TGRS.2017.2769673 http://dx.doi.org/10.1109/TGRS.2017.2769673 ] Supervised deep feature extraction for hyperspectral image classification Liu B , Yu X C , Yu A Z and Wan G . 2018b . Deep convolutional recurrent neural network with transfer learning for hyperspectral image classification . Journal of Applied Remote Sensing , 12 ( 2 ): 026028 [ DOI: 10.1117/1.JRS.12.026028 http://dx.doi.org/10.1117/1.JRS.12.026028 ] Deep convolutional recurrent neural network with transfer learning for hyperspectral image classification Liu B , Yu X C , Zhang P Q and Tan X . 2019 . Deep 3D convolutional network combined with spatial-spectral features for hyperspectral image classification . Acta Geodaetica et Cartographica Sinica , 48 ( 1 ): 53 - 63 Deep 3D convolutional network combined with spatial-spectral features for hyperspectral image classification 刘冰 , 余旭初 , 张鹏强 . 2019 . 联合空-谱信息的高光谱影像深度三维卷积网络分类 . 测绘学报 . 48 ( 1 ): 53 - 63 联合空-谱信息的高光谱影像深度三维卷积网络分类 Paoletti M E , Haut J M , Fernandez-Beltran R , Plaza J , Plaza A , Li J and Pla F . 2019 . Capsule networks for hyperspectral image classification . IEEE Transactions on Geoscience and Remote Sensing , 57 ( 4 ): 2145 - 2160 [ DOI: 10.1109/TGRS.2018.2871782 http://dx.doi.org/10.1109/TGRS.2018.2871782 ] Capsule networks for hyperspectral image classification Rajasegaran J , Jayasundara V , Jayasekara S , Jayasekara H , Seneviratne S and Rodrigo R . 2019 . DeepCaps: going deeper with capsule networks // Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) . Long Beach, CA, USA : IEEE : 10717 - 10725 [ DOI: 10.1109/CVPR.2019.01098 http://dx.doi.org/10.1109/CVPR.2019.01098 ] DeepCaps: going deeper with capsule networks Sabour S , Frosst N and Hinton G E . 2017 . Dynamic routing between capsules . arXiv : 1710 . 09829 Dynamic routing between capsules Tarabalka Y , Fauvel M , Chanussot J and Benediktsson J A . 2010 . SVM- and MRF-based method for accurate classification of hyperspectral images . IEEE Geoscience and Remote Sensing Letters , 7 ( 4 ): 736 - 740 [ DOI: 10.1109/LGRS.2010.2047711 http://dx.doi.org/10.1109/LGRS.2010.2047711 ] SVM- and MRF-based method for accurate classification of hyperspectral images Xi E , Bing S and Jin Y . 2017 . Capsule network performance on complex data . arXiv : 1712 . 03480 Capsule network performance on complex data Xu Q , Xiao Y , Wang D Y and Luo B . 2020 . CSA-MSO3DCNN: multiscale octave 3D CNN with channel and spatial attention for hyperspectral image classification . Remote Sensing , 12 ( 1 ): 188 [ DOI: 10.3390/rs12010188 http://dx.doi.org/10.3390/rs12010188 ] CSA-MSO3DCNN: multiscale octave 3D CNN with channel and spatial attention for hyperspectral image classification Yin J H , Li S , Zhu H M and Luo X Y . 2019 . Hyperspectral image classification using CapsNet with well-initialized shallow layers . IEEE Geoscience and Remote Sensing Letters , 16 ( 7 ): 1095 - 1099 [ DOI: 10.1109/lgrs.2019.2891076 http://dx.doi.org/10.1109/lgrs.2019.2891076 ] Hyperspectral image classification using CapsNet with well-initialized shallow layers Zhang M M , Li W and Du Q . 2018 . Diverse region-based CNN for hyperspectral image classification . IEEE Transactions on Image Processing , 27 ( 6 ): 2623 - 2634 [ DOI: 10.1109/TIP.2018.2809606 http://dx.doi.org/10.1109/TIP.2018.2809606 ] Diverse region-based CNN for hyperspectral image classification Zhang L , Zhang J Y , Wei W and Zhang Y N . 2019 . Learning discriminative compact representation for hyperspectral imagery classification . IEEE Transactions on Geoscience and Remote Sensing , 57 ( 10 ): 8276 - 8289 [ DOI: 10.1109/TGRS.2019.2919938 http://dx.doi.org/10.1109/TGRS.2019.2919938 ] Learning discriminative compact representation for hyperspectral imagery classification Zhi L , Yu X C , Liu B and Wei X P . 2019 . A dense convolutional neural network for hyperspectral image classification . Remote Sensing Letters , 10 ( 1 ): 59 - 66 [ DOI: 10.1080/2150704X.2018.1526424 http://dx.doi.org/10.1080/2150704X.2018.1526424 ] A dense convolutional neural network for hyperspectral image classification Zhu K Q , Chen Y S , Ghamisi P , Jia X P and Benediktsson J A . 2019 . Deep convolutional capsule network for hyperspectral image spectral and spectral-spatial classification . Remote Sensing , 11 ( 3 ): 223 [ DOI: 10.3390/rs11030223 http://dx.doi.org/10.3390/rs11030223 ] Deep convolutional capsule network for hyperspectral image spectral and spectral-spatial classification 10.11834/jrs.20210309 1007-4619（2021）06-1257-13 高奎亮，余旭初，宋治杭，张晋，刘冰，孙一帆.2021.联合空谱信息的高光谱影像深度胶囊网络分类.遥感学报，25（6）： 1257-1269 高奎亮，余旭初，宋治杭，张晋，刘冰，孙一帆.2021.联合空谱信息的高光谱影像深度胶囊网络分类.遥感学报，25（6）： 1257-1269 Gao K L，Yu X C，Song Z H，Zhang J，Liu B and Sun Y F. 2021. Deep capsule network combined with spatial-spectral information for hyperspectral image classification. National Remote Sensing Bulletin， 25（6）：1257-1269 Gao K L，Yu X C，Song Z H，Zhang J，Liu B and Sun Y F. 2021. Deep capsule network combined with spatial-spectral information for hyperspectral image classification. National Remote Sensing Bulletin， 25（6）：1257-1269 国家自然科学基金 （编号： 41801388 ） Supported by National Natural Science Foundation of China (No.41801388) 2020-08-18 2021-06-07 2021-09-18 2020-12-09 遥感学报 6 25