全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取

全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取 Global-Local-Aware conditional random fields based building extraction for high spatial resolution remote sensing images 1 2 first-author 朱祺琪，1993年生，女， 副教授， 研究方向为多源遥感大数据提取分析及地学应用。E-mail： zhuqq@cug.edu.cn 朱祺琪，1993年生，女， 副教授， 研究方向为多源遥感大数据提取分析及地学应用。E-mail： zhuqq@cug.edu.cn zhuqq@cug.edu.cn 1 1 1 1 1 2 corresp 关庆锋，1977年生，男， 教授， 研究方向为时空大数据分析、挖掘及空间感知与计算。E-mail： guanqf@cug.edu.cn 关庆锋，1977年生，男， 教授， 研究方向为时空大数据分析、挖掘及空间感知与计算。E-mail： guanqf@cug.edu.cn guanqf@cug.edu.cn 3 中国地质大学 地理与信息工程学院, 武汉 430078 中国地质大学 地理与信息工程学院, 武汉 430078 School of Geography and Information Engineering, China University of Geosciences, Wuhan 430078, China School of Geography and Information Engineering, China University of Geosciences, Wuhan 430078, China 中国地质大学 国家地理信息系统工程技术研究中心, 武汉 430078 中国地质大学 国家地理信息系统工程技术研究中心, 武汉 430078 National Engineering Research Center for Geographic Information System, China University of Geosciences,Wuhan 430078, China National Engineering Research Center for Geographic Information System, China University of Geosciences,Wuhan 430078, China 武汉大学 测绘遥感信息工程国家重点实验室, 武汉 430071 武汉大学 测绘遥感信息工程国家重点实验室, 武汉 430071 State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University,Wuhan 430071, China State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University,Wuhan 430071, China 条件随机场模型由于其较强的上下文信息建模能力，被广泛应用于建筑物提取任务中。然而，面对高分辨率遥感影像丰富的地物信息，基于条件随机场的提取方法存在建筑物边界模糊的问题。本文提出了一种全局局部细节感知条件随机场框架，该框架提出全局局部一体化D-LinkNet，在有效利用多尺度建筑物信息的同时保留局部结构信息，解决了传统条件随机场一元势能丢失边界信息的问题。同时，该框架融合分割先验以缓解建筑物类内光谱差异较大的影响，利用更大尺度的上下文信息来精确提取建筑物，并引入局部类别标记代价从而保持细节信息以获取清晰的建筑物边界。实验结果表明，该框架在WHU卫星和航空数据集上的精度评价指标均优于其他对比方法，其IoU分别达89.82%和91.72%，对于复杂场景下的建筑物信息能够获得较好的提取效果。 Obtaining building distribution maps accurately and quickly has very important research value. For instance, it can help governments and non-governmental organizations plan urban infrastructure construction and assist disaster relief work. The Conditional Random Field (CRF) is widely used in building extraction tasks because of its flexible context information modeling and detail extraction capabilities. However, problems, such as blurry building boundaries, still exist when the CRF is used to extract buildings from high spatial resolution remote sensing images. This study proposed a Global-Local-Aware conditional random fields framework for building extraction. Global-Local-Aware D-LinkNet (GLD-LinkNet) is proposed to solve the boundary blur problem of unary potential in this framework. GLD-LinkNet makes up for the loss of local structural information by D-LinkNet while using multi-scale building information effectively. In addition, the segmentation priors are fused, and the label cost is introduced. The pairwise potential reflects the linear combination of the spatial relationship of neighboring pixels and the cost of the local class label. It can maintain the detailed information inside the buildings effectively. In addition, to solve the problem of spectral similarity between buildings and noise, a larger range of context information is used to fuse segmentation prior to the extraction of buildings. The framework can eliminate the influence of image noise and spectral diversity within class. Moreover, it can also keep the detailed information of ground objects and determine the clear boundaries of buildings. Experiments were carried out on the aerial building dataset and the satellite building dataset of the WHU building datasets. Experimental results demonstrate that the proposed dilated and segmented conditional random field framework is superior to the state-of-the art methods in terms of accuracy and IOU. The model proposed in this study, which performs well for building extraction of complex scenes, can maintain the detailed information of buildings effectively. In addition, it removes the small building blocks mistakenly extracted by D-LinkNet, and the problem of blurred building boundaries has also been improved effectively. The use of the global and local integrated D-LinkNet to model the unary potential of CRF can realize the effective combination of building features of different scales. It makes the structure of the obtained buildings more complete. Furthermore, by adding a segmentation prior to the construction of pairwise potential, a building classification map with a clean background can be obtained. The introduction of the local class label cost term also meets the high requirements of the building extraction task for the extraction of building detail information and can capture detailed information that is difficult to identify on the network. The proposed model was tested on aerial and satellite datasets, and the IoU indicators on the two datasets reach 91.72% and 89.82%, respectively. These values imply that the framework can adapt to aerial and satellite datasets. In the future, we will further study the application of large-scale high-resolution remote sensing images in building extraction and try to combine multi-source geographic information data to extract more complete building information. 高分辨率遥感影像 建筑物提取 条件随机场 全局局部一体化D-LinkNet 类别标记代价 high spatial resolution remote sensing image building extraction conditional random fields GLD-Linknet the class label cost 1　引言 1 建筑物作为城市中最为基础的组成部分，随着城市建设的快速发展，也成为了基础地理数据中最易变化的人工目标类型之一（ Jun等，2016 Jun等，2016 ）。及时、准确地进行遥感信息提取对城市规划、灾害管理、数字城市、地理数据库更新等领域有着十分重要的意义（ Mayer，1999 Mayer，1999 ； Krizhevsky等，2012 Krizhevsky等，2012 ）。 使用遥感影像进行建筑物提取的基础理论研究始于20世纪80年代，在数十年的发展历程中，边缘提取、图像分割、数字地表模型DSM（Digital Surface Model）、深度学习等手段相继被应用到建筑物信息提取中，并取得了一定的研究成果（ Huertas和Nevatia，1988 Huertas和Nevatia，1988 ； 陈凯强 等，2020 陈凯强 等，2020 ）。高分辨率遥感影像包含大量细节信息的同时，也存在一定的噪声问题，使得建筑物提取的效果不佳（ 朱祺琪，2018 朱祺琪，2018 ）。由于建筑物类内的光谱差异较大和高分辨率遥感影像存在的噪声问题，传统的基于像素的方法在提取建筑物时易出现建筑物类内不连续的“椒盐现象”，即同种地物未被分为一类，导致均一地块破碎的现象。基于分割的方法采用面向对象思想，克服了基于像素的方法出现的“椒盐现象”等缺点，从而受到了越来越多学者的关注。 乔程等（2008） 乔程等（2008） 采用面向对象策略，基于IKONOS影像提出多尺度分割方法。 Wegne等（2011） Wegne等（2011） 提出结合区域分割和马尔可夫随机场算法进行遥感影像场景建模和建筑物提取。然而，在基于分割的建筑物提取方法中，分割建筑物的空间位置、大小等信息难以被准确描述，并且由于树木遮挡、阴影遮蔽等原因，从影像中很难获取真实的建筑物特征。为进一步提高建筑物提取的准确性，有学者尝试将辅助信息引入提取方法中。 Gao等（2018） Gao等（2018） 提出了一种基于建筑物阴影自动提取建筑物样本并能够准确验证建筑物的方法，该方法在郊区的建筑物提取准确性最高。LiDAR点云结合纹理特征、马尔可夫随机场等可在多种复杂环境下有效提取建筑物信息，取得了广泛的应用（ Lai等，2019 Lai等，2019 ； Wang等，2020 Wang等，2020 ）。结合辅助信息进行建筑物提取能够有效提高提取精度，但获得高质量的LiDAR点云等数据需要较高的成本。除此之外，结合高分辨率遥感影像的空间信息以及几何、纹理等特征的建筑物提取方法逐步发展。 Karantzalos和Paragios（2009） Karantzalos和Paragios（2009） 引入几何属性相关的典型建筑物先验形状模型，获得了较好的提取效果，但不适用于建筑物密集的城市区域。AkÇay和Aksoy（2008）融合浅层概率语义分析PLSA（Probabilistic Latent Semantic Analysis）模型和形态学分析进行高分辨率遥感影像地物识别，避免了建立规则几何形状的困难，但因此提取出的建筑物轮廓不规则。 Li等（2015） Li等（2015） 将条件随机场CRF（Conditional Random Fields）引入建筑物提取当中，结合了像素级信息与分段级别来识别屋顶，可以有效处理复杂形状的屋顶（ Lafferty等，2001 Lafferty等，2001 ）。条件随机场在马尔可夫随机场的基础上发展而来，消除了马尔可夫随机场严格的独立性假设。其良好的全局性，可以很好地将局部特征联系起来，实现自下而上和自上而下目标语义的有机融合。但由于条件随机场缺乏大尺度的空间交互信息建模能力，容易产生不同程度的地物平滑问题（ Li等，2015 Li等，2015 ； Zhao等，2015 Zhao等，2015 ； 朱恰等，2020 朱恰等，2020 ）。 近年来，深度学习的发展极大地推动了建筑物提取的进展。 Chen等（2017） Chen等（2017） 针对建筑物形状规则和外观多样、分布复杂等特点，设计了27层的拥有卷积和反卷积的深度卷积神经网络，实现了高分影像上建筑物的像素级提取。 Xu等（2018） Xu等（2018） 提出了一种全新的神经网络框架Res-U-Net，可在具有非常高分辨率遥感影像的市区中进行建筑物提取。 Huang等（2019） Huang等（2019） 提出了一种端到端可训练的门控残差细化网络，该网络基于全卷积网络FCN（Fully Convolutional Networks）出色的特征学习和端到端像素标记能力，融合了高分辨率的航空影像和LiDAR点云来进行建筑物提取。复杂的神经网络的建筑物提取精度较高，但往往需要大量的运算时间，且现有的深度学习方法对建筑物的几何结构完整性、建筑物边缘等细节特征的提取效果不佳。 条件随机场通过同时利用标记影像和观测影像的空间邻域信息，从而建模影像上下文信息，能够弥补深度学习在建筑物提取方面的不足。Shrestha 和Vanneschi（2018）通过引入指数线性单元ELU（Exponential Linear Unit）来改进FCN的性能，同时将其与CRF结合起来，以充分利用影像空间邻域信息，增强建筑物边界。 Sun等（2019） Sun等（2019） 设计了一个多任务网络，使FCN能够同时生成遮罩和边缘信息，并使用条件随机场模型来细化FCN的结果，有效提高了时间和空间效率。 Li等（2020） Li等（2020） 提出特征对条件随机场FPCRF（Feature Pairwise Conditional Random Field ）框架，该框架使用卷积神经网络CNN（Convolutional Neural Networks ）作为特征抽取器，实现图模型的细粒度分割。然而，在深度学习和条件随机场模型结合的方法中，已有的用于建筑物提取的深度学习模型往往从单一尺度提取建筑物特征，易忽略小尺度建筑物体。而已有的传统条件随机场建模影像空间信息仅能够利用像元的邻域信息，无法利用大尺度空间信息。此外，这种基于像素的处理方法易造成部分建筑物细节丢失，建筑物内部出现椒盐噪声现象。 为了解决这些问题，本文提出了一种全局局部细节感知条件随机场框架。该框架首次提出全局局部一体化D-LinkNet建模影像与其标记间的对应关系，使其能够集成多尺度建筑物特征的同时保留局部结构信息。在全局局部一体化D-LinkNet串并联并行的膨胀卷积模块，本文设计为七条支路，每条支路都有不同的深度和不同的感受野大小。因此，该框架可以有效提取出密集的小尺度建筑物目标。其次，本文在传统条件随机场中引入局部类别标记代价项，使得二元势能可以有效反映相邻像元的空间关系与局部区域类别标记信息的线性组合，保持规则建筑物的细节部分。此外，为缓解建筑物类内光谱差异性较大的影响，本文融合分割先验，以利用更大尺度的上下文信息来提取建筑物区域。最后，使用基于图割法的 α -expansion算法进行模型推理。 2　全局局部细节感知条件随机场 1 本文提出了一种全局局部细节保持感知条件随机场框架应用于高分辨率遥感影像建筑物提取。如 图1 图1 所示，建筑物提取过程可分为3个阶段：（1）使用全局局部一体化D-LinkNet建模条件随机场的一元势能。全局局部一体化D-LinkNet输出的分类图作为条件随机场的一元输入。（2）基于分类图利用连通区域标记算法获取分割先验。在利用影像空间上下文信息的同时，引入局部类别标记代价项，当影像标记不确定性强时，参考该像元邻域的标记信息取得类别标记。（3）采用基于图割法的 α -expansion推理算法进行模型推理，获得最终建筑物标记。 2.1　基于全局局部一体化D-LinkNet的一元势能 建模 2 记 x 为标记影像， y 为观测影像，当给定观察场 y ，且随机变量 x i 服从马尔可夫随机场时，该模型即构成一个条件随机场。 一元势能建模影像标记序列 x 与观测序列 y 之间的关系，基于像元特征计算像元取得建筑物标记或非建筑物标记的概率。一元势能 <math id="M1"><msub><mrow><mi>ψ</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188957&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188953&type= 12.36133385 5.16466665 可以定义为 <math display="block" id="M2"><msub><mrow><mi>ψ</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mfenced separators="|"><mrow><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>k</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188965&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188961&type= 48.00600052 6.85799980 式中， <math id="M3"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189226&type= 2.37066650 3.72533321 是像元 <math id="M4"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189266&type= 1.10066664 2.62466669 处的标记， <math id="M5"><mi>i</mi><mo>∈</mo><mi mathvariant="bold-italic">V</mi><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>N</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188990&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188985&type= 30.56466866 3.89466691 ， <math id="M6"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20188994&type= 2.53999996 2.62466669 是影像中的像元数；标记集合 <math id="M7"><mi mathvariant="bold-italic">B</mi><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mfenced separators="|"><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">0,1</mn></mrow></mfenced><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189002&type= 26.92399979 5.92666674 ， <math id="M8"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189012&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189009&type= 1.69333339 2.62466669 为0、1分别表示该像元标记为建筑物或非建筑物； f 是特征映射函数，把影像块与特征向量对应起来， f i （ y ）表示像元 i 处的特征。 在早期的基于CRF的分割方法（ Szummer等，2008 Szummer等，2008 ； Liu等，2015 Liu等，2015 ）中，首先从输入影像中提取和选择合适的特征，然后利用结构化支持向量机SSVM（Structured Support Vector Machine）（ Szummer等，2008 Szummer等，2008 ）或其他分类器来学习CRF的系数进行分割（ Zhong和Wang，2010 Zhong和Wang，2010 ； Xu等，2017 Xu等，2017 ）。这些方法的计算量较大，并且现有的势能函数不能充分考虑高分辨率影像自身的特点，缺乏大尺度的空间交互信息建模能力，容易产生不同程度的地物平滑结果。 Zhou等（2018） Zhou等（2018） 基于LinkNet（Exploiting Encoder Representations for Efficient Semantic Segmentation）网络（ Chaurasia和Culurciello，2017 Chaurasia和Culurciello，2017 ），提出了一个新的网络D-LinkNet（LinkNet with Pretrained Encoder and Dilated Convolution）（ Zhou等，2018 Zhou等，2018 ）。D-LinkNet参数少、计算高效，且能够利用影像多尺度的建筑物特征。然而，膨胀卷积的大量使用，使得相邻神经元之间的空间联系变弱，后面的网络层难以提取到影像中的局部空间信息。因此，本文提出全局局部一体化D-LinkNet学习影像特征，计算在像元 x i 处基于其特征向量取得的标记 b k 。 2.1.1　编码器与解码器构建 3 全局局部一体化D-LinkNet分为A、B、C等3个部分，分别命名为编码器、中心模块和解码器，如 图2 图2 所示。 全局局部一体化D-LinkNet编码器为在ImageNet（ Deng等，2009 Deng等，2009 ）数据集上预训练的深度残差网络ResNet（Residual Network ）（ He等，2016 He等，2016 ）。全局局部一体化D-LinkNet的解码器与D-LinkNet保持一致，使用全卷积结构。 在全局局部一体化D-LinkNet中，每个编码器都与解码器对应相连，使得每层解码器都可以获得编码器的学习结果，从而有效保留下采样过程中建筑物的细节特征。计算像元 x i 处基于其特征向量取得标记 b k 的概率可表示为 <math id="M9"><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>k</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189040&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189035&type= 23.96066666 6.09600019 ，完成整幅影像的计算后，给定阈值，解码器输出分类图。 2.1.2　全局局部多平行膨胀卷积模块的构建 3 不同建筑物尺度存在差异，难以从单一感受野中提取出足够的特征。针对该问题，全局局部一体化D-LinkNet构建了全局局部多平行膨胀卷积模块，该模块采用先增大膨胀率，再减小膨胀率的方式提取建筑物特征。除此之外，本文的膨胀卷积模块分为级联模式和并行模式的膨胀卷积，并行的膨胀卷积有效弥补了特征提取过程中局部结构信息丢失的问题。如 图3 图3 所示，从下至上，当堆叠的膨胀卷积的膨胀率设为1、2、4、8、3、1时，每一层的感受野大小分别为1、3、7、15、31、37、37。在每个分支中使用不同的膨胀率并行提取建筑物特征，最后所有分支特征通过相加操作得到最终的特征提取结果。由于每条路径的感受野不同，因此网络可以整合不同尺度的建筑物特征。 2.2　保持细节的二元势能函数 2 二元势能 <math id="M10"><msub><mrow><mi>ψ</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189068&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189063&type= 16.67933464 5.16466665 构建当前结点与其邻域结点之间的关系，引入该项使得在建筑物提取过程中可以考虑局部像元的空间交互。 2.2.1　局部类别标记代价 3 本文引入局部类别标记代价项，使得二元势能建模像元邻域平滑项与局部类别标记代价项的线性组合。该框架在分类迭代过程中可以充分考虑每一个像元的标记，利用细节信息。定义如下： <math display="block" id="M11"><msub><mrow><mi>ψ</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced><mo>+</mo><mi>θ</mi><mo>×</mo><msub><mrow><mi>Θ</mi></mrow><mrow><mi>B</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mtd><mtd><mi mathvariant="normal">其</mi><mi mathvariant="normal">他</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189078&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189073&type= 69.00333405 10.92199993 式中， <math id="M12"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189083&type= 8.04333401 4.57200003 表示建模相邻像元的空间平滑项， <math id="M13"><msub><mrow><mi>Θ</mi></mrow><mrow><mi>B</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">|</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189099&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189093&type= 16.67933464 5.16466665 是大小为 <math id="M14"><mfenced open="|" close="|" separators="|"><mrow><mi>B</mi></mrow></mfenced><mo>×</mo><mfenced open="|" close="|" separators="|"><mrow><mi>B</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189102&type= 13.37733269 3.72533321 的局部类别标记代价项，表示相邻像元 <math id="M15"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189226&type= 2.37066650 3.72533321 和 <math id="M16"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189233&type= 2.28600001 3.72533321 的相应标记间的惩罚。 <math id="M17"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189140&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189135&type= 1.77800000 2.70933342 是控制类别标记代价在二元势能中影响大小的参数。 函数 <math id="M18"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189150&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189145&type= 8.04333401 4.57200003 建模邻域像元 i 和 j 的空间交互关系，可以表示为（ Boykov和Jolly，2001 Boykov和Jolly，2001 ） <math display="block" id="M19"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced><mo>=</mo><mi>d</mi><mi>i</mi><mi>s</mi><mi>t</mi><msup><mrow><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mi>β</mi><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189157&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189153&type= 54.77933884 7.19666624 式中， <math id="M20"><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189169&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189164&type= 6.34999990 4.57200003 表示邻域像元的坐标对，函数 <math id="M21"><mi>d</mi><mi>i</mi><mi>s</mi><mi>t</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189177&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189174&type= 12.10733318 4.57200003 是其对应的欧几里得距离。 <math id="M22"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189181&type= 2.37066650 4.57200003 和 <math id="M23"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189189&type= 2.28600001 4.57200003 表示位置 <math id="M24"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189266&type= 1.10066664 2.62466669 和 <math id="M25"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189271&type= 0.84666669 3.47133350 处的光谱向量。参数 <math id="M26"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189214&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189210&type= 1.86266661 3.38666677 设置为影像中所有相邻像元光谱向量差异均方差两倍的倒数。 局部类别标记代价项 <math id="M27"><msub><mrow><mi>Θ</mi></mrow><mrow><mi>L</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189224&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189221&type= 17.44133186 5.33400011 使用观测影像数据建模各邻域类别标记 <math id="M28"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189226&type= 2.37066650 3.72533321 和 <math id="M29"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189233&type= 2.28600001 3.72533321 的空间关系，定义如下： <math display="block" id="M30"><msub><mrow><mi>Θ</mi></mrow><mrow><mi>L</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced><mo>=</mo><mfrac><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mfenced separators="|"><mrow><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced><mo>,</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced><mo>,</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>j</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189243&type= 65.19332886 15.23999977 由于类别概率 <math id="M31"><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189253&type= 16.59466553 6.09600019 可由全局局部一体化D-LinkNet得到，局部类别标记代价项也就是基于观测影像数据 <math id="M32"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189263&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189260&type= 1.69333339 3.47133350 的关于相邻位置 <math id="M33"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189266&type= 1.10066664 2.62466669 和 <math id="M34"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189271&type= 0.84666669 3.47133350 的当前标记的交互影响。因此，局部类别标记代价项的引入使得该框架能够在迭代过程中有效考虑所有像元的标记，保持建筑物的细节信息。 2.2.2　分割先验 3 当样本数量、精度及丰富度有限时，传统条件随机场的二元势能难以准确区分地物细节和影像噪声，而面向对象方法的基本分析单元为分割对象，因此可以利用更大尺度的空间信息，能够有效缓解建筑物和背景区域类内光谱差异性的影响（ Zhao等，2015 Zhao等，2015 ）。 分割先验基于分类图利用连通区域标记算法得到。本文使用并查集数据结构的经典八邻域连通区域标记算法得到分割对象（ Wu等，2009 Wu等，2009 ）。然后，基于原始建筑物提取图，可以通过最大投票策略获得每个分割对象的标记。分割先验可以定义为 <math display="block" id="M35"><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">g</mi></mrow></msub></mrow></mfenced><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow></mfenced><mo>,</mo><mi>k</mi><mo>∈</mo><mfenced open="|" close="|" separators="|"><mrow><mi>B</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20189278&type= 57.91199875 5.92666674 式中， b seg 表示像元所在分割区域的对象标记类别。 2.3　基于图割法的 α -expansion模型推理 2 在全局局部细节感知条件随机场模型中根据高分辨率影像的特点，针对建筑物提取构建了势函数。完成模型构建后需要通过模型推理预测测试影像的最优建筑物提取效果，即为像元获取最优的标签配置 x ，该最优配置是相对于代价函数定义的（ Kumar和Hebert，2003 Kumar和Hebert，2003 ）。为获取最优标记，研究学者提出了许多推理方法，如条件迭代算法ICM（Iterative Conditional Modes）和Graph-Cuts算法。然而ICM对于初始值的选择较为敏感，容易陷入局部最小值。本文采用基于Graph-Cuts的 α -expansion推理算法（ Boykov等，2001 Boykov等，2001 ）进行推理。 针对具有度量属性的能量函数， α -expansion算法设置了局部搜索策略，该策略可以解决当移动空间较小时算法易陷入局部最小解的问题。 α -expansion算法依据局部搜索策略在循环内部不断地通过Graph-Cuts算法进行迭代，每次迭代均计算二类标记问题的全局最小值。 3　实验数据与结果分析 1 3.1　数据集说明 2 WHU建筑物数据集（ Ji等，2019b Ji等，2019b ）由航空数据集和卫星数据集组成。航空影像数据取自新西兰，占地约450 km 2 ，地面分辨率降采样为0.3 m，包含超过187000栋标记良好的建筑物。区域内影像被裁剪成8189张512×512像素的影像，样本分为一个训练集、一个验证集和一个测试集，分别由4736幅影像、1036幅影像和2416幅影像组成。 东亚卫星影像数据由6幅邻近的卫星影像组成，地面分辨率为2.7 m，占地550 km 2 。整个影像被无缝裁剪成17388张512×512像素的影像，共包含29085栋建筑，样本分为一个训练集和一个测试集。其中，13662幅用于训练，3726幅用于测试。 3.2　实验设计 2 实验分别在WHU建筑物数据集的航空和卫星数据集上进行，将D-LinkNet（ Zhou等，2018 Zhou等，2018 ）、卷积条件随机场ConvCRF（Convolutional CRFs）（ Teichmann和Cipolla，2018 Teichmann和Cipolla，2018 ）、基于条件随机场的细节保持平滑分类器DPSCRF（Detail-Preserving Smoothing Classifier Based on Conditional Random Fields ）（ Zhao等，2015 Zhao等，2015 ）和全连接条件随机场FullCRF(Fully Connected / Dense CRF)（ Krähenbühl和Koltun，2012 Krähenbühl和Koltun，2012 ）作为对比实验进行分析。两个数据集上的实验设计和模型参数一致。其中，DPSCRF使用支持向量机SVM（Support Vector Machine）构建一元势能，二元势能建模像元空间邻域关系和局部类别标记代价项的线性组合，并采用面向对象思想，融合分割先验。FullCRF构建影像完整像元集的全连通CRF模型。ConvCRF在FullCRF的基础上使用ResNet构建一元势能，并在CRF推理中加入条件独立假设，可将大部分的推理形式化为卷积。 实验首先对高分辨率遥感影像应用SVM进行监督分类。选取感兴趣区，基于影像颜色特征使用SVM分类器对影像进行分类，将得到的分类结果用于构建DPSCRF的一元势能。ConvCRF的一元势能采用ResNet构建，实验中使用预先训练好的网络模型。在CRF推理部分将滤波器尺寸 k 设为3。对于本文模型，首先使用训练集中所有影像训练一元，然后在测试时统一对模型进行迭代推理。本文模型基于D-LinkNet34提出全局局部一体化D-LinkNet来取代CRF的一元势能，实验中堆叠的膨胀卷积的膨胀率设为1、2、4、8、3、1，最后融合包含原始特征图在内的7个分支。 本文选用3种精度作为建筑物提取的评价标准，分别为准确率（Accuracy：预测类别正确的像素数占总像素数的比例），精准率（Precision：类别内预测正确的比例），以及交并比（IoU：模型内对某一类别预测结果和真实值的交集与并集的比值）。 3.3　实验结果与分析 2 3.3.1　WHU航空数据集 3 原始影像如 图4 图4 （a）所示，对应的人工标注的建筑物区域如 图4 图4 （b）。 图5 图5 和 图6 图6 分别为使用不同模型对两组影像进行建筑物提取的结果。 1,2,3;4,5,6; 1,2,3;4,5,6; 从 图5 图5 和 图6 图6 中可以看出，DPSCRF的提取效果较差，存在较多的离散像素，且边界比较粗糙。FullCRF的效果一般，虽然没有明显的椒盐噪声，但也存在边界模糊现象。ConvCRF算法的建筑物提取效果较好，基本上不存在噪声，边界模糊问题也得到极大改善，然而对于小型建筑物，提取的边界比较粗糙。相比之下，D-LinkNet和本文方法能够提取出较为清晰的建筑物边界，且不存在噪声。除此之外，全局局部细节感知条件随机场模型去除了D-LinkNet误提取的小块建筑体，能够有效保持细节信息。 为定量评价模型提取建筑物的性能，分别计算了准确度、精密度以及IoU，如 表1 表1 所示。 方法 准确度/% 精密度/% IoU /% DPSCRF 91.45 80.00 67.74 FullCRF 95.34 81.04 80.01 ConvCRF 96.80 94.98 87.31 D-LinkNet 98.51 93.72 90.58 本文方法 98.55 94.97 91.72 从 表1 表1 中可以看出，DPSCRF和FullCRF的精度整体较差。而ConvCRF的IoU计算结果达到87.31%，其他指标也相对较高。D-LinkNet的准确率和IoU均高于ConvCRF，而精准率略低于ConvCRF，但二者的精度评价结果均明显高于DPSCRF和FullCRF，说明其能够良好的应用于建筑物提取领域。对于本文提出的模型，可以看到不论是准确度、精准度还是交并比，均高于其余4种模型，相对于D-LinkNet也有明显的提升。 为进一步验证该模型的有效性，本文对比了一些建筑物提取领域的前沿方法，包括SRI-Net（Spatial Residual Inception Convolutional Neural Network）（ Liu等，2019b Liu等，2019b ）、DE-Net（Deep Encoding Network）（ Liu等，2019a Liu等，2019a ）以及EU-Net（Effificient Fully Convolutional Network）（ Kang等，2019 Kang等，2019 ），其定量评价结果如 表2 表2 所示。 方法 IoU/% SRI-Net 89.09 DE-Net 90.12 EU-Net 90.56 本文方法 91.72 从 表2 表2 中可以看出，本文提出的全局局部细节感知条件随机场框架在前沿方法中也具有良好的竞争力。 3.3.2　WHU卫星数据集 3 原始影像如 图7（a） 图7（a） 所示，对应的人工标注的建筑物区域如 图7（b） 图7（b） ，其余为使用不同模型对两组影像进行建筑物提取的结果。 如 图7 图7 所示，FullCRF、ConvCRF和D-LinkNet提取出的建筑物体不完整。其中，FullCRF的建筑物提取整体效果最差。除较多的漏检问题外，也存在建筑物边界不规则和误检的问题。ConvCRF的漏检问题没有FullCRF严重，但其存在较明显的误检情况。相对于FullCRF和ConvCRF，D-LinkNet对于建筑物提取中存在的边界不规则问题有明显的改善。但其仍然存在一定程度的漏检和误检现象。从图中可以看出，本文方法提取的建筑物没有明显的误检、漏检问题，建筑物体边界也比较规则，具有良好的细节保持效果。 1,2,3;4,5,6; 本文对比了一些建筑物提取领域的前沿方法，如SR-FCN（Scale Robust Convolutional Neural Network）（ Ji等，2019b Ji等，2019b ），得到如 表3 表3 所示的建筑物提取定量评价结果。从 表3 表3 中可以看出，本文方法相对于其对比方法在精确度、精准度和交并比上均有明显的优势。其中，基于WHU卫星数据集的各模型提取的精确率相差不多。ConvCRF的IoU达78.82%，明显高于FullCRF和SR-FCN，其他指标也相对较高，说明该模型能够适应建筑物提取领域的应用。D-LinkNet的IoU值高于ConvCRF近10%，精准率也较高，说明D-LinkNet相比于ConvCRF具有更加精准的提取能力。本文方法在各检测指标上均领先于其余4种方法，具有良好的建筑物提取能力。 方法 准确度/% 精准度/% IoU/% FullCRF 98.19 51.98 49.32 SR-FCN — 79.00 64.00 ConvCRF 99.26 86.25 78.82 D-LinkNet 99.45 90.13 88.10 本文方法 99.53 91.81 89.82 与航空数据集不同，WHU卫星数据集的建筑物分布比较稀疏，影像分辨率也低于航空数据集。以上因素为本文模型提取建筑物带来了一定的困难，因此，卫星数据集测试得到的Precision、IoU均低于航空数据集。而从视觉效果上看，本文模型在卫星数据集上相较于D-LinkNet的提升更大。 3.4　参数敏感性分析 2 为探索模型中膨胀率变化对建筑物提取精度的影响，本文做了以下实验。首先遵循D-LinkNet的膨胀率设置，默认堆叠的膨胀卷积的膨胀率分别是1、2、4、8，测试模型精度并将其作为对比实验。当全局局部一体化D-LinkNet串联的膨胀卷积的膨胀率分别为1、2、4、8、3、1，1、2、4、8、4、2和1、2、4、8、3时，依次测试模型精度，如 图8 图8 所示。 1,2; 其中， 图8（a） 图8（a） 为不同膨胀率下模型的IoU变化， 图8（b） 图8（b） 为不同膨胀率下模型的准确度变化。从图中可以看出，相对于D-LinkNet，本文全局局部一体化D-LinkNet先增大膨胀率，再减小膨胀率的设置方式获得的建筑物提取精度均有所提高。当堆叠的膨胀卷积的膨胀率分别为1、2、4、8、3、1时，IoU和准确度均最高。 4　结论 1 本文提出了一种基于高分辨率遥感影像的全局局部细节感知条件随机场框架用于建筑物提取，并分别使用WHU建筑物数据集的航空和卫星影像进行测试，得出以下结论： （1）使用全局局部一体化D-LinkNet建模条件随机场模型的一元势能，能够实现不同尺度建筑物特征的有效结合，使得获取的建筑物体的结构更加完整。 （2）通过在二元势能构建中加入分割先验，能够有效处理影像中的噪声和光谱差异性的问题，得到背景干净的建筑物分类图。 （3）局部类别标记代价项的引入满足了建筑物提取任务对于建筑物细节信息提取的高要求，能够捕捉到网络难以识别的细节信息。 （4）模型在航空数据集与卫星数据集上均进行测试，IoU指标分别高达91.72%和89.82%，因此该框架能够同时适应航空和卫星数据集。 在已有的实验中，该框架的提取精度较高，但其训练和测试的数据仅局限于小尺度影像。未来将进一步研究大尺度高分辨率遥感影像在建筑物提取领域的应用，并尝试结合多源地理信息数据提取更完整的建筑物信息。 参考文献（References） AkÇay H G and Aksoy S . 2008 . Automatic detection of geospatial objects using multiple hierarchical segmentations . IEEE Transactions on Geoscience and Remote Sensing , 46 ( 7 ): 2097 - 2111 [ DOI: 10.1109/TGRS.2008.916644 http://dx.doi.org/10.1109/TGRS.2008.916644 ] Automatic detection of geospatial objects using multiple hierarchical segmentations Boykov Y , Veksler O and Zabih R . 2001 . Fast approximate energy minimization via graph cuts . IEEE Transactions on Pattern Analysis and Machine Intelligence , 23 ( 11 ): 1222 - 1239 [ DOI: 10.1109/34.969114 http://dx.doi.org/10.1109/34.969114 ] Fast approximate energy minimization via graph cuts Boykov Y Y and Jolly M P . 2001 . Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images // Proceedings Eighth IEEE International Conference on Computer Vision . ICCV 2001. Vancouver: IEEE: 105 - 112 [ DOI: 10.1109/ICCV.2001.937505 http://dx.doi.org/10.1109/ICCV.2001.937505 ] Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images Chaurasia A and Culurciello E . 2017 . Linknet: exploiting encoder representations for efficient semantic segmentation // 2017 IEEE Visual Communications and Image Processing (VCIP) . St. Petersburg : IEEE : 1 - 4 [ DOI: 10.1109/VCIP.2017.8305148 http://dx.doi.org/10.1109/VCIP.2017.8305148 ] Linknet: exploiting encoder representations for efficient semantic segmentation Chen K Q , Fu K , Gao X , Yan M L , Sun X and Zhang H . 2017 . Building extraction from remote sensing images with deep learning in a supervised manner // 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS) . Fort Worth : IEEE : 1672 - 1675 [ DOI: 10.1109/IGARSS.2017.8127295 http://dx.doi.org/10.1109/IGARSS.2017.8127295 ] Building extraction from remote sensing images with deep learning in a supervised manner Chen K Q , Gao X , Yan M L , Zhang Y and Sun X . 2020 . Building extraction in pixel level from aerial imagery with a deep encoder-decoder network . Journal of Remote Sensing , 24 ( 9 ): 1134 - 1142 Building extraction in pixel level from aerial imagery with a deep encoder-decoder network 陈凯强 , 高鑫 , 闫梦龙 , 张跃 , 孙显 . 2020 . 基于编解码网络的航空影像像素级建筑物提取 . 遥感学报 , 24 ( 9 ): 1134- 1142 [ DOI: 10.11834/jrs.20209056 http://dx.doi.org/10.11834/jrs.20209056 ] 基于编解码网络的航空影像像素级建筑物提取 Deng J , Dong W , Socher R , Li L J , Li K and Li F F . 2009 . ImageNet: a large-scale hierarchical image database // 2009 IEEE Conference on Computer Vision and Pattern Recognition . Miami : IEEE : 248 - 255 [ DOI: 10.1109/CVPR.2009.5206848 http://dx.doi.org/10.1109/CVPR.2009.5206848 ] ImageNet: a large-scale hierarchical image database Gao X J , Wang M W , Yang Y W and Li G Q . 2018 . Building extraction from RGB VHR images using shifted shadow algorithm . IEEE Access , 6 : 22034 - 22045 [ DOI: 10.1109/ACCESS.2018.2819705 http://dx.doi.org/10.1109/ACCESS.2018.2819705 ] Building extraction from RGB VHR images using shifted shadow algorithm He K M , Zhang X Y , Ren S Q and Sun J . 2016 . Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Las Vegas : IEEE : 770 - 778 [ DOI: 10.1109/CVPR.2016.90 http://dx.doi.org/10.1109/CVPR.2016.90 ] Deep residual learning for image recognition Huang J F , Zhang X C , Xin Q C , Sun Y and Zhang P C . 2019 . Automatic building extraction from high-resolution aerial images and LiDAR data using gated residual refinement network . ISPRS Journal of Photogrammetry and Remote Sensing , 151 : 91 - 105 [ DOI: 10.1016/j.isprsjprs.2019.02.019 http://dx.doi.org/10.1016/j.isprsjprs.2019.02.019 ] Automatic building extraction from high-resolution aerial images and LiDAR data using gated residual refinement network Huertas A and Nevatia R . 1988 . Detecting buildings in aerial images . Computer Vision, Graphics, and Image Processing , 41 ( 2 ): 131 - 152 [ DOI: 10.1016/0734-189X(88)90016-3 http://dx.doi.org/10.1016/0734-189X(88)90016-3 ] Detecting buildings in aerial images Ji S P , Wei S Q and Lu M . 2019b . A scale robust convolutional neural network for automatic building extraction from aerial and satellite imagery . International Journal of Remote Sensing , 40 ( 9 ): 3308 - 3322 [ DOI: 10.1080/01431161.2018.1528024 http://dx.doi.org/10.1080/01431161.2018.1528024 ] A scale robust convolutional neural network for automatic building extraction from aerial and satellite imagery Jun W , Qiming Q , Xin Y , Jianhua W , Xuebin Q and Xiucheng Y . 2016 . A Survey of Building Extraction Methods from Optical High Resolution Remote Sensing Imagery , Remote Sensing Technology and Application , 31 : 653 - 62 A Survey of Building Extraction Methods from Optical High Resolution Remote Sensing Imagery Kang W C , Xiang Y M , Wang F and You H J . 2019 . EU-Net: an efficient fully convolutional network for building extraction from optical remote sensing images . Remote Sensing , 11 ( 23 ): 2813 [ DOI: 10.3390/rs11232813 http://dx.doi.org/10.3390/rs11232813 ] EU-Net: an efficient fully convolutional network for building extraction from optical remote sensing images Karantzalos K and Paragios N . 2009 . Recognition-driven two-dimensional competing priors toward automatic and accurate building detection . IEEE Transactions on Geoscience and Remote Sensing , 47 ( 1 ): 133 - 144 [ DOI: 10.1109/TGRS.2008.2002027 http://dx.doi.org/10.1109/TGRS.2008.2002027 ] Recognition-driven two-dimensional competing priors toward automatic and accurate building detection Krähenbühl P and Koltun V . 2012 . Efficient inference in fully connected CRFs with Gaussian edge potentials // Advances in Neural Information Processing Systems . London : MIT : 109 - 117 Efficient inference in fully connected CRFs with Gaussian edge potentials Krizhevsky A , Sutskever I and Hinton G E . 2012 . ImageNet classification with deep convolutional neural networks // Proceedings of the 25th International Conference on Neural Information Processing Systems . Lake Tahoe : Curran Associates Inc. : 1097 - 1105 ImageNet classification with deep convolutional neural networks Kumar S and Hebert M H . 2003 . Discriminative random fields: A discriminative framework for contextual interaction in classification // Proceedings Ninth IEEE International Conference on Computer Vision . Nice : IEEE : 1150 - 1157 [ DOI: 10.1109/ICCV.2003.1238478 http://dx.doi.org/10.1109/ICCV.2003.1238478 ] Discriminative random fields: A discriminative framework for contextual interaction in classification Lafferty J D , McCallum A and Pereira F C N . 2001 . Conditional random fields: probabilistic models for segmenting and labeling sequence data // Proceedings of the Eighteenth International Conference on Machine Learning . San Francisco : Morgan Kaufmann Publishers : 282 - 289 [ DOI: 10.5555/645530.655813 http://dx.doi.org/10.5555/645530.655813 ] Conditional random fields: probabilistic models for segmenting and labeling sequence data Lai X D , Yang J R , Li Y X and Wang M W . 2019 . A building extraction approach based on the fusion of LiDAR point cloud and elevation map texture features . Remote Sensing , 11 ( 14 ): 1636 [ DOI: 10.3390/rs11141636 http://dx.doi.org/10.3390/rs11141636 ] A building extraction approach based on the fusion of LiDAR point cloud and elevation map texture features Li E , Femiani J , Xu S B , Zhang X P and Wonka P . 2015 . Robust rooftop extraction from visible band images using higher order CRF . IEEE Transactions on Geoscience and Remote Sensing , 53 ( 8 ): 4483 - 4495 [ DOI: 10.1109/TGRS.2015.2400462 http://dx.doi.org/10.1109/TGRS.2015.2400462 ] Robust rooftop extraction from visible band images using higher order CRF Li Q Y , Shi Y L , Huang X and Zhu X X . 2020 . Building footprint generation by integrating convolution neural network with Feature Pairwise Conditional Random Field (FPCRF) . IEEE Transactions on Geoscience and Remote Sensing , 58 ( 11 ): 7502 - 7519 [ DOI: 10.1109/TGRS.2020.2973720 http://dx.doi.org/10.1109/TGRS.2020.2973720 ] Building footprint generation by integrating convolution neural network with Feature Pairwise Conditional Random Field (FPCRF) Liu F Y , Lin G H and Shen C H . 2015 . CRF learning with CNN features for image segmentation . Pattern Recognition , 48 ( 10 ): 2983 - 2992 [ DOI: 10.1016/j.patcog.2015.04.019 http://dx.doi.org/10.1016/j.patcog.2015.04.019 ] CRF learning with CNN features for image segmentation Liu H , Luo J C , Huang B , Hu X D , Sun Y W , Yang Y P , Xu N and Zhou N . 2019a . DE-Net: deep encoding network for building extraction from high-resolution remote sensing imagery . Remote Sensing , 11 ( 20 ): 2380 [ DOI: 10.3390/rs11202380 http://dx.doi.org/10.3390/rs11202380 ] DE-Net: deep encoding network for building extraction from high-resolution remote sensing imagery Liu P H , Liu X P , Liu M X , Shi Q , Yang J X , Xu X C and Zhang Y Y . 2019b . Building footprint extraction from high-resolution images via spatial residual inception convolutional neural network . Remote Sensing , 11 ( 7 ): 830 [ DOI: 10.3390/rs11070830 http://dx.doi.org/10.3390/rs11070830 ] Building footprint extraction from high-resolution images via spatial residual inception convolutional neural network Mayer H . 1999 . Automatic object extraction from aerial imagery—a survey focusing on buildings . Computer Vision and Image Understanding , 74 ( 2 ): 138 - 149 [10.1006/cviu.1999. 0750 ] Automatic object extraction from aerial imagery—a survey focusing on buildings Qiao C , Luo J C , Wu Q Y , Shen Z F and Wang H . 2008 . Object-Oriented method based urban building extraction from high resolution remote sensing image . Geography and Geo-Information Science , 24 ( 5 ): 36 - 39 Object-Oriented method based urban building extraction from high resolution remote sensing image 乔程 , 骆剑承 , 吴泉源 , 沈占锋 , 王宏 . 2008 . 面向对象的高分辨率影像城市建筑物提取 . 地理与地理信息科学 , 24 ( 5 ): 36 - 39 面向对象的高分辨率影像城市建筑物提取 Shrestha S and Vanneschi L . 2018 . Improved fully convolutional network with conditional random fields for building extraction . Remote Sensing , 10 ( 7 ): 1135 [ DOI: 10.3390/rs10071135 http://dx.doi.org/10.3390/rs10071135 ] Improved fully convolutional network with conditional random fields for building extraction Sun J X , Li W H , Zhang Y and Gong W G . 2019 . Building segmentation of remote sensing images using deep neural networks and domain transform CRF // Proceedings Volume 11155 , Image and Signal Processing for Remote Sensing XXV. Strasbourg : SPIE : 111550 N [ DOI: 10.1117/12.2532662 http://dx.doi.org/10.1117/12.2532662 ] Building segmentation of remote sensing images using deep neural networks and domain transform CRF Szummer M , Kohli P and Hoiem D . 2008 . Learning CRFs using graph cuts // European Conference on Computer Vision . Marseille : ECCV Learning CRFs using graph cuts Teichmann M T T and Cipolla R . 2018 . Convolutional CRFs for semantic segmentation [EB/OL]. https://arxiv.org/abs/1805.04777 https://arxiv.org/abs/1805.04777 Convolutional CRFs for semantic segmentation Wang Y J , Jiang T P , Yu M , Tao S B , Sun J and Liu S . 2020 . Semantic-based building extraction from LiDAR point clouds using contexts and optimization in complex environment . Sensors , 20 ( 12 ): 3386 [ DOI: 10.3390/s20123386 http://dx.doi.org/10.3390/s20123386 ] Semantic-based building extraction from LiDAR point clouds using contexts and optimization in complex environment Wegne J D , Soergel U and Rosenhahn B . 2011 . Segment-based building detection with conditional random fields // 2011 Joint Urban Remote Sensing Event . Munich : IEEE : 205 - 208 [ DOI: 10.1109/JURSE.2011.5764756 http://dx.doi.org/10.1109/JURSE.2011.5764756 ] Segment-based building detection with conditional random fields Wu K S , Otoo E and Suzuki K . 2009 . Optimizing two-pass connected-component labeling algorithms . Pattern Analysis and Applications , 12 ( 2 ): 117 - 135 [ DOI: 10.1007/s10044-008-0109-y http://dx.doi.org/10.1007/s10044-008-0109-y ] Optimizing two-pass connected-component labeling algorithms Xu L L , Clausi D A , Li F and Wong A . 2017 . Weakly supervised classification of remotely sensed imagery using label constraint and edge penalty . IEEE Transactions on Geoscience and Remote Sensing , 55 ( 3 ): 1424 - 1436 [ DOI: 10.1109/TGRS.2016.2623942 http://dx.doi.org/10.1109/TGRS.2016.2623942 ] Weakly supervised classification of remotely sensed imagery using label constraint and edge penalty Xu Y Y , Wu L , Xie Z and Chen Z L . 2018 . Building extraction in very high resolution remote sensing imagery using deep learning and guided filters . Remote Sensing , 10 ( 1 ): 144 [ DOI: 10.3390/rs10010144 http://dx.doi.org/10.3390/rs10010144 ] Building extraction in very high resolution remote sensing imagery using deep learning and guided filters Zhao J , Zhong Y F and Zhang L P . 2015 . Detail-preserving smoothing classifier based on conditional random fields for high spatial resolution remote sensing imagery . IEEE Transactions on Geoscience and Remote Sensing , 53 ( 5 ): 2440 - 2452 [ DOI: 10.1109/TGRS.2014.2360100 http://dx.doi.org/10.1109/TGRS.2014.2360100 ] Detail-preserving smoothing classifier based on conditional random fields for high spatial resolution remote sensing imagery Zhong P and Wang R S . 2010 . Learning conditional random fields for classification of hyperspectral images . IEEE transactions on image processing , 19 ( 7 ): 1890 - 1907 [ DOI: 10.1109/TIP.2010.2045034 http://dx.doi.org/10.1109/TIP.2010.2045034 ] Learning conditional random fields for classification of hyperspectral images Zhou L C , Zhang C and Wu M . 2018 . D-LinkNet: linknet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) . Salt Lake City : IEEE : 192 - 1924 [ DOI: 10.1109/CVPRW.2018.00034 http://dx.doi.org/10.1109/CVPRW.2018.00034 ] D-LinkNet: linknet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction Zhu Q , Wang J , Liu X Y , Zhou Z W , Ma Z W and Gao X J . 2020 . Accurate extraction of buildings from remote sensing images based on improved Markov random field. Computer and Modernization, (7): 104 - 110 Accurate extraction of buildings from remote sensing images based on improved Markov random field. Computer and Modernization, (7): 朱恰 , 王建 , 刘星雨 , 周再文 , 马紫雯 , 高贤君 . 2020 . 基于改进MRF的遥感影像建筑物精提取. 计算机与现代化, (7): 104 - 110 [DOI: 10.3969/j.issn.1006-2475.2020.07.020] 基于改进MRF的遥感影像建筑物精提取. 计算机与现代化, (7): Zhu Q Q . 2018 . Topic Model for High Resolution Remote Sensing Imagery Semantic Scene Understanding . Wuhan : Wuhan University : 147 Topic Model for High Resolution Remote Sensing Imagery Semantic Scene Understanding 朱祺琪 . 2018 . 面向高分辨率遥感影像场景语义理解的概率主题模型研究 . 武汉 : 武汉大学 : 147 面向高分辨率遥感影像场景语义理解的概率主题模型研究 10.11834/jrs.20210360 1007-4619（2021）07-1422-12 朱祺琪，李真，张亚男，李佳伦，杜禹强，关庆锋，李德仁.2021.全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取.遥感学报，25（7）： 1422-1433 朱祺琪，李真，张亚男，李佳伦，杜禹强，关庆锋，李德仁.2021.全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取.遥感学报，25（7）： 1422-1433 Zhu Q Q，Li Z，Zhang Y N，Li J L，Du Y Q，Guan Q F and Li D R. 2021. Global-Local-Aware conditional random fields based building extraction for high spatial resolution remote sensing images. National Remote Sensing Bulletin， 25（7）：1422-1433 Zhu Q Q，Li Z，Zhang Y N，Li J L，Du Y Q，Guan Q F and Li D R. 2021. Global-Local-Aware conditional random fields based building extraction for high spatial resolution remote sensing images. National Remote Sensing Bulletin， 25（7）：1422-1433 国家自然科学基金（编号：41901306） Supported by National Natural Science Foundation of China (No. 41901306) 2020-08-31 2021-07-07 2021-09-18 2021-04-04 遥感学报 7 25