基于面向对象孪生神经网络的高分辨率遥感影像建筑物变化检测

基于面向对象孪生神经网络的高分辨率遥感影像建筑物变化检测 The use of object-based Siamese neural network for building change detection from Very High Resolution remote sensing images 1 2 first-author 刘宣广，研究方向为遥感图像智能处理与分析、遥感变化检测。E-mail： 205527025@fzu.edu.cn 刘宣广，研究方向为遥感图像智能处理与分析、遥感变化检测。E-mail： 205527025@fzu.edu.cn 205527025@fzu.edu.cn 1 2 corresp 李蒙蒙，研究方向为高分辨率遥感图像智能处理、机器学习、城市土地利用分类。E-mail： mli@fzu.edu.cn 李蒙蒙，研究方向为高分辨率遥感图像智能处理、机器学习、城市土地利用分类。E-mail： mli@fzu.edu.cn mli@fzu.edu.cn 1 2 3 福州大学 数字中国研究院(福建), 福州 350108 福州大学 数字中国研究院(福建), 福州 350108 Academy of Digital China (Fujian), Fuzhou University, Fuzhou 350116, China Academy of Digital China (Fujian), Fuzhou University, Fuzhou 350116, China 福州大学 空间数据挖掘与信息共享教育部重点实验室, 福州 350108 福州大学 空间数据挖掘与信息共享教育部重点实验室, 福州 350108 Key Laboratory of Spatial Data Mining and Information Sharing of Ministry of Education, Fuzhou University, Fuzhou 350116, China Key Laboratory of Spatial Data Mining and Information Sharing of Ministry of Education, Fuzhou University, Fuzhou 350116, China 信息工程大学地理空间信息学院, 郑州 450001 信息工程大学地理空间信息学院, 郑州 450001 Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China 建筑物变化检测在城市环境监测、土地规划管理和违章违规建筑识别等应用中具有重要作用。针对传统孪生神经网络在影像变化检测中存在的检测边界与实际边界吻合度低的问题，本文结合面向对象图像分析技术，提出一种基于面向对象孪生神经网络（Obj-SiamNet）的高分辨率遥感影像变化检测方法，利用模糊集理论自动融合多尺度下的变化检测结果，并通过生成对抗网络实现训练样本迁移。该方法应用在高分二号和高分七号高分辨率卫星影像中，并与基于时空自注意力的变化检测模型（STANet）、视觉变化检测网络（ChangeNet）和孪生UNet神经网络模型（Siam-NestedUNet）进行比较。结果表明：（1）融合面向对象多尺度分割的检测结果较单一尺度分割的检测结果，召回率最高提升32%，F1指数最高提升25%，全局总体误差（GTC）最高降低7%；（2）在样本数量有限的情况下，通过生成对抗网络进行样本迁移，与未使用样本迁移前的检测结果相比，召回率最高提升16%，F1指数最高提升14%，GTC降低了9%；（3）Obj-SiamNet方法较其他变化检测方法，整体检测精度得到提升，F1指数最高提升23%，GTC最高降低9%。该方法有效提高了建筑物变化检测在几何和属性方面的精度，并能有效利用开放地理数据集，降低了模型训练样本制作成本，提升了检测效率和适用性。 （Objective） 2 Building change detection is essential to many applications, such as monitoring of urban areas, land use management, and illegal building detection. It has been seen as an effective means to detect building changes from remote sensing images. （Method） 2 This paper proposes an object-based Siamese neural network, labelled as Obj-SiamNet, to detect building changes from high-resolution remote sensing images. We combine the advantages of object-based image analysis methods and Siamese neural networks to improve the geometric accuracies of detected boundaries. Moreover, we implement the Obj-SiamNet at multiple segmentation levels, and construct a set of fuzzy measures to fuse the obtained results at multi-levels automatically. Furthermore, we use generative adversarial methods to generate target-like training samples from publicly available datasets to construct a relatively sufficient training dataset for the Obj-SiamNet model. Finally, we applied the proposed method into three high-resolution remote sensing datasets, i.e., a GF2 image-pair in Fuzhou City, and a GF2 image-pair in Pucheng County, and a GF2-GF7 image pair in Quanzhou City, respectively. We also compared the proposed method with three other existing methods, i.e., STANet, ChangeNet, and Siam-NestedUNet. （Result） 2 Experimental results show that the proposed method performed better than three other methods in terms of detection accuracy. More specifically, (1) Compared with the detection results from single-scale segmentation, the detection results from multi-scale increased the recall rate by up to 32%, the F1-Score increased by up to 25%, and the global total classification error (GTC) reduced by up to 7%; (2) When a limited number of samples was available, the adopted generative adversarial network (GAN) was able to generate effective target-like samples for diverting samples. Compared with the detection without using GAN-generated samples, the proposed detection increased the recall rate by up to 16%, F1-Score by up to 14%, and reduced GTC by 9%; (3) Compared with other change detection methods, the proposed method improved the detection accuracies significantly, namely, the F1-Score increased by up to 23%, and GTC reduced by up to 9%. Moreover, the boundaries of the detected changes by the proposed method have a high consistency with that of ground truth. （Conclusion） 2 We conclude that the proposed Obj-SiamNet method has a high potential for building change detection from high-resolution remote sensing images. 遥感变化检测 孪生神经网络 面向对象多尺度分析 模糊集融合 生成对抗网络 高分辨率遥感影像 change detection of remote sensing Siamese Neural Network object-based multi-scale analysis fuzzy sets fusion Generative Adversarial Network Very High Resolution remote sensing images 1　引 言 1 建筑物变化检测是获取建筑物状态变化信息的常用手段，在城市环境监测、土地规划管理和违章违规建筑识别等应用中具有重要作用（ 周启鸣，2011 周启鸣，2011 ； 佟国峰等，2015 佟国峰等，2015 ）。遥感变化检测泛指通过对比分析同一区域不同时期遥感数据来获得地物变化情况的技术（ 孙晓霞等，2011 孙晓霞等，2011 ； 眭海刚等，2018 眭海刚等，2018 ； Wen等，2021 Wen等，2021 ）。面向中低等分辨率遥感影像，国内外学者提出了众多基于像素的变化检测方法，如变化向量分析方法（Change vector analysis）（ 陈晋等，2001 陈晋等，2001 ；柳思聪等，2011），通过对比不同时相影像间的光谱差值来识别变化程度。此外，分类后比较也是一种常用的变化检测方法（ Coulter等，2016 Coulter等，2016 ； Xu等，2018 Xu等，2018 ； Paul等，2021 Paul等，2021 ； Wang等，2020 Wang等，2020 ），但该类方法受影像分类精度影响较大。 随着众多高空间分辨率（简称“高分辨”）卫星的发射，如美国GeoEye和Worldview系列、法国Pleiades系列，以及中国高分系列卫星，基于高分辨影像的建筑物变化检测获得了广泛关注。高分辨影像具有丰富的空间细节信息，可有效识别建筑物的精细变化，但高分辨影像通常在卫星拍摄时难以保持正射姿态，存在建筑物形变和位移问题，利用传统的基于像素的方法在高分辨影像变化检测中易产生较明显的检测噪音，识别精度较低（ Wen等，2021 Wen等，2021 ）。 对于高分辨遥感影像变化检测，许多学者研究基于面向对象的变化检测方法。以图像分割对象为基本分析单元进行变化识别，可充分利用对象上下文信息，并突出高分辨影像的纹理和空间特征，能有效避免独立像元的光谱差异对检测结果的影响（ Blaschke，2010 Blaschke，2010 ； Liu等，2021 Liu等，2021 ），取得比基于像素检测方法更精确的结果（ Desclée等，2006 Desclée等，2006 ； 冯文卿等，2015 冯文卿等，2015 ； Huang，2018 Huang，2018 ； Wen等，2019 Wen等，2019 ）。但面向对象检测方法依赖于图像分割效果，特别是在复杂的城市环境中，分割对象难以精准的描绘地物对象几何轮廓，影响面向对象变化检测精度（ 黄鹏等，2020 黄鹏等，2020 ）。 随着深度学习技术发展以及在遥感图像专题信息提取中的成功应用，越来越多的研究学者开展基于深度学习的遥感变化检测研究，提出不少基于深度神经网络的变化检测方法（ Khelifi等，2020 Khelifi等，2020 ），如深度信念网络（Deep Belief Networks）、栈式自编码神经网络（Stacked AutoEncoder）（ Zabalza等，2016 Zabalza等，2016 ）、孪生神经网络（Siamese neural network）等。其中，孪生神经网络使用两个相同的神经网络对输入图像进行深层特征提取，根据特征相似度来获取变化信息（Chopra等，1993；Hinton等，2010； Yang等，2020 Yang等，2020 ）。如 Zhang等（2019） Zhang等（2019） 使用轻量级伪孪生卷积神经网络（PSI-CNN）进行建筑物变化检测；随后 Chen等（2020） Chen等（2020） 使用集成金字塔注意力机制的孪生神经网络进行建筑物变化检测；Li等（2020）使用UNet++孪生神经网络对高分辨影像进行变化检测； Zhu等（2022） Zhu等（2022） 构建了一种孪生全局学习（Siam-GL）方法进行高分辨遥感影像变化检测。这些深度学习方法多在像素级进行变化检测，检测结果边界锯齿状明显，与实际变化边界吻合度不高。为解决这一问题，最近一些研究将面向对象和深度学习技术相结合进行变化检测，以图像分割对象为基本分析单元，有效降低了像素级变化检测中常见的椒盐噪声。如 Liu等（2021） Liu等（2021） 结合面向对象技术和卷积神经网络进行影像变化检测，获得了成功应用，但不同尺度分割结果对检测效果的影响仍需进一步研究。 此外，使用深度学习进行遥感变化检测需要大量样本。为降低模型训练样本库构建的成本， Goodfellow等（2014） Goodfellow等（2014） 提出利用生成对抗网络（Generative Adversarial Nets，GAN）提升样本库构建效率。随后，基于GAN模型，产生了许多该模型变体（ Radford等，2015 Radford等，2015 ； Isola等，2017 Isola等，2017 ； Karras等，2017 Karras等，2017 ）。如， Zhu等（2017） Zhu等（2017） 提出的Cycle GANs模型。有些研究学者将GAN与变化检测相结合， 王玉龙等（2019） 王玉龙等（2019） 创建一种基于GAN的新增建筑变化检测模型（CDGAN），提升了遥感影像中地面新增建筑物的检测精度； Peng等（2020） Peng等（2020） 提出了一种基于GAN的半监督卷积网络，减少了训练数据集对于变化检测深度模型性能的限制。 本文提出一种面向对象孪生神经网络（Obj-SiamNet）的高分辨率遥感影像变化检测方法，结合面向对象分析思想，解决传统孪生神经网络变化检测结果中存在的检测边界与实际边界吻合度低的问题。在决策级构建基于模糊集的多尺度自动融合方法，避免单一图像分割尺度下Obj-SiamNet检测效果不佳的情况（这里“尺度”指图像分割的精细程度）。此外，使用循环生成对抗网络迁移模型训练样本，提升该检测方法的适用性。 2　研究方法 1 基于面向对象孪生神经网络高分辨影像建筑物变化检测的技术路线如 图1 图1 所示。首先，对双时相高分辨影像预处理，叠加双时相影像进行多尺度图像分割。然后，构建面向对象孪生神经网络，训练网络模型和检测影像变化信息。在此基础上，利用模糊集自动融合多尺度下的变化检测结果。最后，利用生成对抗网络将开放地理数据集样本信息迁移至目标域，降低样本集制作成本，提升检测模型的适用性。 2.1　面向对象孪生神经网络构建 2 广义上，孪生神经网络由两个相同或不同的神经网络耦合而成。 图2 图2 -a展示了由两个相同且共享权值的深度残差网络（Residual Network， ResNet）（He等，2015）组成的孪生神经网络，分别提取图像 <math id="M1"><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727117&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727116&type= 3.21733332 3.72533321 和 <math id="M2"><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727170&type= 3.21733332 3.72533321 的图像特征 <math id="M3"><msup><mrow><mi>X</mi></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727171&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727119&type= 4.40266657 2.96333337 和 <math id="M4"><msup><mrow><mi>X</mi></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727173&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727172&type= 4.40266657 2.96333337 ，通过计算特征间欧式距离量化特征差异度（沈雁等，2018）（ 图2 图2 -b）。借鉴面向对象图像分析思想，以图像分割对象为基本分析单元，在对象层级提取孪生神经网络图像特征，进而计算不同时相影像对象间的特征差异度。 2.1.1　多尺度图像分割 3 多分辨率分割算法（multi-resolution image segmentation）（ Benz等，2004 Benz等，2004 ）是遥感影像最常用的分割方法。本文采用对叠加的双时相影像进行图像分割，具体使用eCognition软件中的多分辨率分割功能进行分割操作，通过设置不同的尺度（scale）参数可获得多个尺度下的分割对象。 2.1.2　孪生图像特征提取器构建 3 面向对象孪生神经网络Obj-SiamNet的特征提取器包含编码器和解码器两个模块。编码器的主干网络采用ResNet模型，ResNet通过在卷积神经网络中增加残差模块，使深层神经网络实现恒等变换，解决了随网络深度不断增加，模型性能降低的问题，提升模型准确率。根据网络深度不同，ResNet拥有ResNet18，34，50，101等多个具体模型。 He等（2016） He等（2016） 指出ResNet模型的特征提取能力随网络层数增加而提升，但层数越深，性能提升幅度越小。综合考虑模型性能及训练成本，本文使用ResNet34构建Obj-SiamNet的编码器，并在编码器中保留ResNet34的4个残差模块，但移除全连接层和全局池化层（ 图3 图3 ）。 此外，使用多个上采样模块作为Obj-SiamNet的解码器，并加入卷积块注意模块（Convolutional Block Attention Module）（ Woo等，2018 Woo等，2018 ），用以学习深层图像特征的关键信息（ 图3 图3 ）。 2.1.3　图像变化特征差异度计算 3 基于孪生图像特征，可计算不同时相影像像素级特征差异度，并可根据图像分割对象，进一步计算不同时相影像对象级特征差异度。具体过程如下： 首先获取像素级特征差异度，令 <math id="M5"><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">j</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727181&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727180&type= 3.80999994 4.06400013 和 <math id="M6"><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">j</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727182&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727120&type= 3.80999994 4.06400013 分别为图像 <math id="M7"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727183&type= 3.38666677 3.72533321 和 <math id="M8"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727186&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727185&type= 3.38666677 3.72533321 在像素 <math id="M9"><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727188&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727187&type= 6.68866634 3.64066648 位置的特征向量， <math id="M10"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727216&type= 2.62466669 2.62466669 为该像素在不同时相间的特征差异度，可通过计算 <math id="M11"><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">j</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727122&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727121&type= 3.80999994 4.06400013 和 <math id="M12"><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">j</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727191&type= 3.80999994 4.06400013 的欧式距离获得： <math display="block" id="M13"><mi>D</mi><mo>=</mo><mroot><mrow><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msubsup></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727199&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727198&type= 25.90800095 7.45066643 另外，像素级特征差异度 <math id="M14"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727216&type= 2.62466669 2.62466669 在模型训练阶段也用来计算损失值，本文采用对比损失函数（Contrastive Loss）（ Hadsell等，2006 Hadsell等，2006 ）计算损失值，该损失函数可有效处理孪生神经网络中成对匹配数据的关系： <math display="block" id="M15"><mtable columnalign="left"><mtr><mtd><mi>L</mi><mo stretchy="false">(</mo><mi>D</mi><mo>,</mo><mi>M</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mo stretchy="false">[</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>u</mi></mrow></msub></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>⋅</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mo>+</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mo>⋅</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>m</mi><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727202&type= 53.93266296 18.96533203 式中， <math id="M16"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727204&type= 3.04800010 2.62466669 为变化标签图， m 为设定的阈值，只考虑像素级差异度 <math id="M17"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727216&type= 2.62466669 2.62466669 在0至 m 之间，差异度 <math id="M18"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727216&type= 2.62466669 2.62466669 超过 m 的，则把其损失率记为0。 <math id="M19"><msub><mrow><mi>n</mi></mrow><mrow><mi>u</mi></mrow></msub><mo>,</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727210&type= 7.78933382 4.23333359 分别代表标签图中未变化和变化像素数量，计算公式为： <math display="block" id="M20"><msub><mrow><mi>n</mi></mrow><mrow><mi>u</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727213&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727212&type= 22.01333237 7.02733374 <math display="block" id="M21"><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727215&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727214&type= 15.49400043 7.02733374 在对象层级检测建筑物变化，可保留图像分割中获得的边界信息（ Tang等，2020 Tang等，2020 ），提升检测边界与实际变化边界的吻合度。将像素级特征差异度 <math id="M22"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727216&type= 2.62466669 2.62466669 根据分割对象转换为对象级特征差异度 <math id="M23"><msub><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi mathvariant="bold-italic">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727240&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727239&type= 4.06400013 3.72533321 ，计算公式为： <math display="block" id="M24"><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>R</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727220&type= 16.84866714 11.51466751 式中， <math id="M25"><msub><mrow><mi>N</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727223&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727222&type= 3.89466691 3.72533321 指图像对象 R 中像素的个数。 2.1.4　Obj-SiamNet模型训练和预测 3 同ResNet模型相似，Obj-SiamNet模型训练和预测时需要输入尺寸为256×256像素的图片。在制作Obj-SiamNet训练样本时，考虑到图像分割对象尺寸和形状不同，对每个分割对象样本，以其质心为中心点定义一个尺寸为256×256像素的矩形框，将此矩形框包围的图像区域作为对应的Obj-SiamNet训练样本（ Zhang等，2018 Zhang等，2018 ； Huang等，2018 Huang等，2018 ）。同理，在对每个分割对象进行预测时，采用相同的方法将对象裁剪成尺寸为256×256像素的图片。需要注意的是，在对象级特征差异度计算时，仅考虑图像对象与其矩形框重叠的区域（如 图4 图4 ）。 2.2　多尺度变化信息融合 2 本文基于模糊集理论，构建一组考虑检测结果不确定性的模糊集指标（ Li等，2016 Li等，2016 ），自动融合多尺度对象级特征差异度。 首先获取不同分割尺度下的对象级特征差异度 <math id="M26"><msub><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi mathvariant="bold-italic">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727240&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727239&type= 4.06400013 3.72533321 ，定义隶属度函数 <math id="M27"><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727229&type= 8.89000034 4.74133301 ，量化图像对象 R 在不同时相上变化的可能性 <math id="M28"><msub><mrow><mi>μ</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727233&type= 3.38666677 4.48733330 。偏大型的S型隶属度函数在影像模糊分割处理时具有良好的鲁棒性和准确性（ Tobias and Seara，2003 Tobias and Seara，2003 ），因此使用S型隶属函数计算 <math id="M29"><msub><mrow><mi>μ</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727233&type= 3.38666677 4.48733330 ，公式如下： <math id="M30"><msub><mrow><mi>μ</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>,</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mi>c</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>≤</mo><mi>a</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">2</mn><msup><mrow><mo stretchy="false">(</mo><mfrac><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>-</mo><mi>c</mi></mrow><mrow><mi>c</mi><mo>-</mo><mi>a</mi></mrow></mfrac><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo><mi>a</mi><mo><</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>≤</mo><mi mathvariant="normal">b</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn><mo>-</mo><mn mathvariant="normal">2</mn><msup><mrow><mo stretchy="false">(</mo><mfrac><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>-</mo><mi>c</mi></mrow><mrow><mi>c</mi><mo>-</mo><mi>a</mi></mrow></mfrac><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo><mi>b</mi><mo><</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>≤</mo><mi>c</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><mi>D</mi><mo>></mo><mi>c</mi></mtd></mtr></mtable></mrow></mfenced><mtext>                                                                 </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727236&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727235&type= 128.01600647 28.27866554 (6) 式中，隶属度函数参数 <math id="M31"><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727237&type= 8.63599968 3.13266683 定义了函数的形状（ 图5 图5 ）。关于参数 c ，本文基于格网搜索法，遍历对象差异度 <math id="M32"><msub><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi mathvariant="bold-italic">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727240&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727239&type= 4.06400013 3.72533321 值范围，依次作为参数值 c 来计算隶属度并得到变化结果，根据下式计算各变化结果的 F1 指数。 <math display="block" id="M33"><mi>F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mn mathvariant="normal">2</mn><mo>×</mo><mfrac><mrow><mi>R</mi><mo>×</mo><mi>P</mi></mrow><mrow><mi>R</mi><mo>+</mo><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727242&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727241&type= 24.80733490 7.36600018 式中， R 为召回率， P 为精确率。 使用S型隶属度函数求得对象 R 在多层分割尺度上对应的不同隶属度值，本文选择三层分割尺度，对应隶属度值分别为 <math id="M34"><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727309&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727308&type= 13.29266548 4.57200003 。 借鉴 Li等（2016） Li等（2016） ，将三层分割尺度下的隶属度值 <math id="M35"><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727248&type= 13.29266548 4.57200003 中的最大值作为对象 R 变化的可能性 <math id="M36"><mo>∏</mo><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727251&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727250&type= 15.83266735 4.82600021 ，根据 <math id="M37"><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727309&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727308&type= 13.29266548 4.57200003 计算对象 R 未变化的可能性 <math id="M38"><mo>∏</mo><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727194&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727193&type= 16.76399994 4.82600021 ；在此基础上，计算对象 R 变化的确定性 <math id="M39"><mi>N</mi><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727278&type= 14.13933277 4.57200003 和未变化的确定性 <math id="M40"><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727197&type= 15.07066536 3.97933316 。具体计算如下： <math display="block" id="M41"><mo>∏</mo><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727256&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727255&type= 41.48666382 4.82600021 <math display="block" id="M42"><mo>∏</mo><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727258&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727257&type= 60.70600128 4.82600021 <math display="block" id="M43"><mi>N</mi><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mo>∏</mo><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727273&type= 40.63999939 4.82600021 <math display="block" id="M44"><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mo>∏</mo><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727260&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727259&type= 40.63999939 4.82600021 若 <math id="M45"><mo>∏</mo><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727276&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727275&type= 15.83266735 4.82600021 > <math id="M46"><mo>∏</mo><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727277&type= 16.76399994 4.82600021 ，并且 <math id="M47"><mi>N</mi><mo stretchy="false">(</mo><mi>C</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727278&type= 14.13933277 4.57200003 > <math id="M48"><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi>C</mi><mi>D</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>R</mi><mo>,</mo><mi>P</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727263&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727279&type= 15.07066536 3.97933316 ，则自动判定对象 R 发生变化。 2.3　基于生成对抗网络的样本迁移 2 使用循环生成对抗网络（Cycle GANs）（ Zhu等，2017 Zhu等，2017 ）进行样本迁移，生成具有多样高级语义特征的样本来充实训练集数据，以降低样本库制作成本，提升建筑物变化检测性能和Obj-SiamNet模型的适用性。具体地，Cycle GANs由两个生成器和两个判别器组成，判别器计算生成器所产成的数据与目标域数据的差异度，并将结果反馈给生成器，逐步指导生成器将随机噪声分布尽量拟合到目标域数据的真实分布（ Zhu等，2017 Zhu等，2017 ）。经典生成对抗网络的训练数据要求成对匹配，而Cycle GANs不受此限制，并可将源域数据与目标域数据相互转换。该模型由两个对称的GAN结合，每个GAN均包含一个生成器和一个判别器（ 图6 图6 ）。 在GF-2、GF-7影像上制作少量研究区样本集，与公开数据集共同训练Cycle GANs，将公开数据集转为仿研究区数据集。为避免正负样本不平衡问题，统计每个样本标签中变化像元占全部像元的比例，即样本变化程度。据此挑选研究区和仿研究区数据集中建筑物变化程度在20%-80%之间的样本用以构建模型训练样本库。 2.4　精度评价和性能评估 2 本文从属性和几何精度的角度评价变化检测结果与实际变化的吻合程度。选择准确率（Precision）、召回率（Recall）和F1指数评价属性精度，选择全局过分误差（GOC）、全局欠分误差（GUC）和全局总体误差（GTC）评价几何精度（ Li等，2016 Li等，2016 ）。将本方法与其他三种基于像素的变化检测模型进行对比分析，分别是： （1）视觉变化检测网络（ChangeNet）（ Varghese等，2019 Varghese等，2019 ）：采用连体网络和全卷积网络（FCN）模型将特征从图像对映射到视觉变化中。 （2）基于时空自注意力的遥感图像变化检测模型（STANet）（ Chen等，2020 Chen等，2020 ）：使用ResNet网络进行特征提取，在特征提取模块后加入了金字塔注意力机制。 （3）全卷积孪生神经网络模型（Siam-NestedU-Net）（Li等，2020）：对语义分割网络UNET++进行改进，用于变化检测的全卷积孪生网络。 3　数据结果处理与分析 1 3.1　研究区域与数据 2 本文选取三个研究区域，分别位于福建省的福州市、泉州市和浦城县（ 图7 图7 ）。 福州研究区（FZ）的建筑物变化主要为高层建筑，变化建筑物的空间分布较稀疏；泉州研究区（QZ）内建筑物变化类型复杂，涵盖低矮密集建筑群和高层建筑；浦城研究区（PC）为非城市地区，地形大部分为山区，建筑物不集中且空间分布错乱，变化类型以小型密集建筑群和工厂建筑为主。本文所选择的影像数据，由于受卫星拍摄角度和拍摄时太阳光照影响（ 表1 表1 ），各区域影像均非正射影像，且存在较多建筑物阴影，对开展变化检测方法研究具有一定的挑战性。 2 影像类型 影像日期 太阳方位角（°） 卫星方位角（°） 2 FZ T1 GF-2 2016.12.07 165.833 95.864 T2 GF-2 2020.02.18 152.569 89.208 2 QZ T1 GF-2 2017.09.14 150.543 87.044 T2 GF-7 2021.02.22 155.473 233.290 2 PC T1 GF-2 2017.12.07 168.137 357.586 T2 GF-2 2020.10.02 155.430 304.665 各研究区影像的类型和获取时间如 表1 表1 所示。本研究在福州、浦城研究区选择相同传感器影像（GF-2），在泉州研究区选择不同传感器影像（GF-2和GF-7）进行实验，以检验本方法在不同传感器的适用性。每幅GF-2影像包括一个0.8m空间分辨率全色波段和四个3.2m空间分辨率多光谱波段，GF-7后视影像包含一个0.65m空间分辨率全色波段和四个2.6m空间分辨率的多光谱波段。采用Gram-Schmidt方法对影像的全色和多光谱波段进行融合，使用双线性内插方法对融合后影像重采样，获得分辨率为0.8m的高分辨影像，并进行几何校正、地理配准，提高变化检测效率。 为构建模型训练样本库，分别在福州市、浦城县GF-2遥感影像上各制作1000对256×256像素的样本数据，泉州市GF-2、GF-7遥感影像上制作1368对样本数据，构成研究区数据集。此外，本文对CD_Data_GZ（ https：//github.com/daifeng2016/Change-Detection-Dataset-for-High-Resolution-Satellite-Imagery https://github.com/daifeng2016/Change-Detection-Dataset-for-High-Resolution-Satellite-Imagery ）公开数据集进行样本迁移，获取6400对仿研究区数据。经过样本增强和筛选，共制作了13000对训练样本，按照7：3比例划分训练集和测试集。 3.2　 多尺度 图像分割 2 使用eCognition软件中多分辨率分割算法对双时相叠加影像分割，选择包含欠分割和过分割情况的三个分割尺度（scale）分别为：80、160、240。由于建筑物边界特征明显，因此增大形状因子参数（Shape），将其设为0.2，经过多次分割实验，本研究将紧密度参数（Compactness）设为0.4。由 图8 图8 可知，scale=80时，图像过分割，单个建筑物被分割成多个对象，分割结果破碎；分割尺度为scale=160时，建筑物分割较完整，分割边界与实际边界更吻合；scale=240时，图像欠分割，多个建筑物或其他地物被分割为一个对象，存在较严重的粘连问题。 3.3　 多尺度 图像对象变化信息提取 2 首先，使用相同的模型训练参数和样本对不同深度ResNet构建的Obj-SiamNet训练、测试。训练模型时，本文将初始学习率设为10 -3 ，每经过20次迭代，学习率减小为原来的十分之一。批次大小（batch_size）设为16，迭代次数（epoch）设为200，优化器采用Adam（ Kingma等，2015 Kingma等，2015 ）。结果表明：ResNet18，34，50，101在测试集上的F1指数分别为：0.676、0.789、0.793、0.799，ResNet34效果优于ResNet18，且与ResNet50，101效果相似，证实了使用ResNet34作为Obj-SiamNet的主干网络是兼顾模型性能和训练成本的最佳选择。 然后使用训练好的由ResNet34构建的Obj-SiamNet对研究区影像预测，获得像素级特征差异度，再根据分割对象转换到对象级特征差异度（ 图9 图9 ）。 图9 图9 对比了不同分割尺度下的对象特征差异图，在分割尺度为80、160时，三个研究区的对象特征差异图表示的建筑物变化信息较完整，建筑物对象边界与实际边界更加吻合。分割尺度为240时，图像欠分割造成对象差异图存在大区域粘连问题，但获取的变化信息较另外两个分割尺度的对象特征差异图更丰富。 3.4　多尺度变化信息融合 2 首先计算对象级特征差异度的隶属度。对于 S 型隶属度函数的参数 <math id="M49"><mi>a</mi><mi mathvariant="normal">、</mi><mi>b</mi><mi mathvariant="normal">、</mi><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727270&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727269&type= 8.63599968 2.96333337 ，设置 <math id="M50"><mi>a</mi><mo>=</mo><mn mathvariant="normal">0</mn><mi mathvariant="normal">、</mi><mi>b</mi><mo>=</mo><mn mathvariant="normal">0.5</mn><mo>×</mo><mo stretchy="false">(</mo><mi>a</mi><mo>+</mo><mi>c</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727272&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727271&type= 35.81399918 3.47133350 。在公开数据集CD_Data_GZ上，使用格网搜索法确定参数 c 取 值。在参数 c =77时，变化结果的F1指数最高，因此将参数 c 设为77。 对研究区影像使用S型隶属度函数计算得到三个不同尺度下的对象隶属度值 <math id="M51"><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727309&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727308&type= 13.29266548 4.57200003 。根据 <math id="M52"><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727309&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727308&type= 13.29266548 4.57200003 ，计算变化可能性和变化确定性指数，根据模糊规则自动融合多尺度变化信息，获取融合变化结果。 为验证本方法的有效性，选择福州研究区局部子图（FZ-A），将本方法得到的变化图与单一分割尺度使用自动阈值分割（ Otsu，1979 Otsu，1979 ）获得的变化图进行对比。由 图11 图11 可知，单一分割尺度的检测结果会存在较多的漏检和误检。在 图11 图11 （e）、 图11 图11 （g）中（红框内），分别存在明显的漏检和误检；在 图11 图11 （e）中（黄框内）检测的建筑物变化区域存在严重误检，在 图11 图11 （f）、 图11 图11 （g）中（蓝框内）存在较严重的漏检问题， 图11 图11 （f）、 图11 图11 （g）中（红框内）检测的变化边界与真实建筑物变化边界吻合度较低。融合三个分割尺度获得的检测结果，较单一分割尺度检测结果在精确度和检测建筑物变化完整度上有明显提升，召回率由最低0.34提升至0.66，GTC最多降低7%，F1-Score最高提升23%（ 表2 表2 ）。 多尺度融合 Scale=80 Scale=160 Scale=240 F1-Score 0.68 0.50 0.47 0.43 Precision 0.71 0.63 0.67 0.60 Recall 0.66 0.41 0.36 0.34 GTC 0.24 0.29 0.28 0.31 GUC 0.21 0.37 0.29 0.21 GOC 0.21 0.13 0.20 0.28 3.5　样本迁移结果分析 2 使用Cycle GANs将公开数据集转换为仿研究区数据集。在对Cycle GANs训练时，我们将学习率设为 <math id="M53"><mn mathvariant="normal">2</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727316&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30727315&type= 12.27666664 2.96333337 ，迭代次数设为150次，批次大小设为8，最后共获得伪研究区数据集6400对。为验证该样本迁移方法的有效性，设置一组对比实验： （1）未使用Cycle GANs迁移样本：仅使用研究区数据集为样本，在由公开数据集（ImageNet）训练获得的ResNet34预训练参数基础上对Obj-SiamNet训练，用训练好的模型检测研究区变化。 （2）使用Cycle GANs迁移样本：使用仿研究区和研究区数据集共同训练Obj-SiamNet，其余实验条件和实验步骤保持一致。选取福州研究区局部子图（FZ-A）、泉州实验区局部子图（QZ-A），对比使用和未使用Cycle GANs迁移样本的实验结果 由 图12 图12 可知：使用迁移样本的结果精确度更高，实验区FZ-A的精确度由0.71提升至0.76，QZ-A的精确度由0.61提升至0.74。有效改善了漏检现象，召回率最高提升16%，F1指数最高提升14%，面向对象总误差降低9%（ 表3 表3 ）。 2 FZ-A 2 QZ-A 迁移前变化图 迁移后变化图 迁移前变化图 迁移后变化图 GOC 0.21 0.22 0.23 0.23 GUC 0.21 0.17 0.27 0.13 GTC 0.24 0.21 0.29 0.20 Recall 0.66 0.72 0.67 0.83 Precision 0.71 0.76 0.61 0.74 F1-Score 0.68 0.74 0.64 0.78 3.6　模型对比 2 使用Obj-SiamNet对福州研究区子图（FZ-B）进行变化检测，并与其他三种模型对比。 由 图13 图13 可知，Obj-SiamNet的检测结果破碎度较低，能够较完整的检测出建筑物变化区域，漏检现象得到明显改善。而ChangeNet检测结果存在较多漏检现象；加入金字塔注意力模块的STANet对于光照变化引起的错检现象有较明显改善，精确率较高，但提取的变化区域破碎现象严重，漏检严重；Siam-NestedUNet的检测结果存在较多错检漏检现象。由 表4 表4 可知，本文提出的Obj-SiamNet相比于其他三种方法在召回率上有较大提升，最高提高32%，GUC最高降低了23%，相比于Siam-NestedUNet方法在所有指标上均有明显提升。 Model GOC GUC GTC Recall Precision F1-Score ChangeNet 0.10 0.37 0.29 0.44 0.69 0.54 STANet 0.08 0.42 0.32 0.31 0.77 0.45 Siam-NestedUNet 0.05 0.41 0.29 0.29 0.61 0.40 Obj-SiamNet 0.20 0.19 0.23 0.61 0.64 0.63 进一步对比Obj-SiamNet与其他三种方法的检测结果细节图，由 图14 图14 可知，STANet检测的建筑物变化边界与实际变化边界吻合度较低，且存在较多漏检现象；Siam-Nested-UNet误检严重；ChangeNet检测结果破碎度高（ 图14 图14 c）。综上，Obj-SiamNet检测的变化边界与实际变化边界吻合度最高，且显著降低检测结果的破碎现象。 使用本方法得到的三个研究区的完整变化检测结果如 图15 图15 所示。由 表5 表5 可知，三个实验区的检测结果召回率最高达0.83，精确度最高为0.87。其中，福州研究区检测的变化边界与实际变化边界更吻合，泉州研究区召回率和准确率分别为0.83、0.74，但由于小型密集建筑物分割不不精确，导致检测结果存在大片区域粘连。 GOC GUC GTC Recall Precision F1-Score 福州 0.16 0.18 0.19 0.77 0.69 0.73 浦城 0.12 0.20 0.23 0.72 0.87 0.79 泉州 0.23 0.13 0.20 0.83 0.74 0.78 4　讨 论 1 本文提出一种基于面向对象孪生神经网络的高分辨影像建筑物变化检测方法，重点研究了利用面向对象分析技术提升经典孪生神经网络变化检测结果的几何精度，以及多尺度检测结果的自动融合方法。较STANet、ChangeNet和Siam-NestedUNet变化检测模型，本方法在处理检测结果边界锯齿化以及检测精度方面，具有明显的优越性；具体的，GTC最高降低了9%，召回率最高提升32%，F1指数提升23%。在福州、泉州和浦城三个实验区检测结果中，Obj-SiamNet的召回率均可达70%以上，F1指数最高为79%。 本文使用多分辨率分割算法进行图像分割，在图像分割时，由于小型密集建筑群分割不精准（ 图16 图16 -a、 图16 图16 -b）或将建筑物与其他地物分割为一个对象（ 图16 图16 -c），造成检测结果存在粘连现象，无法精确检测出实际变化边界，误检率和漏检率增加。且该分割算法需手动设置分割参数，所选参数可能无法适用于全部城市场景。进一步的研究可侧重在图像分割方法的选择上，或者分割参数优化上面，比如选择ESP分割工具（ Drǎguţ等，2010 Drǎguţ等，2010 ），进一步提升本方法的检测性能和适用性。 基于模糊集理论的多尺度检测结果自动融合方法，避免了单一分割尺度检测结果造成的漏检误检问题。研究区FZ-A的多尺度融合结果相比于单一分割尺度检测结果更精准，精确度最高提升11%，召回率较三个单一尺度检测结果均提升25%以上。 另外，挑选研究区和仿研究区数据集中建筑物变化程度在20%-80%间的样本来构建模型训练样本库。使用该规则筛选后的样本中，变化程度在20%-60%的样本数量占了总样本量的92.36%，变化程度在60%-80%的样本数量仅占总量的7%左右，这保证了模型的正负样本均衡，该样本筛选规则具有合理性和可行性。未来，可进一步完善对于变化程度过高或过低的样本取舍规则。 此外，本文利用Cycle GANs进行样本迁移，可将公开数据与研究区数据集相互转换，且训练Cycle GANs的数据集不需要成对匹配，提高了样本迁移效率。本研究使用空间分辨率为0.5m的CD_Data_GZ数据集进行样本迁移，在研究区FZ-A和研究区QZ-A的实验结果均证实了该迁移方法的有效性。研究区QZ-A效果更显著，所有精度评价指数均有较大提升，召回率由67%提升至83%，精确度由61%提升至74%。但使用该方法样本迁移时，要求公开数据集与研究区数据集的空间分辨率相近，对于空间分辨率相差较大的公开数据集，可能无法实现有效迁移，未来可进一步研究提升生成对抗网络样本迁移效率的策略。 5　结 论 1 本文提出一种基于面向对象孪生神经网络（Obj-SiamNet）的高分辨率遥感影像变化检测方法。将孪生神经网络与面向对象图像分析技术有效结合，解决了传统孪生神经网络在影像变化检测中存在的检测边界与实际变化边界吻合度低的问题。利用模糊集理论自动融合多尺度下的变化检测结果，提高了检测精度，并基于生成对抗网络实现了训练样本迁移，提升了该方法适用性。在福州（GF-2影像）、泉州（GF-2和GF-7 影像）、浦城（GF-2影像）研究区进行实验， 结果表明： （1）　与STANet、ChangeNet和Siam-Nest- 2 edUNet三种现有模型相比，Obj-SiamNet检测结果整体较优，漏检现象改善明显，召回率平均提升26.3%，F1平均提升16.7%，全局欠分误差（GUC）平均降低21%，GTC平均降低7%，证明了本方法的有效性。 （2）使用Obj-SiamNet在福州、泉州、浦城三个不同实验区获得了成功应用，全局总误差（GTC）最低为19%，F1指数最高为79%，召回率最高可达83%，验证了本方法的适用性。 （3）融合面向对象多尺度分割的检测结果较单一尺度分割的检测结果，可减少影像信息损失，提升检测结果精度，召回率最高提升32%，F1指数最高提升25%，GTC最高降低7%。 （4）使用Cycle GANs迁移样本，增加了训练样本量，进而提升了模型预测性能，两个研究区的检测结果较未使用样本迁移的检测结果有明显提升，F1指数最高提升14%，GTC降低9%。在泉州研究区，召回率由0.67提升至0.83，精确度由0.61提升至0.74，F1指数由0.64提升至0.78，GTC由0.29降低至0.2。 Obj-SiamNet方法提高了变化检测结果与实际变化结果吻合度，降低了模型训练样本库的构建成本，对于其他地物变化检测同样具有借鉴意义。后续研究可侧重在影像分割方法的选择以及孪生神经网络主干网络的设计上。此外，也可增 加多种样本类型，在土地利用层面进行多类别变 化检测研究。 参考文献（References） Benz U C , Hofmann P , Willhauck G , Lingenfelder I and Heynen M . 2004 . Multi-resolution, object-oriented fuzzy analysis of remote sensing data for GIS-ready information . ISPRS Journal of Photogrammetry and Remote Sensing , 58 ( 3 ): 239 - 258 . [ DOI: 10.1016/j.isprsjprs.2003.10.002 http://dx.doi.org/10.1016/j.isprsjprs.2003.10.002 ] Multi-resolution, object-oriented fuzzy analysis of remote sensing data for GIS-ready information Blaschke T . 2010 . Object based image analysis for remotesensi-ng . ISPRS Journal of Photogrammetry and Remote Sensin-g , 65 ( 1 ): 2 - 16 [ DOI: 10.1016/j.isprsjprs.2009.06.004 http://dx.doi.org/10.1016/j.isprsjprs.2009.06.004 ] Object based image analysis for remotesensi-ng Chen H and Shi Z W . 2020 . A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection . Remote Sensing , 12 ( 10 ): 1662 [ DOI: 10.3390/rs12101662 http://dx.doi.org/10.3390/rs12101662 ] A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection Chen J , He C Y , Shi P J , Chen Y H and Ma N . 2001 . Land Use/ Cover Change Detection with Change Vector Analysis(CVA):Change Magnitude Threshold Determination . Journal of Remote Sensing , 005 ( 004 ): 259 - 66 . Land Use/ Cover Change Detection with Change Vector Analysis(CVA):Change Magnitude Threshold Determination 陈晋 , 何春阳 , 史培军 , 陈云浩 , 马楠 . 2001 . 基于变化向量分析的土地利用/覆盖变化动态检测(Ⅰ)——变化阈值的确定方法 . 遥感学报 , 005 ( 004 ): 259 - 66 [ DOI: 10.3321/j.issn:1007-4619.2001.04.00 http://dx.doi.org/10.3321/j.issn:1007-4619.2001.04.00 ] 基于变化向量分析的土地利用/覆盖变化动态检测(Ⅰ)——变化阈值的确定方法 Chen J , He C Y and Zhuo L . 2001 . Land Use/Cover Change Detection with Change Vector Analysis(CVA):Change Type Determining . Journal of Remote Sensing , 5 ( 005 ): 346 - 52 . Land Use/Cover Change Detection with Change Vector Analysis(CVA):Change Type Determining 陈晋 , 何春阳 , 卓莉 . 2001 . 基于变化向量分析(CVA)的土地利用/覆盖变化动态检测(Ⅱ)—变化类型的确定方法 . 遥感学报 , 5 ( 005 ): 346 - 52 [ DOI: 10.3321/j.issn:1007-4619.2001.05.005 http://dx.doi.org/10.3321/j.issn:1007-4619.2001.05.005 ] 基于变化向量分析(CVA)的土地利用/覆盖变化动态检测(Ⅱ)—变化类型的确定方法 Chopra S , Hadsell R and LeCun Y . 2005 . Learning a similarity metric discriminatively,with application to face verification . 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition , 20 - 25 [ DOI: 10.1109/CVPR.2005.202 http://dx.doi.org/10.1109/CVPR.2005.202 ] Learning a similarity metric discriminatively,with application to face verification Coulter L L , Stow D A , Tsai Y H , Ibanez N , Shih H C , Kerr A , Benza M , Weeks J R and Mensah F . 2016 . Classification and assessment of land cover and land use change in southern Ghana using dense stacks of Landsat 7 ETM+ imagery Remote Sensing of Environment , 184 : 396 - 409 [ DOI: 10.1016/j.rse.2016.07.016 http://dx.doi.org/10.1016/j.rse.2016.07.016 ] Classification and assessment of land cover and land use change in southern Ghana using dense stacks of Landsat 7 ETM+ imagery Remote Sensing of Environment Desclée B , Bogaert P and Defourny P . 2006 . Forest change detection by statistical object-based method . Remote Sensing of Environment , 102 ( 1-2 ): 1 - 11 [ DOI: 10.1016/j.rse.2006.01.013 http://dx.doi.org/10.1016/j.rse.2006.01.013 ] Forest change detection by statistical object-based method Drǎguţ L , Tiede D and Levick S R . 2010 . ESP: a tool toestimate scale parameters for multiresolution image segmentation of remotely sensed data . International Journal of Geographical Information Science , 6 ( 2010 ): 859 - 871 [ DOI: 10.1080/13658810903174803 http://dx.doi.org/10.1080/13658810903174803 ] ESP: a tool toestimate scale parameters for multiresolution image segmentation of remotely sensed data Feng W Q and Zhang Y J . 2015 . Object-oriented Change Detection for Remote Sensing Images Based on Multi-scale Fusion . Acta Geodaetica et Cartographica Sinica , 44 ( 10 ): 1142 - 1151 . Object-oriented Change Detection for Remote Sensing Images Based on Multi-scale Fusion 冯文卿 , 张永军 . 2015 . 利用多尺度融合进行面向对象的遥感影像变化检测 . 测绘学报 , 44 ( 10 ): 1142 - 1151 [ DOI: CNKI:SUN:CHXB.0.2015-10-01 http://dx.doi.org/CNKI:SUN:CHXB.0.2015-10-01 ] 利用多尺度融合进行面向对象的遥感影像变化检测 Goodfellow I , Pouget-Abadie J , Mirza M , Xu B , Warde-Farley D , Ozair S , Courville A and Bengio Y . 2014 . Generative Adversarial Nets . Advances in neural information processing systems . Generative Adversarial Nets Hadsell R , Chopra S and Lecun Y . 2006 . Dimensionality Reduction by Learning an Invariant Mapping . 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition , ( 2006 ): 1735 - 1742 [ DOI: 10.1109/CVPR.2006.100 http://dx.doi.org/10.1109/CVPR.2006.100 ] Dimensionality Reduction by Learning an Invariant Mapping Huang B , Zhao B and Song Y M . 2018 . Urban land-use mapping using a deep convolutional neural network with high spatial resolution multispectral remote sensing imagery . Remote Sensing of Environment , 214 : 73 - 86 [ DOI: 10.1016/j.rse.2018.04.050 http://dx.doi.org/10.1016/j.rse.2018.04.050 ] Urban land-use mapping using a deep convolutional neural network with high spatial resolution multispectral remote sensing imagery He K M , Zhang X Y , Ren S Q and Sun J . 2016 . Deep residual learning for image recognition . In Proceedingsof the IEEE conference on computer vision and pattern recognition , 770 - 778 . Deep residual learning for image recognition Huang F , Chen L , Yin K , Huang J and Gui L . 2018 . Object-oriented change detection and damage assessment using high-resolution remote sensing images, Tangjiao Landslide,Three Gorges Reservoir, China . Environmental Earth Sciences , 77 ( 5 ): 183.1 - 183 . 19 [ DOI: 10.1007/s12665-018-7334-5 http://dx.doi.org/10.1007/s12665-018-7334-5 ] Object-oriented change detection and damage assessment using high-resolution remote sensing images, Tangjiao Landslide,Three Gorges Reservoir, China Huang P , Zheng Q and Liang C . 2020 . Overview of Image Segmentation Methods . Journal of Wuhan University(Natural Science Edition) , 66 ( 06 ): 519 - 531 Overview of Image Segmentation Methods 黄鹏 , 郑淇 , 梁超 . 2020 . 图像分割方法综述 . 武汉大学学报(理学版) , 66 ( 06 ): 519 - 531 [ DOI: 10.14188/j.1671-8836.2019.0002 http://dx.doi.org/10.14188/j.1671-8836.2019.0002 ] 图像分割方法综述 Isola P , Zhu J Y , Zhou T and Efros A A . 2017 . Image-to-Image Translation with Conditional Adversarial Networks . 2017 IEEE Conference on Computer Vision and Pattern Recognition , 5967 - 5976 [ DOI: 10.1109/CVPR.2017.632 http://dx.doi.org/10.1109/CVPR.2017.632 ] Image-to-Image Translation with Conditional Adversarial Networks Jie G , Wang H , Fan J and Ma X . 2017 . Change detectionof SAR images based on supervised contractive autoencoders and fuzzy clustering . 2017 International Workshop on Remote Sensing with Intelligent Processing , 1 - 3 [ DOI: 10.1109/RSIP.2017.7958819 http://dx.doi.org/10.1109/RSIP.2017.7958819 ] Change detectionof SAR images based on supervised contractive autoencoders and fuzzy clustering Karras T , Aila T , Laine S and Lehtinen J . 2017 . Progressive Growing of GANs for Improved Quality, Stability, and Variation . International Conference On Learning Representations . Progressive Growing of GANs for Improved Quality, Stability, and Variation Khelifi L and Mignotte M . 2020 . Deep Learning for Change Detection in Remote Sensing Images:Comprehensive Review and Meta-Analysis . IEEE Access , ( 99 ): 1 - 1 [ DOI: 10.1109/ACCESS.2020.3008036 http://dx.doi.org/10.1109/ACCESS.2020.3008036 ] Deep Learning for Change Detection in Remote Sensing Images:Comprehensive Review and Meta-Analysis Kingma P D and Ba L J . 2015 . Adam: A Method for Stochastic Optimization . international conference on learning Representations , 1412 . 6980 Adam: A Method for Stochastic Optimization Li , M M , Bijker W and Stein A . 2015 . Use of Binary Partition Tree and energy minimization for object-based classification of urban land cover . ISPRS Journal of Photogrammetry & Remote Sensing , 102 : 48 - 61 [ DOI: 10.1016/j.isprsjprs.2014.12.023 http://dx.doi.org/10.1016/j.isprsjprs.2014.12.023 ] Use of Binary Partition Tree and energy minimization for object-based classification of urban land cover Li M M , Stein A , Bijker W and Zhan Q M . 2016 . Region-based urban road extraction from VHR satellite images using Binary Partition Tree . International Journal of Applied Earth Observation and Geoinformation , 44 ( 2016 ): 217 - 25 . [ DOI: 10.1016/j.jag.2015.09.005 http://dx.doi.org/10.1016/j.jag.2015.09.005 ] Region-based urban road extraction from VHR satellite images using Binary Partition Tree Liu S C , Du P J and Chen S J . 2003 . A novel change detection method of multi-resolution remotely sensed images based on the decision level fusion . Journal of Remote Sensing , ( 04 ): 846 - 62 A novel change detection method of multi-resolution remotely sensed images based on the decision level fusion 柳思聪 , 杜培军 , 陈绍杰 . 2011 . 决策级融合的多分辨率遥感影像变化检测 . 遥感学报 , ( 04 ): 846 - 62 [ DOI: 10.1155/2011/531540 http://dx.doi.org/10.1155/2011/531540 ] 决策级融合的多分辨率遥感影像变化检测 Liu T , Yang L X and Lunga D . 2021 . Change Detection Using Deep Learning Approach With Object-Based Image Analysis . Remote Sensing of Environment , 256 : 112308 - 112324 [ DOI: 10.1016/j.rse.2021.112308 http://dx.doi.org/10.1016/j.rse.2021.112308 ] Change Detection Using Deep Learning Approach With Object-Based Image Analysis Nair V and Hinton G E . 2010 . Rectified Linear Units Improve Restricted Boltzmann Machines . International Conference on International Conference on Machine Learning , 807 - 814 Rectified Linear Units Improve Restricted Boltzmann Machines Paul S , Saxena K G , Nagendra H and Lele N . 2021 . Tracing land use and land cover change in periurban Delhi, India, over 1973 - 2017 period. Environmental Monitoring and Assessment , 2 ( 2021 ): 52 - 12 [ DOI: 10.1007/s10661-020-08841-x http://dx.doi.org/10.1007/s10661-020-08841-x ] Tracing land use and land cover change in periurban Delhi, India, over Otsu N . 1979 . A Threshold Selection Method from Gray-Level Histograms [J]. IEEE Transactions on Systems, Man, and Cybernetics , 9 ( 1 ): 62 - 66 . A Threshold Selection Method from Gray-Level Histograms Peng D F , Bruzzone L , Zhang Y G , Guan H Y , Ding H Y and Huang X . 2020 . SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images . IEEE Transactions on Geoscience and Remote Sensing , 7 : 5891 - 5906 [ DOI: 10.1109/TGRS.2020.3011913 http://dx.doi.org/10.1109/TGRS.2020.3011913 ] SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images Radford A , Metz L and Chintala S . 2015 . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks . international conferenceon learning representations . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks Sui H G , Feng W Q , Li W Z , Sun K M and Xu C . 2018 . Review of Change Detection Methods for Multi-temporal Remote Sensing Imagery . Journal of Wuhan University(Information Science Edition) , 043 ( 012 ): 1885 - 1898 Review of Change Detection Methods for Multi-temporal Remote Sensing Imagery 眭海刚 , 冯文卿 , 李文卓 , 孙开敏 , 徐川 . 2018 . 多时相遥感影像变化检测方法综述 . 武汉大学学报(信息科学版) , 043 ( 012 ): 1885 - 1898 [ DOI: 10.13203/j.whugis 20180251 http://dx.doi.org/10.13203/j.whugis20180251 ] 多时相遥感影像变化检测方法综述 Sun X X , Zhang J X , Yan Q and Gao J X . 2011 . A Summary on Current Techniques and Prospects of Remote Sensing Change Detection . Remote Sensing Information , 2011 ( 01 ): 119 - 123 . A Summary on Current Techniques and Prospects of Remote Sensing Change Detection 孙晓霞 , 张继贤 , 燕琴 , 高井祥 . 2011 . 遥感影像变化检测方法综述及展望 . 遥感信息 , 2011 ( 01 ): 119 - 123 [ DOI: 10.3969/j.issn.1000-3177.2011.01.023 http://dx.doi.org/10.3969/j.issn.1000-3177.2011.01.023 ] 遥感影像变化检测方法综述及展望 Tang Z X , Li M M , and Wang X Q . 2020 . Mapping Tea Plantations from VHR Images Using OBIA and Convolutional Neural Networks . Remote Sensing , 12 ( 18 ): 2935 - 2954 . [ doi: 10.3390/rs12182935 http://dx.doi.org/10.3390/rs12182935 ] Mapping Tea Plantations from VHR Images Using OBIA and Convolutional Neural Networks Tobias O J and Seara R . 2003 . Image segmentation by histogram thresholding using fuzzy sets . IEEE Transactions on Image Processing , 12 ( 2002 ): 1457 - 1465 [ DOI: 10.1109/TIP.2002.806231 http://dx.doi.org/10.1109/TIP.2002.806231 ] Image segmentation by histogram thresholding using fuzzy sets Tong G F , Li Y , Ding W L and Yue X Y . 2015 . A review of remote sensing image change detection algorithms . Chinese Journal of Image and Graphics , 20 ( 12 ): 1561 - 1571 A review of remote sensing image change detection algorithms 佟国峰 , 李勇 , 丁伟利 , 岳晓阳 . 2015 . 遥感影像变化检测算法综述 . 中国图象图形学报 , 20 ( 12 ): 1561 - 1571 [ DOI: 10.11834/Jig.20151201 http://dx.doi.org/10.11834/Jig.20151201 ] 遥感影像变化检测算法综述 Varghese A , Gubbi J , Ramaswamy A and Balamuralidhar P . 2019 . ChangeNet: A Deep Learning Architecture for Visual Change Detection . ECCV Workshops . [ DOI: 10.1007/978-3-030-11012-3_10 http://dx.doi.org/10.1007/978-3-030-11012-3_10 ] ChangeNet: A Deep Learning Architecture for Visual Change Detection Wang J , Xiao X M , Liu L , Wu X , Qin Y W , Steiner J L and Dong J W . 2020 . Mapping sugarcane plantation dynamics in Guangxi, China, by time series Sentinel-1, Sentinel-2 and Landsat images . Remote Sensing of Environment , 247 ( 2020 ): 111951 [ DOI: 10.1016/j.rse.2020.111951 http://dx.doi.org/10.1016/j.rse.2020.111951 ] Mapping sugarcane plantation dynamics in Guangxi, China, by time series Sentinel-1, Sentinel-2 and Landsat images Wang Y L , Pu J , Zhao J H and Li J H . 2019 . Detection of new ground buildings based on generative adversarial network . Journal of Computer Applications , 39 ( 5 ): 1518 - 1522 Detection of new ground buildings based on generative adversarial network 王玉龙 , 蒲军 , 赵江华 , 黎建辉 . 2019 . 基于生成对抗网络的地面新增建筑检测 . 计算机应用 , 39 ( 5 ): 1518 - 1522 [ DOI: 10.11772/j.issn.1001-9081.2018102083 http://dx.doi.org/10.11772/j.issn.1001-9081.2018102083 ] 基于生成对抗网络的地面新增建筑检测 Wen D W , Huang X , Bovolo F , Li J , Ke X L , Zhang A L and Benediktsson J A . 2021 . Change Detection From Very-High-Spatial-Resolution Optical Remote Sensing Images: Methods, applications, and future directions . IEEE Geoscience and Remote Sensing Magazine , 2 - 35 [ DOI: 10.1109/MGRS.2021.3063465 http://dx.doi.org/10.1109/MGRS.2021.3063465 ] Change Detection From Very-High-Spatial-Resolution Optical Remote Sensing Images: Methods, applications, and future directions Wen D W , Huang X , Zhang A L and Ke X L . 2019 . Monitoring 3D Building Change and Urban Redevelopment Patterns in Inner City Areas of Chinese Megacities Using Multi-View Satellite Imagery . Remote Sensing , 11 ( 7 ): 763 [ DOI: 10.3390/rs11070763 http://dx.doi.org/10.3390/rs11070763 ] Monitoring 3D Building Change and Urban Redevelopment Patterns in Inner City Areas of Chinese Megacities Using Multi-View Satellite Imagery Woo S , Park J , Lee J Y and Kweon S I . 2018 . CBAM: Convolutional Block Attention Module . ECCV ( 2018 ) CBAM: Convolutional Block Attention Module Xiang S , Wang M , Jiang X F , Xie G Q , Zhang Z Q and Tang P . 2021 . Dual-Task Semantic Change Detection for Remote Sensing Images Using the Generative Change Field Module . Remote Sensing , 13 ( 16 ): 3336 [ DOI: 10.3390/rs13163336 http://dx.doi.org/10.3390/rs13163336 ] Dual-Task Semantic Change Detection for Remote Sensing Images Using the Generative Change Field Module Xin H , Cao Y X and Li J Y . An automatic change detection method for monitoring newly constructed building areas using time-series multi-view high-resolution optical satellite images . Remote Sensing of Environmen , 244 ( 2020 ): 111802 [ DOI: 10.1016/j.rse.2020.111802 http://dx.doi.org/10.1016/j.rse.2020.111802 ] An automatic change detection method for monitoring newly constructed building areas using time-series multi-view high-resolution optical satellite images Xu Y D , Yu L , Zhao F , Cai X L , Zhao J Y , Lu H and GongP . 2018 . Tracking annual cropland changes from 1984 to 2016 using time-series Landsat images with a change-detection and post-classification approach: Experiments from three sites in Africa . Remote Sensing of Environment , 218 : 13 - 31 [ DOI: 10.1016/j.rse.2018.09.008 http://dx.doi.org/10.1016/j.rse.2018.09.008 ] Tracking annual cropland changes from 1984 to 2016 using time-series Landsat images with a change-detection and post-classification approach: Experiments from three sites in Africa Yang K P , Xia G S , Liu Z C , Du B , Yang W and Pelillo M . 2020 . Asymmetric Siamese Networks for Semantic Change Detection . Asymmetric Siamese Networks for Semantic Change Detection Zabalza J , Ren J C , Zheng J B , Zhao H M , Qing C M , YangZ J and Marshall S . 2016 . Novel segmented stacked autoencoder for effective dimensionality reduction and feature extraction in hyperspectral imaging . Neurocomputing , 185 ( 2016 ): 1 - 10 [ DOI: 10.1016/j.neucom.2015.11.044 http://dx.doi.org/10.1016/j.neucom.2015.11.044 ] Novel segmented stacked autoencoder for effective dimensionality reduction and feature extraction in hyperspectral imaging Zhang C , Sargent I , Pan X , Li H P , Gardiner A , Hare J S and Atkinson P M . 2018 . An object-based convolutional neural network (OCNN) for urban land use classification . Remote Sensing of Environment , 216 : 57 - 70 [ DOI: 10.1016/j.rse.2018.06.034 http://dx.doi.org/10.1016/j.rse.2018.06.034 ] An object-based convolutional neural network (OCNN) for urban land use classification Zhang Z J , Li A N , Lei G B , Bian J H and Wu B F . 2014 . Change detection of remote sensing images based on multiscale segmentation and decision tree algorithm over mountainous area: A case study in Panxi region,Sichuan Province . Acta Ecologica Sinica , 34 ( 24 ): 7222 – 7232 . [ DOI: 10.5846/stxb201310112439 http://dx.doi.org/10.5846/stxb201310112439 ] Change detection of remote sensing images based on multiscale segmentation and decision tree algorithm over mountainous area: A case study in Panxi region,Sichuan Province Zhang Z C , Vosselman G , Gerke M , Persello C , Tuia D and Yang Y M . 2019 . Detecting Building Changes between Airborne Laser Scanning and Photogrammetric Data . Remote Sensing , 11 ( 20 ): 2417 [ DOI: 10.3390/rs11202417 http://dx.doi.org/10.3390/rs11202417 ] Detecting Building Changes between Airborne Laser Scanning and Photogrammetric Data Zhu J Y , Park T , Isola P and Efros A A . 2017 . Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks . 2017 IEEE International Conferenceon Computer Vision(ICCV) , 2242 - 2251 [ DOI: 10.1109/ICCV.2017.244 http://dx.doi.org/10.1109/ICCV.2017.244 ] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks Zhu Q Q , Guo X , Deng W H , Shi S N , Guan Q F , Zhong Y F , Zhang L P and Li D R . 2022 . Land-Use/Land-Cover change detection based on a Siamese global learning framework for high spatial resolution remote sensing imagery . ISPRS Journal of Photogrammetry & Remote Sensing , 184 : 63 - 78 [ DOI: 10.1016/j.isprsjprs.2021.12.005 http://dx.doi.org/10.1016/j.isprsjprs.2021.12.005 ] Land-Use/Land-Cover change detection based on a Siamese global learning framework for high spatial resolution remote sensing imagery Zhou Q M . 2011 . Review on Change Detection Using Multi-temporal Remotely Sensed Imagery . Geomatics World , 9 ( 02 ): 28 - 33 Review on Change Detection Using Multi-temporal Remotely Sensed Imagery 周启鸣 . 2011 . 多时相遥感影像变化检测综述 . 地理信息世界 , 9 ( 02 ): 28 - 33 [ DOI: CNKI:SUN:C-HRK.0.2011-02-010 http://dx.doi.org/CNKI:SUN:C-HRK.0.2011-02-010 ] 多时相遥感影像变化检测综述 10.11834/jrs.20221627 刘宣广，李蒙蒙，汪小钦，张振超.XXXX.基于面向对象孪生神经网络的高分辨率遥感影像建筑物变化检测.遥感学报，XX（XX）： 1-18 刘宣广，李蒙蒙，汪小钦，张振超.XXXX.基于面向对象孪生神经网络的高分辨率遥感影像建筑物变化检测.遥感学报，XX（XX）： 1-18 Liu Xuangaung，Li Mengmeng，Wang Xiaoqin，Zhang Zhenchao. XXXX. The use of object-based Siamese neural network for building change detection from Very High Resolution remote sensing images. National Remote Sensing Bulletin， XX（XX）：1-18 Liu Xuangaung，Li Mengmeng，Wang Xiaoqin，Zhang Zhenchao. XXXX. The use of object-based Siamese neural network for building change detection from Very High Resolution remote sensing images. National Remote Sensing Bulletin， XX（XX）：1-18 国家自然科学基金（42001283），福建省自然科学基金（2021J01630）。 Supported by Supported by National Natural Science Foundation of China (NSFC), No. 42001283; Natural Science Foundation of Fujian Province, China, No. 2021J01630 2022-07-07 2022-07-07 遥感学报