遥感知识图谱创建及其典型场景应用技术

遥感知识图谱创建及其典型场景应用技术 Remote sensing knowledge graph construction and its application in typical scenarios first-author 张永军，研究方向为摄影测量与遥感、计算机视觉等。E-mail： zhangyj@whu.edu.cn 张永军，研究方向为摄影测量与遥感、计算机视觉等。E-mail： zhangyj@whu.edu.cn zhangyj@whu.edu.cn 武汉大学 遥感信息工程学院, 武汉 430079 武汉大学 遥感信息工程学院, 武汉 430079 School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China 相对于当前指数级增长的强大遥感数据获取能力，遥感大数据的智能处理和知识服务能力相对滞后，海量多源化遥感数据堆积与有限信息孤岛并存的矛盾日益突出，亟需有效的遥感领域知识建模技术来辅助挖掘遥感大数据的有用信息并形成知识服务能力。知识图谱技术以符号形式描述物理世界中的概念及其相互关系，具有强大的知识建模与推理应用能力，在搜索引擎、电子商务、社交网络分析等领域已经得到成功应用。在通用知识图谱技术启发下，本文首次提出建立遥感领域知识图谱研究构想，可以为遥感领域知识建模与知识服务提供支撑。本文首先回顾通用知识图谱的发展历程，然后探讨遥感知识图谱的构建技术、遥感知识图谱驱动的典型地学应用案例，最后对遥感知识图谱的应用现状与未来研究方向进行分析论述。总体来说，遥感知识图谱的研究有利于更好的归纳遥感领域学科概念化知识、管理遥感大数据所蕴含的新增信息与知识，可以向多领域众多用户提供灵活便捷的遥感知识查询与知识服务能力，有助于全面提升海量多源遥感观测成果的应用能力，在全球遥感地表覆盖分类、气候变化、国际人道主义援助等方面都将发挥重要作用。 Compared with the current powerful acquisition capabilities of remote sensing data, its intelligent processing and knowledge service capabilities are relatively lagging. The contradiction between the accumulation of massive multisource remote sensing data and the limited information island is becoming increasingly prominent. Therefore, there is an urgent need for effective remote sensing domain knowledge modeling technology to assist in mining the useful information of remote sensing big data and form knowledge service capabilities. A Knowledge Graph (KG) describes the concepts and their relationships in the physical world in symbolic form. It has strong knowledge modeling and reasoning capabilities and has been successfully applied in search engines, e-commerce, social network analysis and other fields. Inspired by the general KGs, this paper conceives of establishing a remote sensing domain KG for the first time, which can provide support for knowledge modeling and knowledge services in the remote sensing field. First, this paper reviews the development history of general KGs. Second, it discusses the technologies of constructing remote sensing KGs. Compared with general KGs, remote sensing KGs are oriented to the field of remote sensing geosciences. They have significant disciplinary characteristics and spatiotemporal graph characteristics in terms of graph nodes, graph relationships and graph reasoning. Specific performances are as follows: (1) Images are an important part of remote sensing, which play an irreplaceable role and are ignored by general KGs. (2) Remote sensing knowledge is oriented to spatial entities. In addition to semantic relationships, the description of entity relationships also requires spatial and temporal relationships. (3) Traditional logical reasoning and natural language processing learning reasoning cannot effectively deal with image entities and spatial relationships. To solve the above problems, this paper draws on the construction scheme of the general KG and related domain KG and proposes the basic construction process of the remote sensing KG. Third, it introduces typical geoscience application cases driven by remote sensing KGs, which include three cases: (1) Marine oil spill monitoring. Marine oil spill KG is used for oil pollution identification, cause reasoning, and spill risk assessment, etc. (2) Land cover classification. Coupling remote sensing KG reasoning and deep learning for land cover classification. Numerous experiments have proven that KG can improve the classification results. (3) Evaluation of the carrying capacity of resources and the environment and suitability of land and space development. Ontology can not only express the knowledge system of evaluation in a standardized manner but also infer the evaluation results based on the constructed knowledge. Finally, it analyzes the application status and future research directions of remote sensing KGs. This paper points out four feasible and important research directions: (1) Exploring the theories and methods of creating multimodal remote sensing KGs; (2) Cooperative update and alignment fusion of remote sensing KGs; (3) Intelligent remote sensing image classification based on remote sensing KG representation learning; and (4) Scientific decision support analysis assisted by remote sensing KGs. Generally, the research of remote sensing KGs is conducive to better summarizing the conceptual knowledge of remote sensing, managing the new knowledge contained in remote sensing big data, and providing flexible and convenient remote sensing knowledge query and service capabilities to users in multiple fields, and it will help comprehensively improve the application capabilities of massive multisource remote sensing observation results and will play an important role in the study of global remote sensing land cover classification, climate change, international humanitarian assistance, and so on. 遥感知识图谱 典型场景应用 人工智能 知识服务 知识图谱表示学习 领域知识建模 remote sensing knowledge graph knowledge graph application artificial intelligence knowledge service representation learning domain knowledge modeling 1　引言 1 二十一世纪以来，遥感科学发生了深刻变化。随着遥感技术的发展，形成了航天、航空、地面传感网络组成的多级平台；数据量将从现在的GB（gigabyte）级和TB（terabyte）级逐步增长到PB（petabyte）级、EB（exabyte）级甚至ZB（zettabyte）级，遥感大数据时代已然到来。遥感对地观测成果管理与服务关乎国家安全和社会经济发展，是世界各国综合国力竞争的重要标志之一。近年来，虽然中国发射了多颗卫星，在数量上取得了长足进步，仍面临着“卫星多、数据散、价值低”的问题，领域应用模式单一和数据价值无法充分发挥导致国家在对地观测方面投入产出比极低的困境。 在遥感领域数据挖掘研究方法上，人工智能技术的迅猛发展为遥感科学带来了新的机遇；深度学习与遥感应用紧密结合，极大提高了影像分类、变化检测等算法效果。然而，数据海量、信息缺失、知识难觅的局面依然存在，需要建立遥感知识库以支撑时空大数据挖掘（ 李德仁，2016 李德仁，2016 ； 陈军 等，2019 陈军 等，2019 ）。此外，数据驱动的深度学习技术虽然在许多遥感研究中取得显著，但在涉及复杂遥感场景推理时适用性有限。有研究者认为，知识模型与深度学习的耦合是解决地表复杂场景建模的有效手段（ Reichstein等，2019 Reichstein等，2019 ），也将是数据挖掘的一种新范式（ Karpatne等，2017 Karpatne等，2017 ）。对遥感数据、信息、知识进行合理组织，高效存储与便捷共享是知识库构建与知识建模的基础。 在遥感领域信息知识服务上，地球空间信息服务的最高标准是在规定的时间（right time）将所需位置（right place）上的正确数据／信息／知识（right data/information/knowledge）送到需要的人手上（right person）（ 李德仁，2016 李德仁，2016 ）。遥感服务作为地球空间信息服务的重要一环，提供信息服务是其终极目标。如何实现智能搜索、流程建模与任务分配；如何将遥感信息服务与其他空间学科在统一标准下进行互操作；如何构建服务驱动的语义模型，使计算机从语义上理解遥感数据、信息、需求，提供更智能的遥感服务，都是空间信息服务面临的问题。实现“数据—信息—知识—服务”的这一过程与地理信息科学的虚拟地理环境技术（ 闾国年，2011 闾国年，2011 ； 陈静 等，2013 陈静 等，2013 ； 林珲和游兰，2015 林珲和游兰，2015 ）具有相似之处，需要利用知识工程将数据、信息、知识以及服务之间复杂的关系结构化，对其所蕴含的关系进行分析与挖掘。 随着人工智能的发展，知识图谱在学术界与产业界都备受关注。“知识图谱”这一名词最早由谷歌于2012年提出，用于介绍为其语义网搜索技术（ Singhal，2012 Singhal，2012 ）提供智能搜索服务的大型知识库。形式上，它是用图数据结构表示的知识载体，描述客观世界的事物与关系；其节点表示客观世界的事物，其边代表事物之间的关系。其后，早些年的DBpedia（ Lehmann等，2015 Lehmann等，2015 ），YAGO（ Suchanek等，2007 Suchanek等，2007 ）等语义网知识库也被称为知识图谱。目前，学术界与工业界都未对知识图谱的定义达成统一的认识。 Paulheim（2017） Paulheim（2017） 认为知识图谱应具备4个特征：（1）使用图结构组织实体与关系；（2）将实体抽象成概念与关系并描述；（3）实体之间具有潜在的关系连接；（4）涵盖不同的主题领域。 Kroetsch和Weikum（2016） Kroetsch和Weikum（2016） 认为知识图谱是由实体，实体的语义类型，属性以及实体关系构成的大规模网络，该定义舍弃了实体描述的概念抽象层。 王东旭等（2016） 王东旭等（2016） 认为各种实体组成的网络就是知识图谱。 Färber等（2018） Färber等（2018） 则认为知识图谱是基于资源描述框架RDF（Resource Description Framework）的数据组织方法。一些学者强调知识图谱应具有推理能力。 Pujara等（2013） Pujara等（2013） 定义知识图谱为从网络提取并集成新知识的系统。Ehrlinger和Wöß（2016）则认为知识图谱将获取的信息集成到本体，并提供推理器进行新知识推理。在与遥感联系密切的地理学中， 陆锋等（2017） 陆锋等（2017） 认为知识图谱本质上是一种语义网，这一描述与Ehrlinger和Wöß（2016）具有一致性。 蒋秉川等（2018） 蒋秉川等（2018） 认为知识图谱是有属性的实体通过关系链接而成的网状知识库。 目前，国外比较有代表性的通用领域知识图谱有：DBpedia、YAGO、WikiData、WordNet、OpenCyc、Freebase、Probase、BabelNet、NELL、KnowItAll等（ 赵军 等，2018 赵军 等，2018 ），国内的比较有代表性的通用领域知识图谱有：CN-DBpedia、Zhishi.me、TechKG、OwnThink等（ 黄金来，2020 黄金来，2020 ）。相较于通用知识图谱，领域知识图谱面向特定领域， 能够进行更加细分的知识推理，辅助分析与决策。由于领域知识图谱对专业性与准确度具有更高的要求，通常要求严格的本体层，采用自底向上与自顶向下结合的方式进行构建。这使得领域知识图谱相对于通用知识图谱数量较少，发展较慢。虽然遥感领域已有研究引入规范的知识或构建知识图谱的形式辅助分析与决策（ Zhou等，2012 Zhou等，2012 ； 范菁 等，2017 范菁 等，2017 ； 谢榕 等，2017 谢榕 等，2017 ； 顾海燕 等，2018 顾海燕 等，2018 ；张海明 等，2020），但图谱规模与覆盖的领域范围都较小，还未形成类似于地学领域知识图谱中较为统一的理论框架以及大型的遥感知识图谱（ 蒋秉川 等，2018 蒋秉川 等，2018 ； 张雪英 等，2020 张雪英 等，2020 ； 刘俊楠 等，2022 刘俊楠 等，2022 ）。 针对海量多源化遥感数据堆积与有限信息孤岛并存的矛盾，本文探讨将遥感领域海量的影像作为重要的知识来源，与信息、文本等非结构化数据进行语义关联，提取知识并形成遥感知识图谱，以实现数据挖掘与遥感服务的需求。本文的贡献在于：（1）将知识图谱与遥感领域相结合，全面系统的论述了遥感知识图谱构建理论；（2）初步探究知识图谱在典型场景中的应用；（3）展望了遥感知识图谱的发展与研究方向。 2　遥感知识图谱的创建理论与方法 1 2.1　通用知识图谱 2 图1 图1 描述了典型的知识图谱结构，知识图谱可从多源数据中获取实体与关系，以图的形式存储。 图2 图2 为图结构知识的一个实例，其中红线连接可表示为三元组形式的知识（John，效力于，76人）。使用推理器可以在知识图谱中查取显示（有边连接）或隐示（无边连接）的知识。随着翻译模型与语义匹配模型（ Mikolov等，2013 Mikolov等，2013 ）的发展，知识推理从传统的逻辑推理转变为知识表示学习推理，基于知识图谱的信息挖掘技术得到显著进步（ Wang等，2017 Wang等，2017 ）。特别是近年来深度学习的发展，可以使用图神经网络GNN（Graph Neural Network）（ Bruna等，2014 Bruna等，2014 ； Kipf和Welling，2017 Kipf和Welling，2017 ； Hamilton等，2017 Hamilton等，2017 ）以及递归神经网络RNN（Recurrent Neural Network）（ Schuster和Paliwal，1997 Schuster和Paliwal，1997 ； Zaremba等，2014 Zaremba等，2014 ），实现更准确的知识表示。同时，知识图谱本身包含的知识与规则又可作为领域知识，约束机器学习，改进深度学习效果，使得知识图谱在搜索，问答，推荐等领域得到成功应用（Ehrlinger和Wöß，2016）。目前已有研究将图像实体作为图谱的节点构建影像知识场景。例如Visual Genome（ Krishna等，2017 Krishna等，2017 ）是计算机视觉中最新提出的大规模自然图片场景知识图谱，包含了十万多张的图片场景知识，对每一个场景从实体类别、属性、实体间的关系进行构建。 概念 解释 本体 源于哲学领域，对概念的明确，规范化的描述，包含类，子类，属性，属性约束等概念 OWL 全称Web Ontology Language，网络本体语言，是W3C开发的一种网络本体语言，用于对本体进行语义描述 Protégé 基于Java语言开发的本体编辑软件，使用户专注于概念层次构建，无需关注具体的本体语言 知识表示学习 将实体和关系中的语义表示为低维稠密实值向量。在该低维向量的空间中，两个实体或关系的距离越近，说明其语义相似度越高 翻译模型 知识表示学习的方法之一，利用距离函数评价两个实体间的相似性，通常来讲对实体向量进行了空间变换 语义匹配模型 知识表示学习的方法之一，利用基于相似性的评价函数，通过匹配实体的潜在语义和向量空间表示中包含的关系来度量实体间的相关性 图神经网络 在图结构上进行神经网络学习，近几年得由于深度学习的发展得到了广泛关注与迅速发展 DBpedia通过不同类型的数据提取器从Wikipedia的结构化数据抽取知识，是当前颇具代表性的通用知识图谱。2016年10月发行的版本包含130亿个RDF格式的三元组，其中本体包含760个类和大约3000个属性。DBpedia已成功应用于多个领域，例如在自然语言处理可用于实体识别，消歧与问答；在数据挖掘中可通过语义相似度计算、语义规则推理、深度学习等方法在DBpedia进行深入挖掘，发现新的知识。以DBpedia为例，通用知识图谱的构建一般包含以下步骤（ 图3 图3 ）： （1）知识获取，从不同来源提取知识信息，以手动，半自动或者自动的方式整合为结构化的知识。 （2）知识存储，将上一步搜集的知识进行存储，建立基于表或图的存储数据库系统。 （3）知识整合，对得到的多源异构知识进行知识评定、清理和精化。 （4）知识发布，将建立好的知识图谱进行Web可视化以及建立API接口提供知识服务。 2.2　遥感知识图谱构建方法 2 遥感知识图谱是知识图谱在遥感学的表现，是结构化的遥感语义知识库，通过形式化的语言描述遥感领域的概念、实体、属性以及实体间的关系，使得概念、实体相互关联，构成网状知识结构。相比通用知识图谱，遥感知识图谱面向遥感地学领域，是遥感科学、地理科学、国土领域等多领域信息的耦合成果，在图谱节点、图谱关系以及图谱推理上都具有显著的学科特点与时空图谱特性。具体表现在： （1）图像实体是遥感的重要内容，是遥感对地观测的直接成果，较文本实体更能直观、全面的描述遥感知识，发挥着文本实体无法替代的作用。因此，如何在图谱节点中嵌入图像知识是遥感知识图谱亟需解决的一个重要内容。 （2）遥感知识面向空间实体，实体关系的描述与地理知识图谱相似，除了语义关系外，还需要考虑空间关系和时间关系的描述。准确的建立实体间的空间与时间关系才能实现可靠的空间实体关系推理。 （3）传统的逻辑推理与自然语言处理的学习推理不能有效的处理图像实体与空间关系，需要结合图像处理领域的机器学习方法进行遥感知识的抽取、融合以及挖掘。 借鉴通用知识图谱与相关领域知识图谱的构建方案，遥感知识图谱的基本构建流程如 图4 图4 所示。本文提出的遥感知识图谱构建流程，考虑到了较为全面的结构化数据获取方式，是一个较为实用的大型的流程框架，但针对某一个具体应用场景构建知识图谱时，则是在该框架下，根据应用任务和数据特点进行构建。从 图4 图4 可知，模式设计是构建知识图谱的第一步，将认知领域的基本框架赋予机器。根据模式设计中定义的概念与属性可进一步明确领域知识图谱的数据来源并搜集数据。词汇挖掘步骤针对文本遥感数据，识别遥感领域中的重要短语和词汇。实体与关系发现得到相关的实体与实体间的关系，是构建知识图谱的关键环节。由于数据与信息来源多样，得到的知识可能产生重复与歧义，需要进行知识融合。构建的知识图谱不可避免地存在缺漏，错误，陈旧等问题，需要人工介入或数据挖掘算法进行质量控制。从整体看，遥感知识图谱是一个从构建到应用反馈中不断迭代完善的过程。鉴于对知识图谱的构建细节已有较多的研究（ 陆锋 等，2017 陆锋 等，2017 ； Xu等，2017 Xu等，2017 ； 蒋秉川 等，2018 蒋秉川 等，2018 ； 杨玉基 等，2018 杨玉基 等，2018 ），本文结合遥感知识图谱的特点，对模式设计与知识抽取两个关键步骤进行探讨。 （1）遥感模式设计。模式设计也可称为本体设计。本体将现实世界的对象抽象成概念，并对概念通过属性与属性约束进行明确，规范化的描述（ Gruber，1995 Gruber，1995 ）。本体由类（也称作概念），子类，属性，属性约束构成。类是对特定领域的概念抽象，如 图5 图5 的遥感本体示例中，“遥感影像”代表所有可获得的影像，“高分辨率遥感影像”是“遥感影像”的一个子类。属性是对类的描述，可对类进行拓展并约束构建的知识图谱，例如“高分辨率遥感影像分辨率高于10 m”、“低层住宅的高度小于10 m”。本体对知识与数据进行结构化组织，将数据赋予语义关联。需要注意的是，概念与实体容易混淆，在同一本体下，遥感实体也可能是一个抽象概念；例如遥感卫星可以是一个抽象概念，也可以是遥感平台的一个实例。网络本体语言（ Horrocks等，2003 Horrocks等，2003 ）的发展可以对概念与实例进行明确定义。 遥感本体的关系分为有语义关系、空间关系、时间关系。语义关系包括“从属”、“等同”、“相似”、“互斥”等关系。因为对地遥感观测地球空间信息，本体具有地理概念上的空间关系。 王东旭等（2016） 王东旭等（2016） 对地理空间关系进行了详细的论述，将地理空间关系分为拓扑关系，邻近关系与距离关系。此外，遥感卫星对地表进行周期性观测，得到不同时态的对地观测成果，因此需要时间关系对地理实体进行描述。时间关系在时间点层面包括“早于”、“晚于”、“同时”等关系，在时间段层面包括“期间”、“交叠”等关系（ 侯志伟 等，2015 侯志伟 等，2015 ； 刘俊楠 等，2022 刘俊楠 等，2022 ）。 遥感本体的构建遵循由粗到细的过程。确定知识图谱的领域与范围后，可得到图谱中的关键概念，然后在此基础上进行概念扩展，逐步补全本体概念。构建本体前，应根据需求分析查找是否存在相关本体或者分类标准，若存在，可在其基础上进行本体映射、扩展或直接使用（ Zhou等，2012 Zhou等，2012 ； 顾海燕 等，2018 顾海燕 等，2018 ）。本体映射方法已有较多研究（ Kalfoglou和Schorlemmer，2003 Kalfoglou和Schorlemmer，2003 ），但映射的前提是存在相关本体，如何在自上而下构建的基础上结合底层数据向上进行概念修正与补全，也是遥感知识图谱研究的重要内容。 （2）遥感知识抽取。遥感领域知识可分为文本知识与图像知识；前者对遥感知识进行文字描述，例如从“资源三号卫星属于遥感卫星”中可提取（资源三号卫星，属于，遥感卫星）这一结构化信息，从而建立知识图谱中实体与本体中类的映射关系。文字知识抽取主要使用词汇挖掘技术识别出领域中的重要短语和词汇；并通过实体识别，实体归类，实体链接等方法识别实体并建立实体间的具体关系（ He等，2018 He等，2018 ）；对于多源文本信息，则需要通过实体对齐与属性融合消除重复知识（ Vashishth等，2018 Vashishth等，2018 ）。 图像知识抽取可分为自顶向下与自底向上的两种模式。人工标注是常见的自顶向下构建方法，例如计算机视觉的图像知识库COCO（ Lin等，2014 Lin等，2014 ）与Visual Genome（ Krishna等，2017 Krishna等，2017 ）通过人工标注的方式进行图像实体标注，建立图像内部实体间的关系。自底向上的图像知识抽取本质上属于自动解译的范畴。在不要求细致的语义概念时，可通过无监督分割实现（ Aksoy，2006 Aksoy，2006 ）。在需要细致的概念分类时，需使用监督分类算法。实体空间关系（邻接、分离、方向、距离）可从解译结果计算得到。 遥感影像是遥感领域对地观测的直接成果，相较于文本实体能直观、全面的描述遥感场景。因此，影像实体是遥感知识图谱中的重要组成内容。遥感影像中不仅包含众多对象实体，更蕴含了对象之间的关系，如建筑物与道路之间的拓扑、方向和距离等空间关系。通过认知这些对象和关系信息能重构出逼真的地理场景，进而形成地理知识。遥感场景图可将影像中的实体与关系结构化表示，它由一系列描述影像内容的（对象1，关系，对象2）三元组构成。本文提出针对遥感图像知识抽取的场景图的生成方案，主要包括对象检测和关系预测两个步骤，可采用与深度学习相结合生成框架（ 图6 图6 ）。为训练深度学习网络，需要对部分影像进行人工标注，标注形式参考Visual Genome（ Krishna等，2017 Krishna等，2017 ），标注内容包括影像包含的对象和对象之间的空间关系。具体方案如下： （1）利用Faster R-CNN等目标检测算法（ Ren等，2017 Ren等，2017 ； Liu等，2016 Liu等，2016 ； Redmon等，2016 Redmon等，2016 ）生成对象候选框，并根据候选框提取对象特征（包括类别特征和位置特征），最后将对象特征输入到RNN和GNN等迭代信息传递网络模型中进行关系的推理和预测。 （2）遥感场景中的对象及其关系和遥感知识库中的相关概念实体存在联系。因此，可将遥感场景图作为知识图谱的子图，通过图谱融合的方式将多个的遥感场景图整合成遥感场景知识图谱。 由遥感影像生成遥感场景图，实现从“数据”到“知识”的跨越。在此框架下，多源、多时相遥感影像可为场景知识图谱的构建提供丰富的素材资源；同时，遥感场景图可为遥感对象解译、关系推理和场景理解等任务提供知识支撑，使得数据挖掘和知识理解形成良性循环。 3　遥感知识图谱的典型场景应用初探 1 3.1　耦合遥感知识图谱推理与深度学习的土地覆盖分类 2 遥感影像土地覆盖自动分类是遥感领域研究热点（ 曹鑫 等，2016 曹鑫 等，2016 ； 董金玮 等，2018 董金玮 等，2018 ），具有重要的应用价值，亟需智能化处理。然而基于深度学习的遥感影像语义分割方法可解释性差、缺乏自我认知能力。研究建立具备知识推理能力以及可靠性强的面向遥感影像数据的新一代人工智能解译方法，可为遥感信息准确、可解释、智能化处理提供科学依据及技术保障。遥感知识图谱内的语义关系搭建起了实体之间的联系，借助已有的领域专家知识（规则）在这些联系的基础上构建新的联系，从而得到新的语义信息，这个过程即遥感知识图谱推理。 Li等（2020） Li等（2020） 提出了一种耦合遥感知识图谱推理与深度学习的遥感影像土地覆盖分类，推进遥感影像智能化解译。该方法利用分类器与推理器的交互，形成了一个闭环，不断地进行迭代，直到分类精度收敛。在每个迭代中，基于深度语义分割网络的分类器提供分类结果，基于遥感知识图谱的推理器进行知识推理，直接纠正分类器输出的错误分类并从改正后的分类结果中提取出阴影和高程估计信息作为分类器的额外通道输入以间接辅助分类，从而增强了分类器的抗干扰能力。该方法在公开数据集上进行了实验测试，实验结果表明该方法在深度语义分割网络基础上有效地提高了分类结果的精度与可解释性。 耦合遥感知识图谱推理与深度学习的遥感影像土地覆盖分类方法总体流程如 图7 图7 。首先，进行第一次迭代，离线建立遥感解译知识图谱（ 图8 图8 ）、基于遥感知识图谱的体系内和体系外推理规则（如 表2 表2 和 表3 表3 中示例），并将规则加入到推理规则库中；然后利用样本数据 <math id="M1"><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558302&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558314&type= 1.60866666 2.62466669 及额外通道信息 <math id="M2"><mi mathvariant="bold-italic">E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558316&type= 2.45533323 2.62466669 训练深度语义分割网络，并完成对遥感影像的地物分类（第一个迭代步，额外通道信息 <math id="M3"><mi mathvariant="bold-italic">E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558316&type= 2.45533323 2.62466669 置零，后续迭代步内可以自适应生成），从而得到第Ⅰ阶段输出，包括每个像素的类别 <math id="M4"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558321&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558319&type= 2.28600001 2.62466669 及其分类置信度。接下来使用超像素分割方法对图像进行超像素分割，得到超像素集合 G （包括 <math id="M5"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558324&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558322&type= 2.53999996 2.62466669 个超像素）。 <math display="block" id="M6"><mi mathvariant="bold-italic">G</mi><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mtext> </mtext><mo>…</mo><mo>,</mo><mtext> </mtext><msub><mrow><mi>S</mi></mrow><mrow><mi>K</mi></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>S</mi><mi>e</mi><mi>g</mi><mi>m</mi><mi>e</mi><mi>n</mi><mi>t</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">I</mi></mrow></mfenced><mo>,</mo><mtext> </mtext><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo><</mo><mi>K</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558327&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558326&type= 70.27333069 4.57200003 编号 规则说明 规则1 给定地物类别误分为植被的推理单元，假如其被裸地、道路、建筑或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别。 规则2 给定地物类别误分为裸地的推理单元，假如其被道路、建筑或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别。 规则3 误分地物的分类类别为车辆，与其相邻的所有正确分类的地物中没有一个类别为道路，则其分类类别改正为邻域内占多数的正确分类地物类的类别。 规则4 误分地物的分类类别为船，其邻域内不存在正确分类的水体，则其分类类别改正为邻域内占多数的正确分类地物类的类别。 编号 规则说明 规则5 误分地物的分类类别为道路、裸地、水体或车辆，若其邻域内存在正确分类的建筑，则其对应区域存在阴影。 规则6 正确分类地物的分类类别为植被、裸地、道路或水体时，则其具有低高程。 规则7 正确分类地物的分类类别为建筑时，则其具有高高程。 每个超像素区域内所有像素中最多的类别作为该超像素的类别。结合类别与空间相邻关系对超像素进行聚类，将聚类后的超像素作为推理单元 <math id="M7"><mi>S</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558337&type= 3.13266683 2.70933342 。 <math display="block" id="M8"><mi>S</mi><mi>'</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>C</mi><mo>,</mo><mtext> </mtext><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mtext> </mtext><mi mathvariant="normal">A</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">j</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mtext> </mtext><mi mathvariant="normal">t</mi><mi mathvariant="normal">o</mi><mtext> </mtext><mi>S</mi><mo>,</mo><mtext> </mtext><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo><</mo><mi>K</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558339&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558363&type= 64.60066223 4.65666676 式中， C i 为第 i 个超像素的类别。 计算推理单元内所有像素点置信度的平均值作为该推理单元的分类置信度。分类置信度 <math id="M9"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558341&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558366&type= 2.37066650 2.62466669 的大小可以作为分类正确与否的判别依据，其阈值 <math id="M10"><msub><mrow><mi>F</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558368&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42558374&type= 3.04800010 3.72533321 属于一个经验阈值。分类置信度低的推理单元作为错误分类单元；随后计算相邻推理单元之间的空间关系（如相邻、方位、包含等），结合推理单元属性信息和知识图谱推理规则进行体系内推理，通过知识推理消除由错误分类造成的孔洞现象（如规则1—2）和纠正由于空间关系不一致性导致的错误分类（如规则3—4），从而得到改正后的地物覆盖分类图，即为第Ⅱ阶段输出；接下来根据体系外推理规则对已校正的分类图进行推理，提取相应的阴影和相对高程的估计信息（如规则5—7）；最后将阴影和相对高程信息作为额外通道附加在对应的图像原始数据上，一起送入深度语义分割网络中进行下一次的迭代，直到网络分割精度收敛。 该方法在UCM数据集上的分类结果如 图9 图9 ，可以看出对阴影和相对高程的估计较为准确，基本上描绘出了地物的轮廓。随着迭代次数的增加，分类结果变得更准确，阴影和相对高程信息也更加精确。额外信息从分类结果中提取，同时又作为分类器的额外输入信息辅助分类。分类器与推理器相互影响、协同促进。 1,2,3,4,5,6,7,8,9,10;11; 该方法在UCM数据集上的总体分类精度和平均交并比mIoU（Mean Intersection over Union），及其与U-Net（ Ronneberger等，2015 Ronneberger等，2015 ）和Semantic Referee（ Alirezaie等，2019 Alirezaie等，2019 ）的对比结果见 表4 表4 。从表中可知，该方法取得了最高的总体分类精度和mIoU；相比于第Ⅰ阶段，经过了体系内推理改正分类错误的第Ⅱ阶段的分类精度提高明显。实验结果充分证明了将知识推理融入深度卷积神经网络的分割方法对地物分类的有效性，该方法有助于缓解传统深度学习网络在分割中普遍存在的空洞现象和分类结果不合理问题，能有效提升分类精度和合理性。 注： 黑体表示最佳实验结果。 方法 精度 mIoU U-Net 0.8040 0.6755 Semantic Referee 0.8253 0.6798 第Ⅰ阶段 0.8374 0.6885 第Ⅱ阶段 0.8592 0.7098 3.2　遥感知识图谱驱动的海洋溢油监测与推理 2 海洋溢油是造成海洋污染损害的主要因素之一，在各种海洋污染中，石油污染无论在发生频率，分布广度，还是在危害程度上仍居首位。面对日趋严重的海洋石油类污染问题，世界各国都加大了治理的力度，并制定了相应的法律政策（ 黄妙芬，2016 黄妙芬，2016 ）。遥感技术具有大面积、高频次、低成本获取信息的优势，利用遥感技术可以有效地检测石油的变化过程、移动轨迹、空间分布。现有的遥感技术检测水体溢油主要体现在油膜探测上，SAR影像由于不受气象条件限制，是目前油膜检测最有效的手段，油膜覆盖海平面时，减弱了海平面的粗糙度，因此阻碍了海平面散射，使其在影像上呈现出比海水颜色更暗的黑色斑块。传统的海洋溢油监测流程依次为黑斑分割、特征提取、特征选择、油污分类（ Spaulding，2017 Spaulding，2017 ）。然而传统的方法忽略了黑斑之间空间关系，受洋流与海浪影响油污斑块可能会形成细碎的斑块；也没有考虑黑斑与港口、溢油管线、油码头、石油平台等石油设施之间的空间关系。一般而言，与它们相近的海域更容易发生溢油事件；此外，不能对溢油事件的成因进行推理。因此提出了遥感知识图谱驱动的遥感影像海洋溢油监测与推理方法。油污监测知识图谱的构建流程如 图10 图10 所示。 首先对海洋溢油进行知识建模，核心是构建溢油事件的本体描述。针对本体需求搜集实体数据。具体包含溢油监测报告、卫星影像（Sentinel数据、MODIS数据等）、矢量数据（港口、油码头、石油平台、船舰轨迹数据、国家等）、大气模型数据、海洋模型数据。对搜集的数据之进行知识抽取与融合，并对形成的知识图谱进行存储。存储方式可分为RDF格式存储和图数据库存储；相比于RDF格式存储，图数据库的方式更加通用（ 赵军 等，2018 赵军 等，2018 ），因此溢油知识图谱采用开源的图数据库Neo4j作为存储数据库。油污监测知识图谱的部分结果如 图11 图11 所示，查询显示了2000个三元组，包含从中SAR影像分割黑斑、油码头、石油平台、国家、港口等实体，临近、属于等关系。 构建好溢油知识图谱后即可进行知识查询与推理。例如可以查询与油污斑块最临近的港口、油井、平台等，查询油污斑块的大小、坐标、属于哪一个海域，以便进行快速清理；可通过查询每年各个不同海域油污数量对各个海域进行溢油泄露风险评估，根据评估结果对不同海域进行有针对的管理；当查询到某一个黑斑与图谱中的油污距离小于某一个阈值时，可推测该黑斑为细碎的油污斑块。 利用知识图谱进行溢油监测可以充分考虑各种环境因素和空间关系，有效避免传统方法的缺点，从而达到更好的监测效果。 3.3　基于遥感知识规则的国土空间规划双评价 2 在新型城镇化建设的时代背景下，空间治理工作面临诸多新要求和新挑战（ 胡腾云 等，2020 胡腾云 等，2020 ）。在2019年5月10日中共中央、国务院印发的《关于建立国土空间规划体系并监督实施的若干意见》（中发（2019）18号）提出了“坚持节约优先、保护优先、自然恢复为主”的方针，其中资源环境承载能力是一定国土空间内自然资源、环境容量和生态服务功能对人类活动的综合支撑水平；国土空间开发适宜性是指国土空间对城镇建设、农业生产等不同开发利用方式的适宜程度，简称国土空间规划双评价。双评价适应国土空间高质量发展，符合国土空间规划科学编制；助力于科学认知中国自然地理国情与区域发展格局，发现发展方式存在的问题。 本体不仅可以规范的表达双评价知识体系，还可以基于构建的知识推理，得到双评价结果。笔者以双评价中的资源环境承载力评价为例，描述其本体的构建与应用示例。首先，严格按照评价指南中的资源环境承载力评价技术流程，抽象出相关的本体概念。其中评价流程如 图12 图12 所示，主要包含基础数据库构建，数据预处理，单项评价，集成评价等内容；相关的概念可从上至下归纳为功能指向，自然要素，地理实体，多源数据。由于资源环境承载力评价中都采用单因子分级或集成组合分级的评价规则，适合通过SWRL本体语言描述：例如指南要求单项评价中对坡度的描述为“按 < 3°、3°—8°、8°—15°、15°—25°、 > 25°生成坡度分级图”，即可表达为表所示的SWRL描述。 规则 SWRL描述 一级坡度，<3° 坡度（？p）， xsd：decimal［<=3］（？value）， 取值为（？p， ？value）->分级为（？p， 1） 二级坡度，3°—8° 坡度（？p）， xsd：decimal［>3，<=8］（？value）， 取值为（？p， ？value）->分级为（？p， 2） 三级坡度，8°—15° 坡度（？p）， xsd：decimal［>8，<=15］（？value）， 取值为（？p，？value）->分级为（？p， 3） 四级坡度，15°—25° 坡度（？p）， xsd：decimal［>15，<=25］（？value）， 取值为（？p， ？value）->分级为（？p， 4） 五级坡度，>25° 坡度（？p）， xsd：decimal［>25］（？value）， 取值为（？p， ？value）->分级为（？p， 5） 上述建立的本体是对指南中的概念与规则进行的规范化描述。然后将每个评价单元作为一个实体，包含了具体的坡度，坡向，高程，降水量等因子的取值，利用本体的逻辑推理功能，即可得到每个实体在资源环境承载力评价中对应的类别。由于Protégé仅能对单个实体进行推理，而双评价需要对区域内多个单元进行评价。以渤海湾区域为例（ 图13 图13 ），结合ArcEngine构建评价区域网格，调用Pellet推理接口结合Protégé构建的本体，可实现批量知识推理与可视化表达。相比于传统的评价方法，基于本体的双评价方法将评价规则与执行程序相分离，不依赖特定软件，有利于协同构建，仅需更新维护本体以适应新的评价规则，简单高效。 4　遥感知识图谱的未来研究方向 1 4.1　多模态遥感知识图谱的创建理论与方法 2 虽然知识图谱技术已经被广泛用于处理结构化数据和文本数据，并且已经有很多开放知识图谱（如DBpedia、Wikidata，IMGpedia和MMKG），但是非结构化数据（如视觉图像数据）没有充分的利用起来，而且相对缺乏有效的技术手段从这些数据中提取结构化知识。因此，以现有的方法构建遥感知识图谱难以利用全部数据，造成大量的信息丢失。 多模态知识图谱技术（Wang等，2019）可以使现有的模型在充分考虑结构化的文本数据和非结构化的视觉数据时获得更好的性能。传统知识图谱主要集中研究文本数据的实体和关系，而多模态知识图谱则在传统知识图谱的基础上，构建了多种模态（例如视觉模态）下的实体，以及多种模态实体间的多模态语义关系，因此构建多模态遥感知识图谱可以最大化利用遥感数据信息，形成全面且完备的遥感知识库。 多模态遥感知识图谱的结构数据虽然在底层表征上是异构的，但是相同实体的不同模态数据在高层语义上是统一的，因此可以实现基于知识图谱的一般任务，服务于各种应用场景。在遥感测绘领域，由于全球综合观测成果中数据和知识的多维度、多关联、多不确定性等特征，以及领域知识中存在的隐含性、进化性和复杂性等难点，通过多模态遥感知识图谱技术可以建立遥感领域典型应用场景知识，形成集成式智能决策的“数据—知识—服务”深度共享体系，实现基于全球综合观测成果的知识精准化获取和个性化服务，提升观测数据价值和面向领域及应用场景的服务能力提出“推理—验证”协同的领域知识迭代建模机制，建立“观测数据—领域知识—场景服务”自完备理论，实现高可信领域知识库和时空知识图谱的智能构建。 4.2　遥感知识图谱的协同更新与对齐融合 2 近年来，若干个相关知识图谱已经初步建成（ 蒋秉川 等，2018 蒋秉川 等，2018 ； 陈军 等，2019 陈军 等，2019 ），但受限于知识图谱的规模，尚未得到实际应用。真正可以实用化的遥感知识图谱有赖于大量遥感领域专业人员的参与长期建设。在这一背景下，遥感知识图谱的协同更新与知识融合尤为重要。遥感知识图谱的协同更新与知识融合能够完善知识图谱的知识体系，丰富知识图谱中的语义信息，提升知识图谱的质量。 （1）协同更新。由于社会的发展和知识的更新，知识图谱的构建不能是一个无法扩展的静态过程，而应该能够及时获取更新的知识并不断进行自我完善，实现与知识的发展协同更新的动态过程。由于领域的特殊性，遥感领域知识往往受到时间空间等动态因素约束，比如城市的气候特征、地表覆盖类型、同一经纬度上不同区域的地貌特征等，虽然可以通过增加时间、坐标等属性信息缓解该问题，但是会造成实体数量增加、知识冗余等问题，因此相比于其他领域，遥感知识图谱在一定程度上具有知识时效性短、动态更新频繁等特点。在一般的知识图谱构建过程中，可以通过知识抽取技术提取半结构化数据和非结构化数据中的实体（实体抽取）、关系（关系抽取）、属性（属性抽取）形成新的三元组形式的结构化数据补充现有知识库，但其主要对象是文本数据和结构化数据，而不太适用于遥感数据中所包含的大量的卫星图像、数字监测视频、传感器时序数据等非结构化数据。 （2）知识融合。由于研究人员对领域知识的理解和侧重不尽相同，同一领域的不同知识图谱的知识范围也不完全相同，比如土地覆盖类型遥感知识图谱以及城市气候特点遥感知识图谱同属遥感知识图谱但分别侧重地类和气候等，上述因素除了会影响知识图谱规模外，还可能带来知识的重复与冲突等问题。遥感知识融合是将不同数据中的语义相同或相似的实体关联到同一个实体上，实现对同名、多名、缩写实体的对齐与消歧。因此通过融合多个遥感知识图谱中的交叉实体，比如地名“武汉”、“Wuhan”、“江城”，将多个知识图谱合并成一个统一的知识图谱是扩展不完备的遥感知识图谱的有效手段之一，同时能消解不同知识图谱中存在的知识冲突问题并在一定程度上缓解数据的长尾分布问题。但是由于遥感知识图谱中包含有大量的视觉信息加大了推理的难度，并且实体具有的丰富拓扑关系使得实体间的关系更加复杂，现有的实体相似度计算方法很难充分利用遥感。 随着GNN的发展，神经网络对图数据的处理能力越来越强，而知识图谱本质上是一种图数据库，使用GNN完善知识图谱已成为相关研究人员的重要思路并取得了巨大进步（ Zhang等，2018 Zhang等，2018 ， 2019a 2019a ， 2019b 2019b ），但是如何实现符合遥感领域特点的知识抽取与融合技术，实现遥感知识图谱的自动化构建仍然是一个开放问题，也是发展遥感知识图谱的重要研究方向之一。 4.3　基于遥感知识图谱表示学习的智能遥感影像分类 2 现有的遥感影像分类方法大多属于有监督学习，即需要大量有标签数据，随着遥感大数据时代的来临，遥感地物类别呈现爆炸式增长趋势，为所有类别都搜集充足的遥感影像样本是不现实的。零样本遥感影像分类（ 李彦胜 等，2020 李彦胜 等，2020 ； Li等，2021 Li等，2021 ）依据一些含有标签的数据（可见类），将遥感领域的先验知识引入遥感影像场景理解过程，训练某种分类模型，从而识别与训练阶段数据完全不同类别（不可见类）的场景，实现智能遥感影像分类。 大量心理学研究表明，人类可以识别大约3万种物体种类，同时也可以对这些类中包含的子类进行分辨（ Biederman，1987 Biederman，1987 ）。人类可以从以往的学习中获得和积累先验知识，并将经验和知识运用到解决新的问题中，借此提高了人类的推理能力。例如，假设一个人从未见过斑马（不可见类），但他知道斑马是一种身上有黑白条纹（先验知识）的外形像马（可见类）的动物，那么当他第一次看到斑马的时候，依然能认出这是斑马。这样的学习过程可以总结为“已有可见类别（认识马）+先验知识（知道斑马是身上有黑白条纹的特征并且外形像马的动物）+推理（识别斑马）”的过程，这正是零样本分类的核心思想，即利用先验知识作为关联可见类与不可见类别的桥梁进行推理。在零样本分类任务中，先验知识通常指类别的自然语言语义向量或属性向量。 目前在零样本分类任务中，语义向量普遍使用如Word2vec（ Mikolov等，2013 Mikolov等，2013 ）、Bert（ Devlin等，2019 Devlin等，2019 ）等自然语言模型。这类方法能够从大型语料库中自动将单词或者句子生成具有语义信息的向量。然而，当任务具体到遥感影像分类领域，由于遥感影像普遍存在“同物异谱”与“异物同谱”现象，利用基于广义语料库训练得到的自然语言模型获取的类别语义向量很大程度上无法充分表示不同遥感场景之间的相似和差异程度，这对零样本遥感影像分类精度有巨大影响。遥感知识图谱为零样本影像分类提供了新方向。 在遥感影像中，不同场景类别可能包含相似或相同的对象，使得可以从一些已有场景中学习到各种对象，进行重新组合和演化得到新的场景类别。遥感知识图谱可以提供“场景实体—关系—目标实体”的三元组模式，依据该模式可对场景进行细化处理，进而充分挖掘不同场景之间的关联信息，然后通过整合具有几何形态、位置关系的目标及其属性、状态，获得对遥感场景的感知、学习和推理能力，最终结合相关知识表示方法如TransE（ Bordes等，2013 Bordes等，2013 ）等，获得具有丰富语义信息的表征向量，获得的向量能更好地表示不同场景类别，衡量不同场景之间的语义关系，从而提高遥感影像零样本分类精度。 4.4　遥感知识图谱辅助的科学决策支持分析 2 遥感知识图谱将领域知识以结构化形式表示，包含丰富的语义知识，通过知识表示与推理，可以为人工智能系统提供可处理的先验知识，使系统具有强大的可解释性，更好的为人类提供对地观测相关的决策服务（ De Cao等，2019 De Cao等，2019 ； Lin等，2019 Lin等，2019 ； Ding等，2019 Ding等，2019 ）。得益于遥感应用的广泛性，遥感知识图谱在辅助决策任务中也有重要应用前景，比如可以根据遥感知识图谱推断城市环境、经济的发展，从而为相似城市提供决策意见；依据遥感知识图谱中的地形地貌、温度气候、人口分布规划救援救灾路线、评估灾害损失；推断图谱中未直接相连实体的关系，从而做出针对性决策。 现在，虽然知识图谱在辅助决策方面已经有了一定程度的应用（ Kalfoglou和Schorlemmer，2003 Kalfoglou和Schorlemmer，2003 ； He等，2018 He等，2018 ），但是仍然存在着对解释和理解的认知匮乏、知识引导与数据驱动深度融合模型的缺乏等困难影响着知识图谱的可解释性。在遥感应用领域，除了上述困难之外，遥感知识图谱本身存在的数据多样性、结构复杂性也为推理带来了难度，不同模态数据之间的关系难以挖掘，另外实体之间关系的含义又会受到应用领域的影响，使得推理更为复杂，此时则需要相关人员制定大量的推理规则，增加了决策成本，因此现阶段遥感知识图谱能提供的决策支持还十分有限。如何结合具体应用领域，减少人工规则的干预，实现多模态数据之间关系的挖掘与推理是决定遥感知识图谱能否在各个领域成功应用的关键因素之一，也是未来的重要研究方向之一。 5　结语 1 本文回顾了知识图谱的发展，探讨了遥感知识图谱的构建与应用。将遥感数据、学科领域概念进行结构化组织与描述，在遥感领域决策分析，遥感知识个性化服务、遥感影像理解等领域具有重要价值。但当前的遥感知识图谱研究仍处于重本体阶段，强调本体概念与规则设计，使其应用受限。在遥感大数据时代背景与深度学习不断发展壮大的趋势下，多源异质的大规模遥感知识图谱构建以及基于图神经网络的知识图谱学习与计算成为内在需求，是遥感亟需研究的科学领域。一方面，知识图谱可以构建遥感知识模型与复杂遥感场景，为知识—数据驱动的数据挖掘提供知识基础。另一方面，利用知识图谱中丰富的语义关系，可以实现面向语义需求的智能检索、增强智能遥感服务。利用建立的遥感领域知识图谱可以形成以精准化获取和个性化主动推送为核心的“数据—知识—服务”深度共享体系，可实现全球综合观测成果从“僵化数据”到“可用知识”的跨越，从根本上提升观测成果的潜在价值，推动全球综合观测数据及典型要素资源的深化应用，直接拉动对地观测产业发展，间接提升相关领域的产业附加价值。 同时也应看到，遥感知识图谱研究起步较晚，应关注自然语言处理，计算机视觉，地理信息系统等领域的知识图谱发展方向，并吸收其先进技术。可以预见，遥感知识图谱与表示学习、深度学习紧密结合，实现遥感知识挖掘与知识服务，将成为遥感知识图谱发展的必然趋势。 参考文献（references） Aksoy S . 2006 . Modeling of remote sensing image content using attributed relational graphs // Proceedings of the Joint IAPR International Workshops on Statistical Techniques in Pattern Recognition (SPR) and Structural and Syntactic Pattern Recognition (SSPR) . Hong Kong, China : Springer: 475 - 483 Modeling of remote sensing image content using attributed relational graphs Alirezaie M , Längkvist M , Sioutis M and Loutfi A . 2019 . Semantic referee: a neural-symbolic framework for enhancing geospatial semantic segmentation . Semantic Web , 10 ( 5 ): 863 - 880 [ DOI: 10.3233/SW-190362 http://dx.doi.org/10.3233/SW-190362 ] Semantic referee: a neural-symbolic framework for enhancing geospatial semantic segmentation Biederman I . 1987 . Recognition-by-components: a theory of human image understanding . Psychological Review , 94 ( 2 ): 115 - 147 [ DOI: 10.1037/0033-295X.94.2.115 http://dx.doi.org/10.1037/0033-295X.94.2.115 ] Recognition-by-components: a theory of human image understanding Bordes A , Usunier N , Garcia-Durán A and Weson J . 2013 . Translating embeddings for modeling multi-relational data // Proceedings of the 26th International Conference on Neural Information Processing Systems . Lake Tahoe Nevada : Curran Associates Inc.: 2787 - 2795 Translating embeddings for modeling multi-relational data Bruna J , Zaremba W , Szlam A and LeCun Y . 2014 . Spectral networks and locally connected networks on graphs. arXiv preprint arXiv:1312 . 6203 Spectral networks and locally connected networks on graphs. arXiv preprint arXiv:1312 Cao X , Chen X H , Zhang W W , Liao A P , Chen L J , Chen Z G and Chen J . 2016 . Global cultivated land mapping at 30 m spatial resolution . Science China Earth Sciences , 59 ( 12 ): 2275 - 2284 Global cultivated land mapping at 30 m spatial resolution 曹鑫 , 陈学泓 , 张委伟 , 廖安平 , 陈利军 , 陈志刚 , 陈晋 . 2016 . 全球30m空间分辨率耕地遥感制图研究 . 中国科学 : 地球科学 , 46 ( 11 ): 1426 - 1435 [ DOI: 10.1360/N072015-00291 http://dx.doi.org/10.1360/N072015-00291 ] 全球30m空间分辨率耕地遥感制图研究 Chen J , Liu W Z , Wu H , Li Z L , Zhao Y and Zhang L . 2019 . Basic issues and research agenda of geospatial knowledge service . Geomatics and Information Science of Wuhan University , 44 ( 1 ): 38 - 47 Basic issues and research agenda of geospatial knowledge service 陈军 , 刘万增 , 武昊 , 李志林 , 赵勇 , 张蓝 . 2019 . 基础地理知识服务的基本问题与研究方向 . 武汉大学学报(信息科学版) , 44 ( 1 ): 38 - 基础地理知识服务的基本问题与研究方向 [ DOI 10.13203/j.whugis20180441 http://dx.doi.org/10.13203/j.whugis20180441 ] [ Chen J , Xiang L G and Gong J Y . 2013 . Virtual globe-based integration and sharing service method of GeoSpatial information . Science China Earth Sciences , 56 ( 10 ): 1780 - 1790 Virtual globe-based integration and sharing service method of GeoSpatial information 陈静 , 向隆刚 , 龚健雅 . 2013 . 基于虚拟地球的网络地理信息集成共享服务方法 . 中国科学 : 地球科学 , 43 ( 11 ): 1770 - 1784 [ DOI: 10.1007/s11430-013-4627-0 http://dx.doi.org/10.1007/s11430-013-4627-0 ] 基于虚拟地球的网络地理信息集成共享服务方法 De Cao N , Aziz W and Titov I . 2019 . Question answering by reasoning across documents with graph convolutional networks // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies . Minneapolis : ACL: 2306 - 2317 Question answering by reasoning across documents with graph convolutional networks Devlin J , Chang M W , Lee K and Toutanova K . 2019 . BERT: pre-training of deep bidirectional transformers for language understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies . Minneapolis : ACL: 4171 - 4186 BERT: pre-training of deep bidirectional transformers for language understanding Ding M , Zhou C , Chen Q B , Yang H X and Tang J . 2019 . Cognitive graph for multi-hop reading comprehension at scale // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics . Florence : ACL [ DOI: 10.18653/v1/P19-1259 http://dx.doi.org/10.18653/v1/P19-1259 ] Cognitive graph for multi-hop reading comprehension at scale Dong J W , Kuang W H and Liu J Y . 2017 . Continuous land cover change monitoring in the remote sensing big data era . Science China Earth Sciences , 60 ( 12 ): 2223 - 2224 Continuous land cover change monitoring in the remote sensing big data era 董金玮 , 匡文慧 , 刘纪远 . 2018 . 遥感大数据支持下的全球土地覆盖连续动态监测 . 中国科学 : 地球科学 , 48 ( 2 ): 259 - 260 [ DOI: 10.1007/s11430-017-9143-3 http://dx.doi.org/10.1007/s11430-017-9143-3 ] 遥感大数据支持下的全球土地覆盖连续动态监测 Ehrlinger L and Wöß W . 2016 . Towards a definition of knowledge graphs // Proceedings of the Posters and Demos Track of the 12th International Conference on Semantic Systems . Leipzig, Germany : CEUR-WS.org Towards a definition of knowledge graphs Fan J , Yu W Z , Wu W and Shen Y . 2017 . Knowledge-guided fitting method for sparse time series remote sensing data . Journal of Remote Sensing , 21 ( 5 ): 749 - 756 Knowledge-guided fitting method for sparse time series remote sensing data 范菁 , 余维泽 , 吴炜 , 沈瑛 . 2017 . 知识引导的稀疏时间序列遥感数据拟合 . 遥感学报 , 21 ( 5 ): 749 - 756 [ DOI: 10.11834/jrs.20176434 http://dx.doi.org/10.11834/jrs.20176434 ] 知识引导的稀疏时间序列遥感数据拟合 Färber M , Bartscherer F , Menne C and Rettinger A . 2018 . Linked data quality of DBpedia, freebase, OpenCyc, wikidata, and YAGO . Semantic Web , 9 ( 1 ): 77 - 129 [ DOI: 10.3233/SW-170275 http://dx.doi.org/10.3233/SW-170275 ] Linked data quality of DBpedia, freebase, OpenCyc, wikidata, and YAGO Gruber T R . 1995 . Toward principles for the design of ontologies used for knowledge sharing . International Journal of Human-Computer Studies , 43 ( 5/6 ): 907 - 928 [ DOI: 10.1006/ijhc.1995.1081 http://dx.doi.org/10.1006/ijhc.1995.1081 ] Toward principles for the design of ontologies used for knowledge sharing Gu H Y , Li H T , Yan L , Han Y S , Yu F , Yang Y and Liu Z J . 2018 . A geographic object-based image analysis methodology based on geo-ontology . Geomatics and Information Science of Wuhan University , 43 ( 1 ): 31 - 36 A geographic object-based image analysis methodology based on geo-ontology 顾海燕 , 李海涛 , 闫利 , 韩颜顺 , 余凡 , 杨懿 , 刘正军 . 2018 . 地理本体驱动的遥感影像面向对象分析方法 . 武汉大学学报(信息科学版) , 43 ( 1 ): 31 - 36 [ DOI: 10.13203/j.whugis20150468 http://dx.doi.org/10.13203/j.whugis20150468 ] 地理本体驱动的遥感影像面向对象分析方法 Hamilton W L , Ying R and Leskovec J . 2017 . Inductive representation learning on large graphs // Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach : Curran Associates Inc.: 1025 - 1035 Inductive representation learning on large graphs He L , Shao B , Xiao Y H , Li Y T , Liu T Y , Chen E H and Xia H H . 2018 . Neurally-guided semantic navigation in knowledge graph . IEEE Transactions on Big Data , 8 ( 3 ): 607 - 615 [ DOI: 10.1109/TBDATA.2018.2805363 http://dx.doi.org/10.1109/TBDATA.2018.2805363 ] Neurally-guided semantic navigation in knowledge graph Horrocks I , Patel-Schneider P F and van Harmelen F . 2003 . From SHIQ and RDF to OWL: the making of a web ontology language . Journal of Web Semantics , 1 ( 1 ): 7 - 26 [ DOI: 10.1016/j.websem.2003.07.001 http://dx.doi.org/10.1016/j.websem.2003.07.001 ] From SHIQ and RDF to OWL: the making of a web ontology language Hou Z W , Zhu Y Q , Gao X , Pan P , Luo K and Wang D X . 2015 . Time-ontology and its application in geodata retrieval . Journal of Geo-Information Science , 17 ( 4 ): 379 - 390 Time-ontology and its application in geodata retrieval 侯志伟 , 诸云强 , 高星 , 潘鹏 , 罗侃 , 王东旭 . 2015 . 时间本体及其在地学数据检索中的应用 . 地球信息科学学报 , 17 ( 4 ): 379 - 390 [ DOI: 10.3724/SP.J.1047.2015.00379 http://dx.doi.org/10.3724/SP.J.1047.2015.00379 ] 时间本体及其在地学数据检索中的应用 Hu T Y , Li X C , Gong P , Yu W C and Huang X C . 2020 . Evaluating the effect of plain afforestation project and future spatial suitability in Beijing . Science China Earth Sciences , 63 ( 10 ): 1587 - 1598 Evaluating the effect of plain afforestation project and future spatial suitability in Beijing 胡腾云 , 李雪草 , 宫鹏 , 喻文承 , 黄晓春 . 2020 . 北京市平原造林遥感监测与未来空间适宜性评价模拟 . 中国科学 : 地球科学 , 50 ( 10 ): 1455 - 1467 [ DOI: 10.1007/s11430-019-9636-0 http://dx.doi.org/10.1007/s11430-019-9636-0 ] 北京市平原造林遥感监测与未来空间适宜性评价模拟 Huang J L . 2020 . Research and Application of Text Classification Algorithm in Patent Field Based on Knowledge Graph . Changchun : Jilin University Research and Application of Text Classification Algorithm in Patent Field Based on Knowledge Graph 黄金来 . 2020 . 基于知识图谱的专利领域文本分类算法研究与应用 . 长春 : 吉林大学 基于知识图谱的专利领域文本分类算法研究与应用 Huang M F . 2016 . Remote Sensing Detection Mechanism and Information Extraction Method of Water Petroleum Pollution . Beijing : Science Press Remote Sensing Detection Mechanism and Information Extraction Method of Water Petroleum Pollution 黄妙芬 . 2016 . 水体石油类污染遥感探测机理与信息提取方法 . 北京 : 科学出版社 水体石油类污染遥感探测机理与信息提取方法 Jiang B C , Wan G , Xu J , Li F and Wen H Q . 2018 . Geographic knowledge graph building extracted from multi-sourced heterogeneous data . Acta Geodaetica et Cartographica Sinica , 47 ( 8 ): 1051 - 1061 Geographic knowledge graph building extracted from multi-sourced heterogeneous data 蒋秉川 , 万刚 , 许剑 , 李锋 , 温荟琦 . 2018 . 多源异构数据的大规模地理知识图谱构建 . 测绘学报 , 47 ( 8 ): 1051 - 1061 [ DOI: 10.11947/j.AGCS.2018.20180113 http://dx.doi.org/10.11947/j.AGCS.2018.20180113 ] 多源异构数据的大规模地理知识图谱构建 Kalfoglou Y and Schorlemmer M . 2003 . Ontology mapping: the state of the art . The knowledge Engineering Review , 18 ( 1 ): 1 - 31 [ DOI: 10.1017/S0269888903000651 http://dx.doi.org/10.1017/S0269888903000651 ] Ontology mapping: the state of the art Karpatne A , Atluri G , Faghmous J H , Steinbach M , Banerjee A , Ganguly A , Shekhar S , Samatova N and Kumar V . 2017 . Theory-guided data science: a new paradigm for scientific discovery from data . IEEE Transactions on Knowledge and Data Engineering , 29 ( 10 ): 2318 - 2331 [ DOI: 10.1109/TKDE.2017.2720168 http://dx.doi.org/10.1109/TKDE.2017.2720168 ] Theory-guided data science: a new paradigm for scientific discovery from data Kipf T N and Welling M . 2017 . Semi-supervised classification with graph convolutional networks // Proceedings of the 5th International Conference on Learning Representations . Toulon : OpenReview.net Semi-supervised classification with graph convolutional networks Krishna R , Zhu Y K , Groth O , Johnson J , Hata K , Kravitz J , Chen S , Kalantidis Y , Li L J , Shamma D A , Bernstein M S and Li F F . 2017 . Visual genome: connecting language and vision using crowdsourced dense image annotations . International Journal of Computer Vision , 123 ( 1 ): 32 - 73 [ DOI: 10.1007/s11263-016-0981-7 http://dx.doi.org/10.1007/s11263-016-0981-7 ] Visual genome: connecting language and vision using crowdsourced dense image annotations Kroetsch M and Weikum G . 2016 . Special issue on knowledge graphs . Journal of Web Semantics , 37 ( 38 ): 53 - 54 Special issue on knowledge graphs Lehmann J , Isele R , Jakob M , Jentzsch A , Kontokostas D , Mendes P N , Hellmann S , Morsey M , van Kleef P , Auer S and Bizer C . 2015 . DBpedia-A large-scale, multilingual knowledge base extracted from Wikipedia . Semantic Web , 6 ( 2 ): 167 - 195 [ DOI: 10.3233/SW-140134 http://dx.doi.org/10.3233/SW-140134 ] DBpedia-A large-scale, multilingual knowledge base extracted from Wikipedia Li D R . 2016 . Towards geo-spatial information science in big data era . Acta Geodaetica et Cartographica Sinica , 45 ( 4 ): 379 - 384 Towards geo-spatial information science in big data era 李德仁 . 2016 . 展望大数据时代的地球空间信息学 . 测绘学报 , 45 ( 4 ): 379 - 384 [ DOI: 10.11947/j.AGCS.2016.20160057 http://dx.doi.org/10.11947/j.AGCS.2016.20160057 ] 展望大数据时代的地球空间信息学 Li Y S , Kong D Y , Zhang Y J , Ji Z and Xiao R . 2020 . Zero-shot remote sensing image scene classification based on robust cross-domain mapping and gradual refinement of semantic space . Acta Geodaetica et Cartographica Sinica , 49 ( 12 ): 1564 - 1574 Zero-shot remote sensing image scene classification based on robust cross-domain mapping and gradual refinement of semantic space 李彦胜 , 孔德宇 , 张永军 , 季铮 , 肖锐 . 2020 . 联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类 . 测绘学报 , 49 ( 12 ): 1564 - 1574 [ DOI: 10.11947/j.AGCS.2020.20200139 http://dx.doi.org/10.11947/j.AGCS.2020.20200139 ] 联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类 Li Y S , Ouyang S and Zhang Y J . 2022 . Combining deep learning and ontology reasoning for remote sensing image semantic segmentation . Knowledge-Based Systems . 243 , 108469 . Combining deep learning and ontology reasoning for remote sensing image semantic segmentation Li Y S , Zhu Z H , Yu J G and Zhang Y J . 2021 . Learning deep cross-modal embedding networks for zero-shot remote sensing image scene classification . IEEE Transactions on Geoscience and Remote Sensing , 59 ( 12 ): 10590 - 10603 [ DOI: 10.1109/TGRS.2020.3047447 http://dx.doi.org/10.1109/TGRS.2020.3047447 ] Learning deep cross-modal embedding networks for zero-shot remote sensing image scene classification Lin B Y , Chen X Y , Chen J M and Ren X . 2019 . KagNet: knowledge-aware graph networks for commonsense reasoning // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing . Hong Kong, China : ACL: 2829 - 2839 [ DOI: 10.18653/v1/D19-1282 http://dx.doi.org/10.18653/v1/D19-1282 ] KagNet: knowledge-aware graph networks for commonsense reasoning Lin H and You L . 2015 . A tentative study on knowledge engineering for virtual geographic environments . Journal of Geo-Information Science , 17 ( 12 ): 1423 - 1430 A tentative study on knowledge engineering for virtual geographic environments 林珲 , 游兰 . 2015 . 虚拟地理环境知识工程初探 . 地球信息科学学报 , 17 ( 12 ): 1423 - 1430 [ DOI: 10.3724/SP.J.1047.2015.01423 http://dx.doi.org/10.3724/SP.J.1047.2015.01423 ] 虚拟地理环境知识工程初探 Lin T Y , Maire M , Belongie S , Hays J , Perona P , Ramanan D , Dollár P and Zitnick C L . 2014 . Microsoft COCO: common objects in context // Proceedings of the 13th European Conference on Computer Vision . Zurich : Springer: 740 - 755 [ DOI: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 ] Microsoft COCO: common objects in context Liu J N , Liu H Y , Chen X H , Guo X , Guo W Y , Zhu X M , Zhao Q B and Li J . 2022 . Terrorism event model by knowledge graph . Geomatics and Information Science of Wuhan University , 47 ( 2 ): 313 - 322 Terrorism event model by knowledge graph 刘俊楠 , 刘海砚 , 陈晓慧 , 郭漩 , 郭文月 , 朱新铭 , 赵清波 , 李佳 . 2022 . 利用知识图谱的恐怖主义事件模型 . 武汉大学学报(信息科学版) , 47 ( 2 ): 313 - 322 [ DOI: 10.13203/j.whugis20190428 http://dx.doi.org/10.13203/j.whugis20190428 ] 利用知识图谱的恐怖主义事件模型 Liu W , Anguelov D , Erhan D , Szegedy C , Reed S , Fu C Y and Berg A C . 2016 . SSD: single shot MultiBox detector // Proceedings of the 14th European Conference on Computer Vision . Amsterdam : Springer: 21 - 37 [ DOI: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 ] SSD: single shot MultiBox detector Lu F , Yu L and Qiu P Y . 2017 . On geographic knowledge graph . Journal of Geo-Information Science , 19 ( 6 ): 723 - 734 On geographic knowledge graph 陆锋 , 余丽 , 仇培元 . 2017 . 论地理知识图谱 . 地球信息科学学报 , 19 ( 6 ): 723 - 734 [ DOI: 10.3969/j.issn.1560-8999.2017.06.001 http://dx.doi.org/10.3969/j.issn.1560-8999.2017.06.001 ] 论地理知识图谱 Lü G N . 2011 . Geographic analysis-oriented Virtual Geographic Environment: framework, structure and functions . Science China Earth Sciences , 54 ( 5 ): 733 - 743 Geographic analysis-oriented Virtual Geographic Environment: framework, structure and functions 闾国年 . 2011 . 地理分析导向的虚拟地理环境: 框架、结构与功能 . 中国科学 : 地球科学 , 41 ( 4 ): 549 - 561 [ DOI: 10.1360/zd-2011-41-4-549 http://dx.doi.org/10.1360/zd-2011-41-4-549 ] 地理分析导向的虚拟地理环境: 框架、结构与功能 Mikolov T , Sutskever I , Chen K , Corrado G and Dean J . 2013 . Distributed representations of words and phrases and their compositionality // Proceedings of the 26th International Conference on Neural Information Processing Systems . Lake Tahoe : Curran Associates Inc.: 3111 - 3119 Distributed representations of words and phrases and their compositionality Paulheim H . 2017 . Knowledge graph refinement: a survey of approaches and evaluation methods . Semantic Web , 8 ( 3 ): 489 - 508 [ DOI: 10.3233/SW-160218 http://dx.doi.org/10.3233/SW-160218 ] Knowledge graph refinement: a survey of approaches and evaluation methods Pujara J , Miao H , Getoor L and Cohen W . 2013 . Knowledge graph identification // Proceedings of the 12th International Semantic Web Conference . Sydney : Springer: 542 - 557 [ DOI: 10.1007/978-3-642-41335-3_34 http://dx.doi.org/10.1007/978-3-642-41335-3_34 ] Knowledge graph identification Redmon J , Divvala S , Girshick R and Farhadi A . 2016 . You only look once: unified, real-time object detection // Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas : IEEE: 779 - 788 [ DOI: 10.1109/CVPR.2016.91 http://dx.doi.org/10.1109/CVPR.2016.91 ] You only look once: unified, real-time object detection Reichstein M , Camps-Valls G , Stevens B , Jung M , Denzler J , Carvalhais N and Prabhat . 2019 . Deep learning and process understanding for data-driven earth system science . Nature , 566 ( 7743 ): 195 - 204 [ DOI: 10.1038/s41586-019-0912-1 http://dx.doi.org/10.1038/s41586-019-0912-1 ] Deep learning and process understanding for data-driven earth system science Ren S Q , He K M , Girshick R and Sun J . 2017 . Faster R-CNN: towards real-time object detection with region proposal networks . IEEE Transactions on Pattern Analysis and Machine Intelligence , 39 ( 6 ): 1137 - 1149 [ DOI: 10.1109/TPAMI.2016.2577031 http://dx.doi.org/10.1109/TPAMI.2016.2577031 ] Faster R-CNN: towards real-time object detection with region proposal networks Ronneberger O , Fischer P and Brox T . 2015 . U-Net: convolutional networks for biomedical image segmentation // Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich : Springer: 234 - 241 [ DOI: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 ] U-Net: convolutional networks for biomedical image segmentation Schuster M and Paliwal K K . 1997 . Bidirectional recurrent neural networks . IEEE Transactions on Signal Processing , 45 ( 11 ): 2673 - 2681 [ DOI: 10.1109/78.650093 http://dx.doi.org/10.1109/78.650093 ] Bidirectional recurrent neural networks Singhal A . 2012 . Introducing the Knowledge Graph: Things, Not Strings . Official Google Blog Introducing the Knowledge Graph: Things, Not Strings Spaulding M L . 2017 . State of the art review and future directions in oil spill modeling . Marine Pollution Bulletin , 115 ( 1/2 ): 7 - 19 [ DOI: 10.1016/j.marpolbul.2017.01.001 http://dx.doi.org/10.1016/j.marpolbul.2017.01.001 ] State of the art review and future directions in oil spill modeling Suchanek F M , Kasneci G and Weikum G . 2007 . Yago: a core of semantic knowledge // Proceedings of the 16th international conference on World Wide Web . Banff : ACM: 697 - 706 [ DOI: 10.1145/1242572.1242667 http://dx.doi.org/10.1145/1242572.1242667 ] Yago: a core of semantic knowledge Vashishth S , Jain P and Talukdar P . 2018 . CESI: canonicalizing open knowledge bases using embeddings and side information // Proceedings of the 2018 World Wide Web Conference . Lyon : ACM CESI: canonicalizing open knowledge bases using embeddings and side information Wang D X , Zhu Y Q , Pan P , Luo K and Hou Z W . 2016 . Construction of geodata spatial ontology and its application in data retrieval . Journal of Geo-Information Science , 18 ( 4 ): 443 - 452 Construction of geodata spatial ontology and its application in data retrieval 王东旭 , 诸云强 , 潘鹏 , 罗侃 , 侯志伟 . 2016 . 地理数据空间本体构建及其在数据检索中的应用 . 地球信息科学学报 , 18 ( 4 ): 443 - 452 [ DOI: 10.3724/SP.J.1047.2016.00443 http://dx.doi.org/10.3724/SP.J.1047.2016.00443 ] 地理数据空间本体构建及其在数据检索中的应用 Wang M , Qi G , Wang H F and Zheng Q . 2020 . Richpedia: a comprehensive multi-modal knowledge graph // Joint International Semantic Technology Conference . Cham ： Springer: 130 - 145 [ DOI: 10.1007/978-3-030-41407-8_9 http://dx.doi.org/10.1007/978-3-030-41407-8_9 ] Richpedia: a comprehensive multi-modal knowledge graph Wang Q , Mao Z D , Wang B and Guo L . 2017 . Knowledge graph embedding: A survey of approaches and applications . IEEE Transactions on knowledge & Data Engineering , 29 ( 12 ): 2724 - 2743 Knowledge graph embedding: A survey of approaches and applications Xie R , Luo Z W , Wang Y C and Chen W . 2017 . Key techniques for establishing domain specific large scale knowledge graph of remote sensing satellite . Radio Engineering , 47 ( 4 ): 1 - 6 Key techniques for establishing domain specific large scale knowledge graph of remote sensing satellite 谢榕 , 罗知微 , 王雨晨 , 陈文 . 2017 . 遥感卫星特定领域大规模知识图谱构建关键技术 . 无线电工程 , 47 ( 4 ): 1 - 6 [ DOI: 10.3969/j.issn.1003-3106.2017.04.01 http://dx.doi.org/10.3969/j.issn.1003-3106.2017.04.01 ] 遥感卫星特定领域大规模知识图谱构建关键技术 Xu B , Xu Y , Liang J Q , Xie C H , Liang B , Cui W Y and Xiao Y H . 2017 . CN-DBpedia: a never-ending Chinese knowledge extraction system // Proceedings of the 30th International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems . Arras, France : Springer: 428 - 438 [ DOI: 10.1007/978-3-319-60045-1_44 http://dx.doi.org/10.1007/978-3-319-60045-1_44 ] CN-DBpedia: a never-ending Chinese knowledge extraction system Yang Y J , Xu B , Hu J W , Tong M H , Zhang P and Zheng L . 2018 . Accurate and efficient method for constructing domain knowledge graph . Journal of Software , 29 ( 10 ): 2931 - 2947 Accurate and efficient method for constructing domain knowledge graph 杨玉基 , 许斌 , 胡家威 , 仝美涵 , 张鹏 , 郑莉 . 2018 . 一种准确而高效的领域知识图谱构建方法 . 软件学报 , 29 ( 10 ): 2931 - 2947 [ DOI: 10.13328/j.cnki.jos.005552 http://dx.doi.org/10.13328/j.cnki.jos.005552 ] 一种准确而高效的领域知识图谱构建方法 Zaremba W , Sutskever I and Vinyals O . 2014 . Recurrent neural network regularization. arXiv preprint arXiv: 1409 . 2329 Recurrent neural network regularization. arXiv preprint arXiv: 1409 Zhang F J , Liu X , Tang J , Dong Y X , Yao P R , Zhang J , Gu X T , Wang Y , Shao B , Li R and Wang K S . 2019a . OAG: toward linking large-scale heterogeneous entity graphs // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . Anchorage : ACM [ DOI: 10.1145/3292500.3330785 http://dx.doi.org/10.1145/3292500.3330785 ] OAG: toward linking large-scale heterogeneous entity graphs Zhang H M , Wang M C , Chen X Y , Wang F Y , Yang G D and Gao S . 2022 . Remote sensing change detection based on deep belief networks optimized by domain knowledge . Geomatics and Information Science of Wuhan University , 47 ( 5 ): 762 - 768 , 788 Remote sensing change detection based on deep belief networks optimized by domain knowledge 张海明 , 王明常 , 陈学业 , 王凤艳 , 杨国东 , 高苏 . 2022 . 领域知识优化深度置信网络的遥感变化检测 . 武汉大学学报(信息科学版) , 47 ( 5 ): 762- 768 , 788 [ DOI: 10.13203/j.whugis20190471 http://dx.doi.org/10.13203/j.whugis20190471 ] 领域知识优化深度置信网络的遥感变化检测 Zhang N Y , Deng S M , Sun Z L , Wang G Y , Chen X , Zhang W and Chen H J . 2019b . Long-tail relation extraction via knowledge graph embeddings and graph convolution networks // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics . Minneapolis : ACL: 3016 - 3025 [ DOI: 10.18653/v1/N19-1306 http://dx.doi.org/10.18653/v1/N19-1306 ] Long-tail relation extraction via knowledge graph embeddings and graph convolution networks Zhang X Y , Zhang C J , Wu M G and Lü G N . 2020 . Spatiotemporal features based geographical knowledge graph construction . SCIENTIA SINICA : Informationis , 50 ( 7 ): 1019 - 1032 Spatiotemporal features based geographical knowledge graph construction 张雪英 , 张春菊 , 吴明光 , 闾国年 . 2020 . 顾及时空特征的地理知识图谱构建方法 . 中国科学 : 信息科学 , 50 ( 7 ): 1019 - 1032 顾及时空特征的地理知识图谱构建方法 Zhang Y H , Qi P and Manning C D . 2018 . Graph convolution over pruned dependency trees improves relation extraction // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing . Brussels : ACL: 2205 - 2215 Graph convolution over pruned dependency trees improves relation extraction Zhao J , Liu K , He S Z and Chen Y B . 2018 . Knowledeg Graph . Beijing : Higher Education Press : 20 - 29 Knowledeg Graph 赵军 , 刘康 , 何世柱 , 陈玉博 . 2018 . 知识图谱 . 北京 : 高等教育出版社 : 20 - 29 知识图谱 Zhou X R , Shao Z F and Liu J . 2012 . Geographic ontology driven hierarchical semantic of remote sensing image // Proceedings of 2012 International Conference on Computer Vision in Remote Sensing . Xiamen, China : IEEE [ DOI: 10.1109/CVRS.2012.6421223 http://dx.doi.org/10.1109/CVRS.2012.6421223 ] Geographic ontology driven hierarchical semantic of remote sensing image 10.11834/jrs.20210469 P2 1007-4619（2023）02-0249-18 张永军，王飞，李彦胜，欧阳松，魏东，刘晓建，孔德宇，陈瑞贤，张斌.2023.遥感知识图谱创建及其典型场景应用技术.遥感学报，27（2）： 249-266 张永军，王飞，李彦胜，欧阳松，魏东，刘晓建，孔德宇，陈瑞贤，张斌.2023.遥感知识图谱创建及其典型场景应用技术.遥感学报，27（2）： 249-266 Zhang Y J，Wang F，Li Y S，Ouyang S，Wei D，Liu X J， Kong D Y，Chen R X and Zhang B. 2023. Remote sensing knowledge graph construction and its application in typical scenarios. National Remote Sensing Bulletin， 27（2）：249-266 Zhang Y J，Wang F，Li Y S，Ouyang S，Wei D，Liu X J， Kong D Y，Chen R X and Zhang B. 2023. Remote sensing knowledge graph construction and its application in typical scenarios. National Remote Sensing Bulletin， 27（2）：249-266 国家自然科学基金重点项目（编号： 42030102）； 国家重点研发计划（编号： 2018YFB0505003） Supported by State Key Program of the National Natural Science Foundation of China (No. 42030102); National Key Research and Development Program of China (No. 2018YFB0505003) 2020-11-06 2023-02-07 2023-04-20 2021-04-08 遥感学报 2 27