高分遥感共性产品算法测评与真实性检验技术体系及应用实例

高分遥感共性产品算法测评与真实性检验技术体系及应用实例 Technology system for product validation and algorithm test of GF common products and an application example 1 2 first-author 闻建光， 研究方向为定量遥感。E-mail： wenjg@aircas.ac.cn 闻建光， 研究方向为定量遥感。E-mail： wenjg@aircas.ac.cn wenjg@aircas.ac.cn 1 2 corresp 肖青， 研究方向为定量遥感机理和模型。E-mail： xiaoqing@aircas.ac.cn 肖青， 研究方向为定量遥感机理和模型。E-mail： xiaoqing@aircas.ac.cn xiaoqing@aircas.ac.cn 1 1 1 1 3 4 1 1 1 2 中国科学院空天信息创新研究院 遥感科学国家重点实验室, 北京 100101 中国科学院空天信息创新研究院 遥感科学国家重点实验室, 北京 100101 State Key Laboratory of Remote Sensing Science, Aerospace Information Research Institute, Chinese Academic of Sciences, Beijing 100101, China State Key Laboratory of Remote Sensing Science, Aerospace Information Research Institute, Chinese Academic of Sciences, Beijing 100101, China 中国科学院大学 资源与环境学院, 北京 100049 中国科学院大学 资源与环境学院, 北京 100049 College of Resources and Environment, University of Chinese Academy of Sciences, Beijing 100049, China College of Resources and Environment, University of Chinese Academy of Sciences, Beijing 100049, China 兰州大学 资源环境学院, 兰州 730000 兰州大学 资源环境学院, 兰州 730000 College of Earth and Environmental Sciences, Lanzhou University, Lanzhou 730000, China College of Earth and Environmental Sciences, Lanzhou University, Lanzhou 730000, China 浙江师范大学 地理与环境科学学院, 金华 321004 浙江师范大学 地理与环境科学学院, 金华 321004 College of Geography and Environmental Sciences, Zhejiang Normal University, Jinhua 321004, China College of Geography and Environmental Sciences, Zhejiang Normal University, Jinhua 321004, China 随着中国高分辨率对地观测系统的发展，已经形成了高分标准产品、共性产品和专题产品多层应用服务体系，其中高分共性产品是衔接高分标准产品和专题产品间的桥梁。然而高分共性产品由算法发展而来，不可避免存在着误差，为后续遥感应用带来较大的不确定性。因此，论文提出了高分共性产品算法需测评，高分共性产品需真实性检验的高分共性产品生产过程中的两端质量保障方法体系。论文阐明了算法测评与真实性检验的内涵，以及算法测评和真实性检验方法体系，介绍了高分专项开展的高分共性产品真实性检验与算法测评系统平台，并以地表反照率高分共性产品算法测评为例，展示了算法测评的可行性。论文研究成果可为中国高分共性产品真实性检验和算法测评工作的开展提供重要支持。 Given the development of China’s high-resolution earth observation system (referred to as GF), common products, standard products, and specific products play an important role in remote sensing applications of GF data. In particular, the common products promote remote sensing applications as the bridge between the GF standard products and specific products. However, GF common products are derived by retrieval algorithms. Inevitable errors bring great uncertainty to the followed-up remote sensing applications. Thus, the retrieval algorithms of GF common products should be tested. Moreover, the products should be validated to ensure the quality of GF common products. This study expounds on the relationship between the algorithm test and product validation and that between the test and validation technology system. Algorithm test and product validation are at the two ends of a common product-generating process. A complete algorithm test process of common products mainly includes the establishment of the algorithm test index system, the construction of the index calculation method, the preparation of the test dataset, the algorithm running and index calculation, and finally, the writing of the algorithm test report. All the generated common products should be validated using the referenced truth data through suitable methods. Thus, a service platform of GF common product validation and algorithm test is implemented to achieve these two functions. The test index system of the GF common product algorithm is constructed with four primary indexes and 10 secondary indexes through literature research, expert consultation, and questionnaire investigation. For example, the land surface albedo retrieval algorithm is tested to show the feasibility of the algorithm test in the service platform. The results show that it can support the validation and algorithm test of Gaofen common products in China. Algorithm test and the product validation technology system and its service platform are important for quality control in the generating of GF common products. The validation and algorithm test of GF common products is a systematic project that requires the cooperation of multiple communities to collect the sample data and reference data through continuous field observation. This field observation is an important foundation of validation and algorithm tests for common products. 遥感 高分卫星 共性产品 算法测评 真实性检验 地表反照率 remote sensing GF satellite common product algorithm test product validation land surface albedo 1　引言 1 2010年中国启动实施高分辨率对地观测系统重大专项（以下简称“高分专项”），逐渐形成了高空间分辨率、高时间分辨率和高光谱分辨率的卫星观测系统，形成具备时空协调、全天时、全天候、全球观测能力，通过攻克制约应用的共性关键技术，研制446种行业专题产品，在国家重大需求和行业应用领域发挥了重要作用（ 童旭东，2016 童旭东，2016 ）。《2018年国家报告中国高分卫星应用（共性产品卷）》通过系统性地从高分应用446种行业专题产品回溯，推导出39+6种当前主要的共性产品，阐明了标准产品—共性产品—专题产品之间的衍生关系，其中共性产品定义为超过2个行业专题产品生产所需要的、且可利用同步实测数据或同类产品、模型进行直接或间接真实性检验的数据应用产品（国家国防科技工业局，2018）。高分共性产品对于降低遥感应用技术门槛，提升遥感应用技术水平至关重要。 然而，几乎所有高分共性产品无法以遥感直接观测得到，而是通过建立参数与遥感观测辐散射反演模型得到的，这个过程受到如传感器性能、几何和辐射定标、模型和反演算法效能等众多因素的影响，导致高分共性产品具有一定的不确定性（ 吴小丹 等，2014 吴小丹 等，2014 ）。这种不确定性将直接影响后续应用的专题产品研发及遥感监测。这就提出了一个重要的问题，如何客观、准确且可信地评价高分共性产品的不确定性？这个问题的解决是降低高分共性产品不确定性，改善共性产品质量，提高共性产品可应用性的前提。 以往更加注重的是通过遥感产品真实性检验的技术手段来评估高分共性产品，即通过将遥感共性产品与能够代表地面目标相对真值的参考数据进行对比分析，评估遥感产品的精度和不确定性（ Morisette等，2006 Morisette等，2006 ； 张仁华 等，2010 张仁华 等，2010 ）。然而，共性产品的真实性检验结果反映的是产品的总体误差，难以对输入数据和算法本身对产品精度的影响进行回溯。算法是遥感共性产品的核心，全面了解算法效能有助于改进算法精度和提高产品质量。因此，为了保障高分共性产品质量，首先需要测评高分共性产品生产的算法，即利用一套客观有效的指标体系，基于完备的样本数据和测评技术，对算法进行精度、适用性、效率、鲁棒性等方面的综合评价，定量化表达算法的性能。为此，提出了高分共性产品的两端保障：即首端保障为共性产品的算法测评和末端保障为共性产品的真实性检验。2019年，国防科技工业局启动了高分专项国家真实性检验系统建设，其中重要的任务之一是建设高分共性产品真实性检验与算法测评子系统，为中国高分共性产品和专题产品研制提供保障。 2　算法测评与真实性检验的内在关系 1 算法测评与真实性检验分属于高分共性产品评估的两个阶段，算法测评侧重于算法效能的评估，而真实性检验侧重于由该算法生产的共性产品质量的验证，属于高分共性产品生成过程中两个重要阶段的质量评估。 遥感产品真实性检验的核心是获取与待检高分共性产品时空一致的相对真值。在此基础上采用精度和不确定度两类指标对高分共性产品进行评价。地面观测优化采样（ Wu等，2016 Wu等，2016 ， 2021 2021 ）、时空尺度转换（Lin等，2018a； Wu等，2020 Wu等，2020 ）和像元尺度相对真值的不确定性分析是真实性检验的3个重要过程（ Wu等，2019 Wu等，2019 ）。国内已有《遥感产品真实性检验导则》（GB/T 36296-2018）（ 国家市场监督管理总局和国家标准化管理委员会，2018 国家市场监督管理总局和国家标准化管理委员会，2018 ）、《陆地定量遥感产品真实性检验通用方法》（GB/T 39468-2020）（ 国家市场监督管理总局和国家标准化管理委员会，2020 国家市场监督管理总局和国家标准化管理委员会，2020 ）、以及《植被指数遥感产品真实性检验》（GB/T 40038-2021）（ 国家市场监督管理总局和国家标准化管理委员会，2021 国家市场监督管理总局和国家标准化管理委员会，2021 ）等15种遥感产品真实性检验国家标准发布，为国内从事遥感产品真实性检验提供了重要依据。 而算法测评更加强调的是需要针对同类型算法有一套标准、统一、且已知精度的算法输入数据（也称为样本数据）作为支持，且这套标准统一的输入数据需要与地面观测的像元真值进行严格的空间尺度匹配，避免由于输入数据的精度和不确定性差异导致算法计算结果无法比较。在测评过程中，依据测评指标（详见第3节），通过调用统一的输入数据和待测评的共性产品算法，计算算法执行过程中相关指标以及生成的结果与地面观测的相对真值比较，实现不同算法的统一测评。通过调研发现，算法测评还未形成统一的规范，类似的算法测评还主要集中在目标解译领域，如中国举办的高分遥感图像软件解译竞赛（ http://sw.chreos.org/indexpage http://sw.chreos.org/indexpage ，2022年2月），和人工智能遥感解译大赛（ https://rs.sensetime.com/competition/index.html#/info https://rs.sensetime.com/competition/index.html#/info ，2022年2月）等，对于定量的共性产品反演算法还未形成体系性的测评技术和规范。 算法测评与遥感产品真实性检验都需要有地面观测的像元尺度相对真值作为支持；但两者也有本质的区别，前者需要在同一环境同一输入下进行评价，而后者则直接调用待检验的产品。 3　高分共性产品算法测评方法体系 1 3.1　技术流程 2 一个完整的高分共性产品算法测评过程如 图1 图1 所示，主要包括算法测评指标体系建立与定权、算法测评指标测算方法构建、统一质量算法测评数据集建立、算法结果生成与指标计算，最后形成算法测评报告。其中算法测评数据集包括空间严格配准的算法输入数据集（样本数据）和参考对象数据集（验证数据）。它们具有时间、空间代表性，覆盖不同地表类型、地形特征、不同数据源，并满足算法测评指标计算要求。 3.2　指标体系 2 算法测评指标体系构建遵循如下原则：通用性原则，强调指标体系适用于大部分算法；有效性原则，强调指标体系能有效反映算法的优劣性；客观性原则，要求指标评价、赋权过程和算法测评结果客观公平。通过文献调研、专家咨询和评审等，构建了4个一级指标和10个二级指标的高分共性产品算法测评指标体系，如 表1 表1 所示。 注： *准确度和不确定度需依据数值类产品、几何类产品和类别类产品选择相应指标。 一级指标 二级指标 算法精度 准确度和不确定度 * 3 算法适用性 地表类型适用性 地形特征适用性 空间尺度适用性 3 算法效率 运算时间复杂度 运算空间复杂度 辅助数据依赖性 3 算法鲁棒性 算法容错性 算法稳定性 时空完整性 （1）算法精度指标测算。参考《遥感产品真实性检验导则》（GB/T 36296-2018 6.1和6.2）（ 国家市场监督管理总局和国家标准化管理委员会，2018 国家市场监督管理总局和国家标准化管理委员会，2018 ）规定的准确度和不确定度计算指标和计算方法，依据数值类产品、几何类产品和类别类产品的特点，选择相应的指标计算。指标计算过程可以参照第4节中阐述的高分共性产品真实性检验技术流程。 （2）算法适用性指标测算。基于不同地表类型、不同地形特征（平坦地表和复杂地形）、不同空间尺度的样本数据作为输入，依据算法适用的地表类型数量、地形特征数量、空间尺度量级确定指标值。 （3）算法效率测算。算法效率体现为计算时间复杂度和计算空间复杂度，在算法执行过程中统计算法计算单位数据量的运算时间和所占用的最大内存资源。根据算法对辅助数据依赖性，采用辅助数据的种类和大小确定指标值。 （4）算法鲁棒性指标测算。算法鲁棒性指标包括算法的容错性、稳定性和时空完整性。容错性指标依据数据出现异常扰动，算法是否仍能正常运行作为判断标准；算法稳定性通过引入噪声或者引入不同数据对算法性能产生影响的程度确定；算法时空完整性通过统计算法反演失败和时空缺失率确定。 将算法测评指标体系中所有二级指标的集合称为 <math id="M1"><mi mathvariant="bold-italic">X</mi><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>,</mo><mtext> </mtext><mo>⋯</mo><mo>,</mo><mtext> </mtext><msub><mrow><mi>X</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>X</mi></mrow><mrow><mi>n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494272&type= 55.88000107 4.40266657 ，其中第 <math id="M2"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494326&type= 1.10066664 2.62466669 项二级指标在算法测评指标体系中的权重为 <math id="M3"><msub><mrow><mi>ρ</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>n</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494312&type= 19.55800056 3.80999994 ，根据算法测评指标体系各二级指标的评价标准，可以得到某一类算法第 <math id="M4"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494326&type= 1.10066664 2.62466669 项二级指标在算法测评中的得分 <math id="M5"><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>n</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494319&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494331&type= 18.96533203 3.80999994 ，则该类算法在算法测评中的综合测评结果 <math id="M6"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494338&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494321&type= 2.28600001 2.62466669 可以表示为 <math display="block" id="M7"><mi>C</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>×</mo><msub><mrow><mi>ρ</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>n</mi></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494355&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494353&type= 36.91466904 8.29733276 4　高分共性产品真实性检验方法体系 1 4.1　技术流程 2 高分共性产品真实性检验主要是在相关遥感产品真实性检验标准规范的基础上，选择合适的真实性检验方法，进行高分共性产品和参考数据的时空匹配，在此基础上开展共性产品准确度和不确定度评价，形成高分共性产品真实性检验报告，如 图2 图2 所示。 科学、准确的参考数据（像元相对真值）是高分共性产品真实性检验的核心，其质量决定了共性产品真实性检验的可靠程度。为了获取高质量的参考数据，提出了基于地面观测数据得到像元尺度相对真值的方法体系（ 图3 图3 ）：质量控制—代表性分析—尺度转换—像元“真值”的不确定性分析。只有当像元尺度参考真值的不确定性小于一定阈值时，才被用于高分共性产品真实性检验。需要注意的是，阈值的大小依赖于具体的地表变量，取决于地表变量在待验证像元值的分布范围，并需兼顾筛选出的参考“真值”在时间和空间上的分布范围。以反照率产品为例，在非雪地表的精度要求是0.02，积雪地表的精度要求是0.05，因此非雪条件下的像元“真值”不确定性的阈值会小于积雪地表条件。 针对技术流程中的准确度和不确定度的检验指标以及计算方法，可依据数值类和类别类高分共性产品分别参考《遥感产品真实性检验导则》（GB/T 36296-2018）（ 国家市场监督管理总局和国家标准化管理委员会，2018 国家市场监督管理总局和国家标准化管理委员会，2018 ）提供的公式进行计算和分析。 4.2　主要真实性检验方法 2 针对高分共性产品真实性检验技术流程中真实性检验方法的选择可根据地表异质性、地面测量视场和待检验的共性产品像元尺度确定（ 吴小丹 等，2015 吴小丹 等，2015 ），目前常见的遥感产品真实性检验方法大致可分为：直接检验、引入高分辨率数据多尺度逐级检验和交叉检验等。 当待检验的共性产品像元尺度与地面测量视场相当时，应采用直接检验法；当待检验的共性产品像元尺度大于地面测量视场，若待检像元区域为均质地表，应采用直接检验法；若待检像元区域为非均质地表，应考虑尺度差异，采用基于地面测量与更高分辨率遥感数据的多尺度逐级检验法；当检验区无地面测量数据时，采用基于已知精度其他共性产品的交叉检验法。 5　高分共性产品真实性检验与算法测评系统设计及算法测评案例 1 在“十二五”国家高技术研究发展计划（863计划）重点项目的支持下，针对低分辨率的定量遥感产品真实性检验，构建了全国真实性检验网的原型体系，研制了陆表定量遥感产品真实性检验系统LAPVAS（LAnd surface remote sensing Product VAlidation System）（ Lin等，2018b Lin等，2018b ），为中国遥感产品真实性检验的业务化运行奠定坚实的基础。高分共性产品真实性检验与算法测评系统是在LAPVAS基础上，综合共性产品算法测评的业务功能，并期望通过引接全国主要高分真实性检验野外台站观测数据，形成软、硬件集成的一体化系统，实现高分共性产品算法测评和产品真实性检验的一站式运行服务。 5.1　系统架构 2 高分共性产品真实性检验和算法测评系统采用B/S架构，包括基础设施层、数据资源层、平台层、应用层和服务层5层架构（ 图4 图4 ），实现高分共性产品算法测评、数据质量控制与尺度转换、共性产品真实性检验3个核心业务应用。其中应用层是系统的核心，其真实性检验、算法测评、尺度转换、数据质量控制等功能实现可由平台层的微服务和组件，通过流程编排工具组合成相应的应用服务，实现高分共性产品算法测评（ 图1 图1 ）和真实性检验（ 图2 图2 ）的整体技术流程。以高分共性产品算法测评服务为例，它需要借助平台层中的流程编排功能，实现样本数据和参考数据检索和匹配、基于待测算法的样本数据计算、指标计算、算法测评报告生成等几个重要的功能模块组合，形成真实性检验服务。 近期，充分利用全国遥感真实性检验网络中的中国科学院河北怀来遥感站、黑河遥感站和净月潭遥感站数据，通过数据质量控制、尺度转换、时空匹配、不确定性分析等功能，研制了产品真实性检验参考数据集和产品算法测评样本数据集。用户可以通过门户访问系统平台，将共性产品算法上传，开展算法的自测评和测评；亦可上传研发的共性产品，开展共性产品真实性检验，并反馈用户算法测评或真实性检验报告。 5.2　应用案例 2 地表反照率反映了地球表面反射太阳辐射的能力，是地球表面辐射与能量平衡的关键参数之一。本文以地表反照率反演算法测评为例，基于高分共性产品真实性检验与算法测评系统平台，展示其算法测评的基本过程以及结果。选择的待测评地表反照率算法为联合高空间分辨率数据与低分辨率数据的地表反照率反演算法（ You等，2015 You等，2015 ）。 （1）主要步骤。首先根据地表反照率的特点，在算法精度指标的选择中，选择偏差、均方根误差和相关系数3个指标作为二级指标，构建了地表反照率算法测评的指标体系。然后基于此指标体系，结合“1—9标度法”，对同一层级的指标进行两两比较，以确定它们的相对重要性。依据同等重要（标度为1）、稍重要（标度为3）、重要（标度为5）、很重要（标度为7）和极端重要（标度为9）划分成5个等级的标度。设计在线问卷调查，通过邀请领域内多位专家以在线问卷方式对各指标重要性进行打分赋值，通过计算同一级指标间两两得分的比值判断相对重要性，将比值转化为“1—9标度法”对应的标度，得到比较判断矩阵模型。采用层次分析法（ Saaty，1978 Saaty，1978 ），计算判断矩阵与次级判断矩阵的特征值及特征向量，通过对特征向量进行归一化实现各指标的权重系数计算。 针对地表反照率算法测评的指标体系权重，邀请了国内8所高校和科研院所在算法发展和产品真实性检验领域的11位专家开展问卷调查和专家打分，采用层次分析法，实现了地表反照率算法测评的指标体系权重（ 表2 表2 ）。 一级指标 二级指标 一级指标权重 二级指标权重 3 算法精度 偏差 3 0.3165 0.1055 均方根误差 0.1055 相关系数 0.1055 3 算法适用性 地表类型适用性 3 0.3163 0.1335 地形适用性 0.0605 空间尺度适用性 0.1223 3 算法效率 运算时间复杂度 3 0.1153 0.0372 运算空间复杂度 0.0313 辅助数据依赖性 0.0468 4 算法鲁棒性 算法容错性 4 0.2519 0.0686 抗噪声稳定性 0.0626 不同数据稳定性 0.0514 时空完整性 0.0693 测评中采用的参考数据为覆盖中国科学院河北怀来遥感站、黑河遥感站和净月潭遥感站观测的2016年—2018年的41个样点的地表反照率，覆盖的地表类型为农作物、林地以及裸土。样本数据为经过大气校正后覆盖以上3个试验站观测样点同时段的GF-1 WFV16 m和MODIS 500 m地表反射率数据并统一裁切成 <math id="M8"><mn mathvariant="normal">101</mn><mo>×</mo><mn mathvariant="normal">101</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494398&type= 15.66333294 2.70933342 个像元大小。在完成指标选择和数据准备之后，可进行算法的测评。 （2）指标分数计算。为测算算法的鲁棒性，需要更多的样本数据支持。因处于系统建设的初期，目前还未具备算法鲁棒性和不同地形条件下的算法适用性的测试条件，本文主要对算法精度、算法效率和算法适用性的指标进行测试。其中，反照率精度评价采用偏差、均方根误差和相关系数表示，目前地表均质条件下反照率产品的精度偏差一般在0.02—0.05以内（ Wu等，2016 Wu等，2016 ），其精度指标转换为分数的表达为 <math display="block" id="M9"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mo stretchy="false">|</mo><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mfenced open="|" close="" separators="|"><mrow><mo>≥</mo></mrow></mfenced><mn mathvariant="normal">0.05</mn></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mo stretchy="false">|</mo><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mo stretchy="false">|</mo><mo>-</mo><mn mathvariant="normal">0.02</mn></mrow><mrow><mn mathvariant="normal">0.03</mn></mrow></mfrac></mrow></mfenced><mo>×</mo><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">0.02</mn><mo><</mo><mo stretchy="false">|</mo><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mo stretchy="false">|</mo><mo><</mo><mn mathvariant="normal">0.05</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">100</mn><mo>,</mo><mtext>  </mtext><mo stretchy="false">|</mo><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mfenced open="|" close="" separators="|"><mrow><mo>≤</mo></mrow></mfenced><mn mathvariant="normal">0.02</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494401&type= 82.12667084 21.16666603 <math display="block" id="M10"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo>≥</mo><mn mathvariant="normal">0.05</mn></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo>-</mo><mn mathvariant="normal">0.02</mn></mrow><mrow><mn mathvariant="normal">0.03</mn></mrow></mfrac></mrow></mfenced><mo>×</mo><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">0.02</mn><mo><</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo><</mo><mn mathvariant="normal">0.05</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo>≤</mo><mn mathvariant="normal">0.02</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494415&type= 85.17465973 19.98133469 <math display="block" id="M11"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">r</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">r</mi><mo><</mo><mn mathvariant="normal">0.5</mn></mtd></mtr><mtr><mtd><mfrac><mrow><mi>x</mi><mo>-</mo><mn mathvariant="normal">0.5</mn></mrow><mrow><mn mathvariant="normal">0.5</mn></mrow></mfrac><mo>×</mo><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">0.5</mn><mo>≤</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">r</mi><mo>≤</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494404&type= 56.89599991 13.46199989 反照率算法适用性采用地表类型、地形和空间尺度适用性表示。对于反照率，假设算法测评数据集提供 m 类不同地表类型/地形/空间尺度的样本数据和地面验证数据，使用待测评算法计算结果后按适用性的类型分别统计，有 n 类情况下产品精度落在0.02—0.05区间，则该算法在该适用性指标中的得分为 <math id="M12"><mfrac><mrow><mi>n</mi></mrow><mrow><mi>m</mi></mrow></mfrac><mo>×</mo><mn mathvariant="normal">100</mn><mi>%</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494410&type= 16.59466553 7.28133297 。 针对反照率算法效率打分，采用占用的空间、时间和数据量大小进行打分（式（ 5 5 ）—（ 6 6 ）），其中时间复杂度的单位为分钟，空间复杂度的单位为GB，辅助数据需求的单位为种。由于各算法的差异，难以用一个统一的标准进行刻画，因此在算法效率指标计算过程中，采用了动态调整阈值的方法，进行指标计算。首次测算的算法效率作为首次阈值，然后随着多种同类测评算法的引入，采用满足精度指标条件下最高的效率作为上限阈值，最低效率作为下限阈值进行测算。 <math display="block" id="M13"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">E</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">y</mi><mo>_</mo><mi mathvariant="normal">T</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">T</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mo>≥</mo><mi>b</mi></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mo>-</mo><mi>a</mi></mrow><mrow><mi>b</mi><mo>-</mo><mi>a</mi></mrow></mfrac></mrow></mfenced><mo>×</mo><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mi>a</mi><mo><</mo><mi mathvariant="normal">T</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mo><</mo><mi>b</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">T</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mo>≤</mo><mi>a</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494424&type= 76.11533356 19.98133469 <math display="block" id="M14"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">E</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">y</mi><mo>_</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">S</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mo>≥</mo><mi>b</mi><mi mathvariant="normal">'</mi></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mo>-</mo><mi>a</mi><mi mathvariant="normal">'</mi></mrow><mrow><msup><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>-</mo><mi>a</mi><mi mathvariant="normal">'</mi></mrow></mfrac></mrow></mfenced><mo>×</mo><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mi>a</mi><mi mathvariant="normal">'</mi><mo><</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mo><</mo><mi>b</mi><mi mathvariant="normal">'</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">S</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mo>≤</mo><mi>a</mi><mi mathvariant="normal">'</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494427&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494433&type= 82.88867188 20.65866661 <math display="block" id="M15"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">E</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">y</mi><mo>_</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">S</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mo>≥</mo><mi>n</mi></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow><mrow><mi>n</mi></mrow></mfrac></mrow></mfenced><mo>×</mo><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">0</mn><mo><</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mo><</mo><mi>n</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">100</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">S</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mo>=</mo><mn mathvariant="normal">0</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494436&type= 79.92533875 20.40466690 式中， a 和 b 表示前两次算法测评的算法最短和最长时长， <math id="M16"><mi>a</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494447&type= 3.13266683 2.70933342 和 <math id="M17"><mi>b</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42494450&type= 2.87866688 2.70933342 表示前两次测评占用的最大和最小内存大小， n 表示所需要的辅助数据数量。 经过以上指标的计算后，待测反照率算法的测评结果如 表3 表3 所示。算法测评结果显示反照率算法的误差指标中，Bias=-0.0152，RMSE=0.0370， R =0.661，依据式（ 2 2 ）—（ 4 4 ），可分别得到各精度指标的评分为100分、43.3分和59.75分。 一级指标 二级指标 二级指标评分 加权分数 3 算法精度 偏差 100 10.5500 均方根误差 43.30 4.5682 相关系数 59.75 6.3036 3 算法适用性 地表类型适用性 100 13.3500 地形适用性 100 6.0500 空间尺度适用性 100 12.2300 3 算法效率 运算时间复杂度 100 3.7200 运算空间复杂度 75 2.3475 辅助数据依赖性 80 3.7440 4 算法鲁棒性 算法容错性 0—100 0—6.8600 抗噪声稳定性 0—100 0—6.2600 不同数据稳定性 0—100 0—5.1400 时空完整性 0—100 0—6.9300 4 算法测评评分62.8633（0—25.1900） 在算法效率上，根据计算机统计结果显示，反照率算法对GF-1 WFV处理的平均速度为1 min/景，占用内存为2 G，并且监控显示算法需要地表二向反射先验知识作为输入。假定之前测评过的算法中，反照率计算最快的平均速度为1 min，最慢的平均速度为5 min，则依据 式（5） 式（5） 计算的待测评的算法时间复杂度得分为100分；假定之前测评过的算法中，占用内存大小最小为1 GB，最大为5 GB，则依据 式（6） 式（6） 计算的待测评算法的空间复杂度得分为75分；假定之前测评过的算法中，依赖辅助数据作为数据的最多有5种，则依据 式（7） 式（7） 计算的待测评算法的辐射数据依赖性得分为80分。 由于目前仅有农田、林地和裸土3种地表类型以及两种空间尺度的样本数据。案例中的数据无论是16 m反照率结果和500 m反照率结果在农田、林地和裸土的反照率精度都在0.02—0.05范围内，故在地表类型和空间尺度适用性方面为100分。在地形特征方面，由于样本数据仅提供了1种平坦地表类型，且算法精度在0.02—0.05范围内，因此算法在地形特征适用性方面得分为100分。需要注意的是由于目前提供的样本数据样例有限，仅展示了如何计算算法适用性指标的技术过程。未来会增加不同地表类型、不同分辨率和不同地形特征的样本数据，以达到全面测评的效果。 而对于算法鲁棒性，由于缺少样本数据支持，我们在测评过程中给出了一个值域范围（0—100分），这样可以得到该算法的测评结果，综合得分为62.8633（算法鲁棒性为0）—88.0533（算法鲁棒性为100）。 6　结论 1 高分共性产品是高分标准产品至专题产品的桥梁。共性产品生产前经算法测评，只有满足一定测评标准，通过测评的算法才被用于共性产品生产。生产后的产品经过真实性检验，反馈给产品生产和算法研发人员，有利于算法的优化迭代和高分共性产品的质量提升。算法测评和真实性检验是共性产品生产流程中开展质量监测的两个重要阶段，两者有机联系但又有内在区别。 然而，算法测评中样本数据和参考数据的种类和空间分布需要通过持续开展野外观测补充高质量数据，特别是汇聚全国真实性检验网络42个台站数据，扩大适合算法测评的共性产品参数类型和测评可信度。指标体系及其权重需要更加优化，依据不同参数的特点，可适当补充测评指标体系，邀请更多专家调研各权重指标以及指标测算和打分方法，使算法测评的指标体系以及测算方法更加可靠、更加权威。未来进一步完善高分共性产品真实性检验和算法测评系统平台相关功能，促进系统平台的业务化运行。 高分共性产品真实性检验和算法测评是一系统性工程，需要多单位通力协作，汇聚全国高质量样本和参考数据，为高分共性产品真实性检验和算法测评系统业务化运行奠定重要基础。 参考文献（References） Lin X W , Wen J G , Tang Y , Ma M G , You D Q , Dou B C , Wu X D , Zhu X B , Xiao Q and Liu Q H . 2018b . A web-based land surface remote sensing products validation system (LAPVAS): application to albedo product . International Journal of Digital Earth , 11 ( 3 ): 308 - 328 [ DOI: 10.1080/17538947.2017.1320593 http://dx.doi.org/10.1080/17538947.2017.1320593 ] A web-based land surface remote sensing products validation system (LAPVAS): application to albedo product Morisette J T , Baret F , Privette J L , Myneni R B , Nickeson J E , Garrigues S , Shabanov N V , Weiss M , Fernandes R A , Leblanc S G , Kalacska M , Sanchez-Azofeifa G A , Chubey M , Rivard B , Stenberg P , Rautiainen M , Voipio P , Manninen T , Pilant A N , Lewis T E , Iiames J S , Colombo R , Meroni M , Busetto L , Cohen W B , Turner D P , Warner E D , Petersen G W , Seufert G and Cook R . 2006 . Validation of global moderate-resolution LAI products: a framework proposed within the CEOS land product validation subgroup . IEEE Transactions on Geoscience and Remote Sensing , 44 ( 7 ): 1804 - 1817 [ DOI: 10.1109/TGRS.2006.872529 http://dx.doi.org/10.1109/TGRS.2006.872529 ] Validation of global moderate-resolution LAI products: a framework proposed within the CEOS land product validation subgroup Saaty T L . 1978 . Modeling unstructured decision problems-THE theory of analytical hierarchies . Mathematics and Computers in Simulation , 20 ( 3 ): 147 - 158 [ DOI: 10.1016/0378-4754(78)90064-2 http://dx.doi.org/10.1016/0378-4754(78)90064-2 ] Modeling unstructured decision problems-THE theory of analytical hierarchies State Administration for Market Regulation and Standardization Administration of the People’s Republic of China . 2018 . GB/T 36296-2018 Guide for the validation of remote sensing products . Beijing : Standards Press of China GB/T 36296-2018 Guide for the validation of remote sensing products 国家市场监督管理总局, 国家标准化管理委员会 . 2018 . GB/T 36296-2018 遥感产品真实性检验导则 . 北京 : 中国标准出版社 GB/T 36296-2018 遥感产品真实性检验导则 State Administration for Market Regulation and Standardization Administration of the People’s Republic of China . 2020 . GB/T 39468-2020 General methods for the validation of terrestrial quantitative remote sensing products . Beijing : Standards Press of China GB/T 39468-2020 General methods for the validation of terrestrial quantitative remote sensing products 国家市场监督管理总局, 国家标准化管理委员会 . 2020 . GB/T 39468 - 2020 . 陆地定量遥感产品真实性检验通用方法 . 北京 : 中国标准出版社 GB/T State Administration for Market Regulation and Standardization Administration of the People’s Republic of China . 2021 . GB/T 40038-2021 Validation of vegetation index remote sensing products . Beijing : Standards Press of China GB/T 40038-2021 Validation of vegetation index remote sensing products 国家市场监督管理总局, 国家标准化管理委员会 . 2021 . GB/T 40038-2021 植被指数遥感产品真实性检验 . 北京 : 中国标准出版社 GB/T 40038-2021 植被指数遥感产品真实性检验 Tong X D . 2016 . Development of China high-resolution earth observation system . Journal of Remote Sensing , 20 ( 5 ): 775 - 780 Development of China high-resolution earth observation system 童旭东 . 2016 . 中国高分辨率对地观测系统重大专项建设进展 . 遥感学报 , 20 ( 5 ): 775 - 780 [ DOI: 10.11834/jrs.20166302 http://dx.doi.org/10.11834/jrs.20166302 ] 中国高分辨率对地观测系统重大专项建设进展 Wu X D , Wen J G , Xiao Q , Li X , Liu Q , Tang Y , Dou B C , Peng J J , You D Q and Li X W . 2015 . Advances in validation methods for remote sensing products of land surface parameters . Journal of Remote Sensing , 19 ( 1 ): 75 - 92 Advances in validation methods for remote sensing products of land surface parameters 吴小丹 , 闻建光 , 肖青 , 李新 , 刘强 , 唐勇 , 窦宝成 , 彭菁菁 , 游冬琴 , 李小文 . 2015 . 关键陆表参数遥感产品真实性检验方法研究进展 . 遥感学报 , 19 ( 1 ): 75 - 92 [ DOI: 10.11834/jrs.20154009 http://dx.doi.org/10.11834/jrs.20154009 ] 关键陆表参数遥感产品真实性检验方法研究进展 Wu X D , Wen J G , Xiao Q , Liu Q , Peng J J , Dou B C , Li X H , You D Q , Tang Y and Liu Q H . 2016 . Coarse scale in situ albedo observations over heterogeneous snow-free land surfaces and validation strategy: a case of MODIS albedo products preliminary validation over northern China . Remote Sensing of Environment , 184 : 25 - 39 [ DOI: 10.1016/j.rse.2016.06.013 http://dx.doi.org/10.1016/j.rse.2016.06.013 ] Coarse scale in situ albedo observations over heterogeneous snow-free land surfaces and validation strategy: a case of MODIS albedo products preliminary validation over northern China Wu X D , Wen J G , Xiao Q and You D Q . 2020 . Upscaling of single-site-based measurements for validation of long-term coarse-pixel albedo products . IEEE Transactions on Geoscience and Remote Sensing , 58 ( 5 ): 3411 - 3425 [ DOI: 10.1109/TGRS.2019.2954879 http://dx.doi.org/10.1109/TGRS.2019.2954879 ] Upscaling of single-site-based measurements for validation of long-term coarse-pixel albedo products Wu X D , Wen J G , Xiao Q , You D Q , Wang J P , Ma D J and Lin X W . 2021 . A multiscale nested sampling method for representative albedo observations at various pixel scales . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 4 : 8193 - 8207 [ DOI: 10.1109/JSTARS.2021.3105562 http://dx.doi.org/10.1109/JSTARS.2021.3105562 ] A multiscale nested sampling method for representative albedo observations at various pixel scales Wu X D , Xiao Q , Wen J G , Liu Q , Peng J J and Li X W . 2014 . Advances in uncertainty analysis for the validation of remote sensing products: take leaf area index for example . Journal of Remote Sensing , 18 ( 5 ): 1011 - 1023 Advances in uncertainty analysis for the validation of remote sensing products: take leaf area index for example 吴小丹 , 肖青 , 闻建光 , 刘强 , 彭菁菁 , 李小文 . 2014 . 遥感数据产品真实性检验不确定性分析研究进展 . 遥感学报 , 18 ( 5 ): 1011 - 1023 [ DOI: 10.11834/jrs.20143332 http://dx.doi.org/10.11834/jrs.20143332 ] 遥感数据产品真实性检验不确定性分析研究进展 Wu X D , Xiao Q , Wen J G , You D Q and Hueni A . 2019 . Advances in quantitative remote sensing product validation: overview and current status . Earth-Science Reviews , 196 : 102875 [ DOI: 10.1016/j.earscirev.2019.102875 http://dx.doi.org/10.1016/j.earscirev.2019.102875 ] Advances in quantitative remote sensing product validation: overview and current status You D Q , Wen J G , Xiao Q , Liu Q , Liu Q H , Tang Y , Dou B C and Peng J J . 2015 . Development of a high resolution BRDF/albedo product by fusing airborne CASI reflectance with MODIS daily reflectance in the oasis area of the Heihe river basin, China . Remote Sensing , 7 ( 6 ): 6784 - 6807 [ DOI: 10.3390/rs70606784 http://dx.doi.org/10.3390/rs70606784 ] Development of a high resolution BRDF/albedo product by fusing airborne CASI reflectance with MODIS daily reflectance in the oasis area of the Heihe river basin, China Zhang R H , Tian J , Li Z L , Su H B and Chen S H . 2010 . Principles and methods for the validation of quantitative remote sensing products . Science China Earth Sciences , 53 ( 5 ): 741 - 751 Principles and methods for the validation of quantitative remote sensing products 张仁华 , 田静 , 李召良 , 苏红波 , 陈少辉 . 2010 . 定量遥感产品真实性检验的基础与方法 . 中国科学 : 地球科学 , 40 ( 2 ): 211 - 222 定量遥感产品真实性检验的基础与方法 2018 China satellite application report of high-resolution earth observation system(common products) . 2018 . State administration of science, technology and industry for national defence (2018中国高分卫星应用报告(共性产品卷). 2018. 国家国防科技工业局) 2018 10.11834/jrs.20221716 P2 1007-4619（2023）03-0780-10 闻建光，肖青，钟守熠，唐勇，陈曦，魏秋方，吴小丹，林兴稳，欧阳晓莹，游冬琴，柳钦火.2023.高分遥感共性产品算法测评与真实性检验技术体系及应用实例.遥感学报，27（3）： 780-789 闻建光，肖青，钟守熠，唐勇，陈曦，魏秋方，吴小丹，林兴稳，欧阳晓莹，游冬琴，柳钦火.2023.高分遥感共性产品算法测评与真实性检验技术体系及应用实例.遥感学报，27（3）： 780-789 Wen J G，Xiao Q，Zhong S Y，Tang Y，Chen X，Wei Q F，Wu X D，Lin X W，Ouyang X Y，You D Q and Liu Q H. 2023. Technology system for product validation and algorithm test of GF common products and an application example. National Remote Sensing Bulletin， 27（3）：780-789 Wen J G，Xiao Q，Zhong S Y，Tang Y，Chen X，Wei Q F，Wu X D，Lin X W，Ouyang X Y，You D Q and Liu Q H. 2023. Technology system for product validation and algorithm test of GF common products and an application example. National Remote Sensing Bulletin， 27（3）：780-789 高分辨率对地观测系统重大专项（编号： 21-Y20B01-9001-19/22， 21-Y20B02-9003-19/22） Supported by China High-resolution Earth Observation System(No. 21-Y20B01-9001-19/22, 21-Y20B02-9003-19/22) 2021-11-08 2023-03-07 2023-04-18 2022-03-04 遥感学报 3 27