“[{"title":"天基光学遥感动目标智能检测技术综述","chapter":"1　引言","content":"遥感卫星技术经过几十年的快速发展，目前在空间、时间和光谱维度上分辨率越来越高，这使得对地观测变得更加快捷高效。传统以静态观测为主的光学遥感卫星虽然可以满足部分应用需求，但无法感知观测区域具有重要价值的动态信息，比如战场的实时态势以及泥石流和火山等自然灾害的动态变化。遥感视频卫星的出现为获取观测区域的动态信息提供了一种可行的手段，推动遥感对地观测由静态的定期普查向实时的动态监测转变。遥感视频卫星作为一种新型对地观测卫星，相较于传统静态遥感影像可获得时间维度上的信息，从而对特定区域进行连续观测，可应用于重点区域侦查监视、应急处置情报保障、防灾减灾信息服务以及海洋权益维护信息服务等领域，具有重要的应用价值。作为视频卫星众多应用中的基础任务，光学遥感图像运动目标检测旨在对遥感卫星视频中具有连续运动特性的目标进行定位和分类，比如遥感视频卫星中的运动车辆。然而，由于增加了时间维度，遥感卫星视频数据量成倍增加，如何从视频卫星观测的海量数据中有效地提取感兴趣的运动目标成为亟待解决的问题。近年来，随着遥感视频数据的大量积累，使得可使用的遥感视频数据在“量”和“质”上均有显著提升，这为基于数据驱动的深度学习技术的应用创造了先决条件。现有的遥感运动目标检测方法主要集中在传统的基于模型驱动的方法，该类方法严重依赖于专家知识，且对于存在变化的场景适应能力有限。随着深度学习技术的发展，基于深度学习的方法为遥感运动目标检测带来了新的发展机遇。如何在充分考虑光学遥感运动目标特性的同时，借助深度学习技术，设计出高可靠、高实时、高性能的遥感动目标检测方法，是目前光学遥感视频领域重点关注的热门研究方向之一。本文主要聚焦于对遥感运动小目标检测相关工作的综述，对天基光学遥感视频卫星发展现状和光学遥感运动小目标检测技术进行了详细介绍，并在此基础上，进一步剖析了在深度学习技术赋能下的遥感运动目标检测的发展趋势。","result":"遥感卫星技术发展迅速，提高了空间、时间和光谱分辨率，但传统静态观测无法获取动态信息。遥感视频卫星的出现使得对地观测向实时动态监测转变，具有重要应用价值。光学遥感图像运动目标检测是视频卫星应用的基础任务，但面临海量数据中提取运动目标的挑战。深度学习技术的发展为遥感运动目标检测带来新机遇，本文综述了天基光学遥感视频卫星发展现状和运动小目标检测技术，探讨了深度学习技术在该领域的应用和发展趋势。","language":"zh"},{"title":"天基光学遥感动目标智能检测技术综述","chapter":"2　天基光学遥感视频卫星发展现状","content":"目前随着遥感卫星技术的大规模应用和数据处理与分析技术的进一步提高，光学遥感视频卫星成像的分辨率、稳定性方面均有了大幅度提高，已广泛应用于国土开发、军事安全、海洋监测等多个领域。视频成像卫星是指具有通过持续观测获取特定区域视频数据功能的卫星（于渊博 等，2017；张学阳，2017），该类卫星可以获得观测区域内的动态信息，实现对观测区域的完整态势感知。现有的卫星观测实现“凝视”成像主要有两种方式：采用静止轨道光学成像卫星（刘韬，2014）或者利用具备较高姿态敏捷性或图像运动补偿能力的低轨视频卫星（徐伟 等，2017；周宇 等，2015）。2.1　静止轨道视频卫星由于具有“站得高、看的远”的特性，地球静止轨道卫星因而能够大范围地对热点区域进行连续监测，这使得GEO卫星在情报侦查和环境变化监测方面具有广泛的应用前景。美国国防高级研究计划局（DARPA）于2010年提出薄膜光学成像仪实时利用MOIRE（Membrane Optic Imager Real-Time Exploitation）项目，利用光学薄膜可伸展折叠的特性，将其制作为卫星光学系统的物镜，用于对地高分辨率成像。欧洲的阿斯特留姆（Astrium）公司在2009年完成了“静止轨道—眼睛”（GeoOculus）卫星设计方案论证工作，该卫星具有10.5 m的分辨率。中国静止轨道光学成像卫星发展较快，现已发射了风云二号、风云四号和高分四号卫星。其中，高分四号于2015年12月成功发射，可观测中国及周边地区。2.2　低轨视频卫星相比于静止轨道视频卫星，低轨视频卫星具有持续观测、高敏捷性和成本低的特点，因而获得了各个国家的广泛关注和积极发展。与静止轨道视频卫星“凝视”观测不同，低轨卫星在“凝视”观测条件下，需要不断的调整姿态，以使相机对准同一地方进行拍摄。近年来，国内外发展出了许多具有视频拍摄监视功能的低轨卫星，其发射时间和具体技术指标如表1所示。其中，美国的Skybox公司分别在2013年和2014年发射了SkySat-1和SkySat-2视频卫星，这两颗卫星分辨率达到米级，且均可以拍摄视频数据。同一时期，国内的低轨视频卫星也取得了较大进展。国防科技大学研制的“天拓二号”试验卫星于2014年9月发射成功，该卫星可以拍摄对地分辨率为5 m的黑白视频。2015年10月，由中国长光公司研发的“吉林一号”01和02视频卫星发射成功，可以拍摄1.13 m地面分辨率的彩色视频。随后“吉林一号”03星于2017年1月成功发射，其地面分辨率进一步提高至0.92 m。其后，“吉林一号”04-08星分别在2017年—2018年间发射成功，分辨率提升至0.92 m以下。2018年1月，珠海欧比特公司研发的“珠海一号”OSV-1A/B两颗微纳卫星发射成功，可拍摄空间分辨率为1.98 m的彩色视频。该公司又于2018年4月和2019年9月分别发射珠海一号OSV-2和OSV-3星，空间分辨率提升至0.9 m。表1视频卫星的主要技术指标Table 1The main technical indicators of video satellites从上述介绍中可以看到，随着航天技术的发展，视频卫星取得了较大进展。相比于传统遥感卫星，视频卫星在获取的数据维度上增加了时间维度，这使得视频卫星能够用于探测动态事件，对于战场态势感知、灾害救援、突发事件监控等任务具有重要的现实意义。","result":"介绍了天基光学遥感视频卫星的发展现状，包括成像分辨率和稳定性的显著提升，以及在国土开发、军事安全、海洋监测等领域的广泛应用。视频成像卫星能够获取特定区域的动态信息，实现对观测区域的完整态势感知。静止轨道光学成像卫星具有大范围连续监测能力，如美国的MOIRE项目和欧洲的GeoOculus卫星。中国已发射风云二号、风云四号和高分四号等静止轨道卫星。低轨视频卫星以其持续观测、高敏捷性和低成本受到关注，如美国的SkySat系列和中国的\"天拓二号\"、\"吉林一号\"、\"珠海一号\"等。视频卫星在获取数据时增加了时间维度，对动态事件探测具有重要意义，适用于战场态势感知、灾害救援、突发事件监控等任务。","language":"zh"},{"title":"天基光学遥感动目标智能检测技术综述","chapter":"3　基于模型驱动的天基光学遥感动目检测技术发展现状","content":"天基光学运动目标检测是遥感视频处理的核心问题，是遥感视频分析和应用的前提，国内外已经开展了大量相关研究。现有方法主要分为传统的基于模型驱动的方法和基于数据驱动的深度学习方法，其发展历程如图1所示。目前，现有的基于模型驱动的天基光学遥感运动小目标检测方法主要可以分为光流法、帧差法、背景建模法以及基于低秩稀疏分解法。下面将对这4类方法进行介绍。图1光学遥感图像动目标检测技术发展历程Fig. 1Development history of optical remote sensing image moving object detection technology3.1　帧差法由于运动目标在连续的视频帧中运动时，相邻帧间图像灰度上会存在差异性，因此，可以利用帧间差分的方法来获取运动目标检测结果。现有的帧差法主要包括两帧和三帧差分法。两帧差分法选取两帧相邻图像进行差分操作，然后通过对残差图像进行分割提取目标检测结果。两帧差分法具有实现简单，运行速度快的特点。但是在场景中存在动态杂波（比如光照变化或者水流等场景），容易出现“鬼影”，“空洞”等现象。三帧差分法在两帧差分法上进行了改进，首先对相邻三帧图像做连续两次两帧差分，然后对差分结果取按位与操作，最后经过阈值分割获取检测结果。三帧差分法在实际应用中仍然容易丢失慢速运动目标。为了检测检测遥感视频中的运动小目标，研究人员对差分法进行了改进（袁益琴 等，2018；Ao等，2020）。袁益琴等（2018）结合差分法和背景建模法来对运动目标进行检测，提升了差分法的性能。Ao等（2020）提出基于局部噪声建模的方式来检测遥感运动车辆，并利用形态学滤波的方法来提取目标区域，最后利用卡尔曼滤波的跟踪方法来获取目标轨迹，实现对遥感运动小目标的检测与跟踪。康金忠等（2020）提出了一种感兴趣区域自动约束的卫星视频运动车辆快速检测方法，利用帧差法获得感兴趣区域，随后使用改进的混合高斯背景建模法进行目标提取。Yin等（2022a）在三帧差分法的基础上，首先利用多帧累积差分法来提取运动小目标，然后将检测结果与低秩矩阵补全相结合来获取最终的检测结果。综上所述，差分法原理简单，实现方便，运行快速，但是对于复杂场景和慢速目标鲁棒性不强，通常需要结合一些其他方法来提升帧差法自身的鲁棒性。3.2　光流法光流指的是目标在运动过程中引起成像平面上的像素变化而产生的“瞬时速度”。光流法依据光流信息来构建图像帧间关系，估计图像场景中的运动信息。光流法不仅可以用来检测运动目标，也可以应用于视频运动分析、目标跟踪、机器自动导航等多个领域（金静，2020）。光流法建立在目标的亮度恒定和相邻帧运动缓慢这两个基本的假设之上，利用帧间像素的变化以及相邻帧之间的相关性来获取目标的运动信息。由于光流可以较好地获取运动信息，因此被应用于运动目标检测任务上（崔智高 等，2017；李成美 等，2018；刘洪彬和常发亮，2016）。在光学遥感图像运动小目标检测领域中，罗亦乐等（2018）针对卫星视频提出一种利用光流估计交通参数的方法，该方法首先利用角点检测获取遥感视频中的车辆检测，然后利用LK光流估计方法获取目标帧间的运动信息，从而实现对遥感视频中的车辆跟踪和参数计算。光流法无需获取场景的先验信息即可对运动信息进行提取，但是光流法约束条件较为苛刻，且运算量一般较大，不适用于一些对实时性要求较高的场合。3.3　背景建模法背景建模法利用算法从原始图像中估计出背景，然后通过背景减法提取场景中的运动目标。背景建模法的核心是对背景进行准确的估计，从而可以获取更好的运动目标检测结果。现有的背景建模法可以分为两类，即统计模型法和低秩稀疏分解法，下面将对这两类方法分别进行介绍。3.3.1　统计模型法基于统计模型的背景建模法主要是获取对序列图像每个像素点的统计变量，依据得到的统计变量来对背景进行建模。常用的方法有均值背景建模法，中值背景建模法、高斯模型建模法以及视觉背景提取器ViBe（Visual Background Extractor）算法等（Kopsiaftis和Karantzalos，2015；Ahmadi和Mohammadzadeh，2017；Ahmadi等，2019；Wren等，1997；Stauffer和Grimson，1999；Barnich和van Droogenbroeck，2011）。由于目标在帧间存在运动，而在卫星“凝视”模式下背景相对静止，通过对序列图像中的每个像素点取时域中值或者时域均值，即可对背景进行建模。Kopsiaftis和Karantzalos（2015）提出利用中值背景建模获取背景图像，然后利用背景减法以及阈值分割获取二值分割图，最后利用形态学滤波的方法提取目标检测结果。Ahmadi和Mohammadzadeh（2017）、Ahmadi等（2019）提出利用均值背景建模法来实现运动车辆的检测与跟踪。该方法利用均值背景建模以及阈值分割获取目标检测结果，基于对目标检测结果的统计分析，获取目标的轨迹和实现交通参数估计。高斯模型适合用于相机固定的场景下对背景和前景进行分离，常用的方法有单高斯模型法和高斯混合模型法GMM（Gaussian Mixture Model）（宋佳声，2014）。单高斯模型假设背景图像中的同一位置像素随时间的变化符合高斯分布，通过对每个像素的均值方差进行统计来对像素点进行分类，然后对背景图像进行迭代更新。单高斯模型受初始化参数和第一帧图像的影响很大，且对场景中的动态杂波（如树叶的摆动或者水面的波动）不鲁棒。高斯混合模型对动态杂波比较鲁棒，可以对多峰分布背景进行建模，并且对背景的变化有一定的适应性。Zhang等（2019）提出了一种由粗到细的三步局部候选区域提取LRP（Local Region Proposal）的目标检测方法。基于高斯混合模型，Shu等（2021）提出了局部增强高斯混合模型以及改进的三帧差分法，用于提取遥感视频中的运动车辆，增强了算法对动态杂波的鲁棒性。Chen等（2023）提出利用背景估计方法（Zivkovic和van der Heijden，2006）估计背景，然后利用背景减法获取疑似目标，最后通过数据关联获取目标轨迹并利用目标轨迹剔除虚警，提升目标检测性能。ViBe（Barnich和van Droogenbroeck，2011）是一种像素级的背景重建方法，该算法的主要改进在于背景模型的随机更新策略，用于模拟像素真实变化的不确定性。ViBe对硬件资源占用少，效果较好。Yang等（2016）提出一中基于显著性增强的光学遥感图像运动小目标检测算法，该方法首先利用ViBe提取分割出前景区域，然后提取出目标位置并形成轨迹，动态生成场景运动热图，最后基于显著性背景建模分割出目标检测结果。吴佳奇等（2019）针对卫星视频运动目标检测提出了一种改进的ViBe背景建模方法，该方法利用一个更新因子来缓解动态杂波产生的虚警。3.3.2　低秩稀疏分解法近年来，基于稀疏性和低秩性重构的目标检测方法受到很多学者的关注，它假设缓慢变化的背景具有低秩性，而相较于背景只占据极少像素数的目标具有稀疏性，可以利用低秩稀疏分解的方法分离背景和目标，从而实现运动目标检测。传统主成分分析方法PCA（Principal Component Analysis）（Abdi和Williams，2010）主要对背景的低秩特性进行了利用，通过使得秩最小化来达到估计背景的目的，但是传统的主成分分析方法对严重损坏的像素很敏感，性能不够鲁棒。在此基础上，研究人员提出了鲁棒主成分分析方法RPCA（Robust Principal Component Analysis），利用鲁棒的主成分分析法将图像分别为低秩的背景矩阵和稀疏的前景矩阵，从而实现运动目标检测。在此基础上，研究人员提出了一些改进的方法，比如快速低秩逼近GoDec（Go Decomposition）（Zhou和Tao，2011）、低秩连续离群点表示DECOLOR（DEtecting Contiguous Outliers in the LOw-rank Representation）（Zhou等，2013）和结构化低秩稀疏LSD（Low-rank and Structured Sparse Decomposition）（Liu等，2015）等。针对光学遥感图像运动小目标检测问题，Zhang等（2020a）在LSD基础上，引入了噪声分量，提出了扩展低秩和结构化稀疏分解方法E-LSD（Extended Low-rank and Structured Sparse Decomposition）。该方法利用交替方向乘子法ADMM（Alternating Direction Method of Multipliers）（Boyd等，2011；Ghadimi等，2015；Wang等，2019）对背景图像、目标图像和噪声分量进行迭代优化求解，从而实现对光学遥感图像运动小目标的检测。虽然E-LSD取得了较好的效果，但是计算复杂，运行效率低。为了提升运行效率，Zhang等（2020b）提出了在线低秩结构化分解O-LSD（Online Low-rank and Structured Sparse Decomposition）方法。该方法利用在线子空间基估计优化方法来解决遥感运动目标检测问题，并且对每一帧图像的前景和背景进行交替更新。为了抑制场景中动态杂波造成的虚警，Zhang等（2022）设计了一种基于运动置信度的矩阵分解方法MCMD（Moving-Confidence-Assisted Matrix Decomposition），提出了基于块优化的MCMD方法（B-MCMD）和在线MCMD方法（O-MCMD），通过引入光流估计产生的置信度图，抑制了平台运动和光照变化造成的虚警，从而提升了运动目标检测能力。Yin等（2022b）提出采用时空张量来对遥感运动目标检测问题进行建模，并利用加权Schatten-p范数来求解背景分量，取得了较好的效果。虽然基于低秩稀疏分解的遥感运动小目标检测方法取得了较大的发展，但是这类方法采用复杂的约束项和迭代优化方法对目标和背景进行求解，以获得更好的效果，这导致了方法的计算复杂度增加，使得方法时效性不高。综上所述，背景建模法的核心在于背景重建，此类方法的目标检测性能严重依赖于背景重建的质量。","result":"详细讨论了基于模型驱动的天基光学遥感动目检测技术的发展现状。介绍了四种主要的检测方法：帧差法、光流法、背景建模法和基于低秩稀疏分解法。帧差法通过分析连续视频帧之间的灰度差异来检测运动目标，但存在对复杂场景和慢速目标鲁棒性不强的问题。光流法利用目标运动引起的像素变化来估计运动信息，适用于多个领域，但对实时性要求较高的场合不适用。背景建模法通过估计背景并减去背景来提取运动目标，包括统计模型法和低秩稀疏分解法。统计模型法使用各种统计变量对背景进行建模，而低秩稀疏分解法基于背景的低秩性和目标的稀疏性进行分离。这些方法在目标检测性能上依赖于背景重建的质量，但计算复杂度较高，可能影响时效性。","language":"zh"},{"title":"天基光学遥感动目标智能检测技术综述","chapter":"4　基于数据驱动的天基光学遥感动目检测技术发展现状","content":"随着深度学习技术的发展，基于深度学习的检测技术取得了丰硕的成果。在通用目标检测领域，自2014年区域卷积神经网络R-CNN（Region-Based Convolutional Neural Networks）（Girshick等，2016）问世以来，基于深度学习的通用目标检测技术取得了飞速的进步。通用目标检测旨在对自然图像中的目标进行定位和分类，是计算机视觉领域中经典的任务。经过近年来的发展，基于深度神经网络的通用目标检测已经取得了重大的突破，涌现出许多优秀的目标检测方法。按照主流的分类方法可以将现有的方法分为3类，即基于锚框的目标检测方法（Ren等，2017）、锚框的目标检测方法（Law和Deng，2018）以及端对端预测的目标检测方法（Carion等，2020）。虽然基于深度学习的通用目标检测技术取得了巨大的成功，但是与通用目标检测不同，光学遥感图像运动小目标尺寸极小（通常小于9×9），纹理和外观特征匮乏。而通用目标检测主要基于外观特征对目标进行检测，因此无法将通用目标检测方法直接迁移应用到光学遥感图像运动小目标检测问题上，需根据光学遥感图像运动小目标特点来针对性设计网络结构。根据有无监督信号，现有的基于深度学习的光学遥感图像运动小目标检测方法可以分为基于有监督学习和无监督学习的光学遥感图像运动小目标检测。4.1　有监督学习的光学遥感图像运动小目标检测基于有监督的光学遥感图像运动小目标检测方法指在人工标注的标签作为监督信号的情况下，训练网络使其自动学习回归光学遥感图像运动小目标位置。由于光学遥感图像运动小目标尺寸小，部分目标与背景对比度低，检测难度大，仅从单帧图像中提取的信息有限，无法对其进行有效检测。对于光学遥感图像运动小目标来说，时空域信息是更有用的信息，因此，现有的方法主要研究的是如何有效利用多帧图像中的时空域信息（Pi等，2022；LaLonde等，2018；Xiao等，2022；Feng等，2021，2023）。LaLonde等（2018）提出了一个两阶段的航空视频小目标检测网络。该网络分为两个阶段，在第一阶段，通过二维卷积从堆叠的多帧图像中提取时空域信息，并从中预测出大致的目标区域。在第二阶段，利用网络对感兴趣区域的目标热图进行预测，从而得到目标检测结果。由于该网络仅用二维卷积提取时空域信息，时空域信息利用得不充分。Xiao等（2022）提出一个两流网络DSFNet（图2）通过融合静态语意信息和动态运动信息来检测遥感视频中的运动车辆。Feng（2021）等提出一个基于深度学习的检测框架用于卫星视频运动小目标检测，该方法首先利用关键点检测方法检测遥感运动小目标，然后设计基于空域和运动信息跟踪网络实现跟踪。Feng等（2023）在前期工作的基础上提出了一种基于语义嵌入的密集自适应网络，进一步降低了在密集复杂场景下的网络检测虚警。此外，Pi等（2022）利用差分模块提取遥感视频中相邻帧目标的运动信息，并利用 Transformer 细化关键点估计和尺度预测的特征来检测低成像质量的卫星视频中的微小移动车辆，其网络结构图如图3所示。现有的基于有监督学习的光学遥感图像运动小目标检测方法研究成果相对较少，还处于起步阶段。图2DSFNet网络结构图Fig. 2The network architecture of DSFNet图3VLR-MVD中的网络结构图Fig. 3The network architecture in VLR-MVD现有的方法主要研究的是如何有效提取时空域信息来对运动目标进行检测，比如从多帧图像中直接提取时空特征（LaLonde等，2018）或者从差分图像中提取运动特征（Pi等，2022）。如何有效提取和利用时空域信息还需进一步进行探索。此外，近年来基于注意力机制的通用目标检测方法发展较快（Carion等，2020；Li等，2022），这为遥感动目标检测提供了新的思路。Pi等（2022）首次将注意力机制用于增强目标特征，提升遥感动目标检测性能，取得了较好的效果。在遥感动目标检测领域中，关于注意力机制应用的探索还比较有限，如何有效利用注意力机制增强动目标特征是一个值得探索的方向。4.2　无监督学习的光学遥感图像运动小目标检测近年来，监督学习的方法已经在遥感领域获得了广泛的应用。然而，在实际中，获取高质量标注的大规模数据集往往需要耗费大量的人力物力。基于无监督学习的运动小目标检测旨在从无人工标注的数据集中学习如何检测运动小目标，可以大大降低对标注数据的依赖，从而减轻标注成本（Zhang等，2021；Xiao等，2023）。当前，自然图像领域里已经发展出了一些基于无监督学习的运动目标检测方法（Sultana等，2021；Zhuo等，2020；Yun等，2021；Bao等，2022）。尽管无监督学习在自然场景中的运动目标检测中取得了不错的效果，但是由于光学遥感图像运动小目标尺寸极小，与背景对比度低，使得现有的方法不能直接进行迁移使用。为了减轻遥感视频中运动车辆的标注成本，Zhang等（2021）提出一种无监督运动小目标检测方法来获取遥感视频中的运动车辆。该方法首先利用传统的低秩稀疏分解方法E-LSD（Zhang等，2020a）获取运动车辆的伪标签，然后利用伪标签训练编码解码网络来分割运动目标。由于创建的伪标签不够准确，该方法获得的检测性能比用于产生伪标签的传统方法性能稍差。Xiao等（2023）提出一种无监督遥感运动车辆检测框架，通过构建背景重建网络以无监督方式重建高精度背景，然后以迭代优化方式获取目标检测结果。综上，无监督学习可以减轻深度神经网络对大规模标注数据的依赖，具有很好的应用前景。在光学遥感运动小目标领域，无监督学习还有待发展。","result":"深入探讨了基于数据驱动的天基光学遥感动目标智能检测技术的发展现状。自2014年R-CNN的提出，深度学习在通用目标检测领域取得了显著进步。然而，光学遥感图像中小目标尺寸小、特征匮乏，使得通用目标检测方法难以直接应用于遥感图像。为此，研究者们根据遥感图像特点设计了针对性的网络结构，主要分为有监督学习和无监督学习两大类。\n\n在有监督学习方面，现有方法主要研究如何有效利用多帧图像中的时空域信息进行目标检测。例如，LaLonde等人提出了两阶段的航空视频小目标检测网络，Xiao等人提出了融合静态语意信息和动态运动信息的两流网络DSFNet，Feng等人提出了基于深度学习的卫星视频运动小目标检测框架。此外，Pi等人利用差分模块和Transformer细化特征来检测低成像质量视频中的微小移动车辆。尽管取得了一定进展，但基于有监督学习的光学遥感图像运动小目标检测方法仍处于起步阶段，如何有效提取和利用时空域信息还需进一步探索。\n\n在无监督学习方面，由于获取高质量标注数据集成本高昂，研究者们致力于从无人工标注的数据集中学习检测运动小目标。例如，Zhang等人提出了一种无监督运动小目标检测方法，利用低秩稀疏分解方法获取伪标签，然后训练编码解码网络进行目标分割。Xiao等人提出了一种无监督遥感运动车辆检测框架，通过背景重建网络无监督重建高精度背景，以迭代优化方式获取检测结果。无监督学习在光学遥感运动小目标领域具有很好的应用前景，但仍有待进一步发展。\n\n此外，还提到了基于注意力机制的通用目标检测方法在遥感领域的应用潜力。Pi等人首次将注意力机制用于增强目标特征，提升了遥感动目标检测性能。如何有效利用注意力机制增强动目标特征是一个值得探索的方向。","language":"zh"},{"title":"天基光学遥感动目标智能检测技术综述","chapter":"5　数据集、评价指标及实验结果分析","content":"5.1　遥感动目标检测常用数据集在大数据时代，数据集为推动基于深度学习的遥感目标检测技术的发展发挥了重要作用。首先，基准数据集可以作为开发和评测方法性能的基础，为研究新方法提供支撑作用；其次，大量带有人工标注的数据推动了基于数据驱动的深度学习技术的研究；最后，数据集中往往囊括了多种挑战和难题，可以推动领域发现新问题寻求新思路。近年来，研究者们已经提出了多个面向不同问题的遥感数据集，极大地促进了遥感领域的发展。遥感视频序列图像数据集是研发处理海量卫星视频影像的基础数据平台。现有的遥感视频序列图像数据集较少，主要有针对遥感运动目标检测的VISO数据集（Yin等，2022a）、针对遥感视频多目标检测跟踪的AIR-MOT数据集（He等，2022）。上述两个数据集均包含飞机、船只等目标。针对遥感运动小目标检测的数据集有SkySat车辆检测数据集（Zhang等，2020a）和VISO车辆数据集（Yin等，2022a）。两者均为运动车辆数据集。相比于SkySat数据集，VISO车辆数据集背景动态复杂多变，检测难度更大。VISO车辆数据集典型场景如图4所示。图4VISO车辆数据集示意图Fig. 4The illustration of VISO Car dataset5.2　遥感动目标检测评测指标光学遥感图像运动目标检测领域常用的指标有召回率（Recall）、精确率（Precision）以及F1分数，其定义如下： (1) (2) (3)式中，正阳性TP（True Positive）为正确检测结果，假阳性FP（False Positive）为错误检测结果，假阴性FN（False Negative）为目标漏检结果。在通用目标检测领域，通常采用交并比IoU（Intersection over Union）来判断检测结果是否为正确检测结果。但是由于运动小目标的尺寸小，检测结果的细微偏差便会导致IoU值的剧烈变化（Xiao等，2023）。因此，可以利用基于距离的度量判断检测结果是否为正确检测或者虚警。此外，由于已知遥感卫星分辨率，设置的距离阈值具有明确的物理含义，比如把距离设置为5个像元，对于分辨率为1 m的卫星视频，则代表实际定位精度为5 m以内，则为正确检测。5.3　遥感动目标检测实验结果分析本节主要对比不同遥感运动目标检测方法的性能，选取的数据集为VISO车辆数据集（Yin等，2022a）。VISO车辆数据的特点是目标尺寸小（通常小于），背景复杂，检测难度大，数据集中利用目标框作为标注，标记出运动车辆。这里主要对比了9种算法，包括4种低秩稀疏方法（即GoDec（Zhou和Tao，2011）、DECOLOR（Zhou等，2013）、E-LSD（Zhang等，2020a）以及B-MCMD（Zhang等，2022））；两种基于差分的方法（即D&T（Ao等，2020）和MMB（Yin等，2022a））；两种有监督的深度学习方法（ClusterNet（LaLonde等，2018）和DSFNet（Xiao等，2022））；一种无监督的模型驱动和数据驱动相结合的方法（DeepPrior（Xiao等，2023））。实验结果如表2所示。注： 加粗表示最优值，下划线表示次优性能。表2不同方法在VISO车辆数据集上取得的召回率（Re）， 精确率（Pr）， 以及F1分数（F1）Table 2Recall （Re）， Precision （Pr）， and F1 Score （F1） achieved by different methods on VISO CAR dataset /%从表2的结果中可以总结出如下结论：（1）相比于传统算法，基于有监督深度学习的遥感运动小目标检测方法表现出了优异性能（Xiao等，2022）。但是现有的有监督学习方法数量不多，还需进一步发展。（2）相比于有监督学习方法，无监督遥感运动小目标检测方法可以减少人工标注成本，因此更具有应用前景。但是现有的无监督遥感运动目标检测方法性能还有待进一步提升（Xiao等，2023）。（3）结合传统模型驱动和数据驱动的方法展现出了较大的潜力（Xiao等，2023），未来可以进一步探索结合传统先验和深度模型的方法。","result":"重点介绍了遥感目标检测技术中的数据集、评价指标和实验结果分析。数据集在推动深度学习技术发展中扮演了关键角色，提供了多种挑战和难题，促进了遥感领域的发展。介绍了遥感视频序列图像数据集，如VISO、AIR-MOT、SkySat和VISO车辆数据集，这些数据集包含飞机、船只等目标，具有背景复杂、检测难度大的特点。评价指标包括召回率、精确率、F1分数和基于距离的度量，用于评估检测结果的准确性。实验结果分析对比了9种不同遥感运动目标检测算法在VISO车辆数据集上的性能，包括低秩稀疏方法、基于差分的方法、有监督和无监督深度学习方法。结果表明，基于有监督深度学习的方法表现出优异性能，但数量有限；无监督方法具有应用前景，但性能有待提升；结合传统模型驱动和数据驱动的方法展现出潜力。","language":"zh"},{"title":"天基光学遥感动目标智能检测技术综述","chapter":"6　结语","content":"本文回顾了光学遥感动目标（特别是运动小目标）检测技术的发展历程，在深度学习技术快速发展的影响下，光学遥感动目标检测技术从传统的基于模型驱动的方法正朝着基于数据驱动方法进行演变，从简单的人工特征提取迈向智能化的多维度深层次特征提取。同时通过剖析当前光学遥感动目标检测发展现状，展望了未来遥感动目标检测的发展趋势。（1）分布式星座组网协同观测。随着批量化卫星产业链的迅速成熟，卫星的制造、发射成本极大降低，国内多家机构及公司推出了各自的商业遥感卫星星座计划，如长光卫星的“吉林一号”星座、欧比特公司的“珠海一号”遥感星座、未来宇航的“丝路天图”遥感星座、零重空间公司的“灵鹊星座”、武汉大学的“东方慧眼”遥感星座和航天科工三院“星云星座”等。单颗低轨卫星重访周期较长，无法对同一指定观测区域进行长时间观测，导致无法连续获取指定区域的高价值态势信息。利用分布式星座协同组网观测，将可以实现对地高时间分辨率和高空间分辨率的态势感知，提升对全球范围内突发情况的反应能力。（2）特征表达—检测—跟踪一体化模型。针对传统分段式“检测+跟踪”处理流程效率较低且模块间互补性不足的问题，采用多任务学习思想，将检测跟踪两大任务有机串联起来，构建起检测跟踪一体化端到端模型是未来的重要发展趋势。在常规计算机视觉任务中，底层视觉任务（如图像超分辨）和高层视觉任务（如目标检测和跟踪）通常是独立处理的。遥感弱小目标尺寸小、目标与背景对比度低，获取好的特征表达难度大，并且高级的视觉任务之间互相分离，没有达到互相促进的效果。为了有效地构建起弱小目标的高层视觉感知和底层语义结构之间的联系，未来需要充分研究底层的特征表达和高级视觉任务之间的相互关系，通过级联多任务模块，设计多任务联合优化策略和优化损失，进行多任务动态优化学习，使得在获取好的特征表达同时取得良好的高级任务性能，从而实现遥感运动小目标特征表达—检测—跟踪一体式处理。（3）弱监督/无监督光学遥感动目标检测技术。光学遥感图像中动目标通常尺寸较小，同一图像中目标较多，且部分目标与背景对比度低。因而为光学遥感动目标检测任务标注大规模数据集耗时耗力。为减轻数据标注的成本，弱监督/无监督动目标检测技术是未来的重要发展趋势。弱监督只需提供粗标注的标签（如点标注），通过方法设计来引导深度神经网络学习检测动目标。无监督无需人工标注，通过利用目标特性，比如动目标在时空域上的连续性，可生成伪标签来引导深度神经网络学习。未来需进一步探索研究如何在弱监督/无监督条件下，实现光学遥感动目标的高性能检测，从而降低标注成本。（4）海量数据星上快速检测技术。遥感视频卫星全天时全天候产生海量数据，且遥感图像尺寸较大（图像长宽可达万级像素），这对星上处理和星间数据传输带来了极大的挑战。在星上资源有限条件下，实现高可靠和高时效的遥感动目标检测是未来需要重点探索的方向。在常规的深度神经网络中，通常对图像每个位置同等分配算力。由于光学遥感动目标尺寸小，在图像中占比低，图像中的绝大部分为背景区域，这使得常规的深度神经网络将大量的算力分配给背景区域，存在极大的计算冗余。未来需探索研究利用背景与目标占比不均衡这一特性，提取感兴趣的区域进行精细化处理，减少背景区域的冗余计算，从而实现在星上资源有限条件下光学遥感动目标高可靠和高时效检测。（5）高空间分辨率遥感图像动目标检测—识别技术。受限于现有遥感视频图像的空间分辨率，遥感运动车辆缺乏形态和纹理特征，因而难以实现光学遥感动目标的识别。随着遥感技术的进一步发展，遥感视频分辨率有望获得进一步的提升，从而使得遥感动目标具有一定的几何纹理信息，可作为遥感动目标检测—识别的基础。因此，在高空间分辨率的前提下，未来可探索遥感动目标检测—识别一体化方法，通过将目标检测和识别任务进行联合优化，充分挖掘目标的深层次特征，在实现遥感动目标定位的同时获取目标的类别信息。","result":"综述了光学遥感动目标检测技术的发展历程，指出了深度学习技术推动下，检测技术正从基于模型驱动向基于数据驱动方法转变，实现智能化的多维度深层次特征提取。文章分析了当前技术发展现状，并预测了未来趋势，包括：（1）分布式星座组网协同观测，以提高对地观测的时间和空间分辨率；（2）特征表达—检测—跟踪一体化模型，通过多任务学习思想串联检测和跟踪任务，提高效率；（3）弱监督/无监督光学遥感动目标检测技术，以减轻数据标注成本；（4）海量数据星上快速检测技术，探索在星上资源有限条件下的高可靠和高时效检测方法；（5）高空间分辨率遥感图像动目标检测—识别技术，随着遥感技术发展，探索检测—识别一体化方法。","language":"zh"}]”