卫星视频跟踪总结

总结一下相关文章，在此记录一下，如有纰漏请多指教

卫星视频跟踪难点：

• 目标极小：只覆盖几个像素的面积
• 背景复杂：易受到背景复杂物体干扰

2020

A Target Tracking and Positioning Framework for Video Satellites Based on SLAM（2020）

Main Method:

基于ORB- SLAM的框架，在特征提取、卫星姿态估计、移动目标跟踪和定位方面进行了改进。

• 改进出更高效的特征，以便在卫星视频帧中快速提取和匹配
• 推导了视频卫星绝对位姿估计的实际变换方法

Object Tracking in Satellite Videos Based on Convolutional Regression Network With Appearance and Motion Features (2020)

Main method:

作者为解决遥感视频跟踪存在的

目标极小、背景复杂、由于干扰形成的跟踪漂移

问题，提出了CRAM，基于回归的网络

（convolutional regression network CRN）

提取外观和运动特征，替代判别式的相关滤波

（discriminative correlation filter DCF）

。

• Net-A获取外观特征

• 
  Net-M获取运动特征，采用光流法
  

通过peak-to-sidelobe ratio（PSR）衡量两种特征的特性

PSR算法：

Object Tracking in Satellite Videos by Improved Correlation Filters With Motion Estimations, CFME（2020）

Main Method: CFME

解决遥感视频中

快速目标

跟踪，基于

kernelized correlation filter（KCF）

提出新的算法

• 结合卡尔曼滤波
  
  （Kalman filter KF）
  
  和运动轨迹平均
  
  （motion trajectory averaging MTA）
  
  ，提出一种新的运动估计
  
  motion estimation（ME）
  
  算法，并利用该ME算法缓解KCF的边界效应
• 解决移动物体被部分或完全遮挡时的跟踪故障问题

Small Target Tracking in Satellite Videos Using Background Compensation（2020）

Main Method:

跟踪算法会受到

速度、方向、背景特征

的影响。因此作者从

样本训练策略

和

样本表征

两个方向增强技术。提出了

weak target tracking based on information compensation (WTIC)

• 建立针对目标和背景的滤波训练机制，提高跟踪算法的判别能力
• 使用Gabor滤波器构建目标特征模型，以增强目标和背景之间的对比度
• 提出了一个跟踪状态评估指标，以避免跟踪漂移

2021

HRSiam: High-Resolution Siamese Network, Towards Space-Borne Satellite Video Tracking（2021）

Main Method:

• 研究了如何使用高分辨率定位卫星视频中小目标，将简化的HRNet与SiamRPN结合
• 提出了像素级的重建模型GMM来检测移动目标。并通过自适应融合将跟踪和检测相结合

Object Tracking in Satellite Videos Based on Improved Correlation Filters（2021）

Main Method:

基于KCF的方法。

• 融合物体的
  
  HOG feature、gray- scale feature、texture feature（LBP feature）
  
  ，并采用
  
  principal component analysis（PCA）
  
  减少移动场景变化对物体跟踪的影响
• 结合
  
  卡尔曼滤波（kalman filter）
  
  和
  
  运动轨迹（motion trajectory）
  
  提出运动位置补偿算法。其目的是提高对象跟踪的有效性，避免单独使用时的跟踪错误。更重要的是，它还可以解决物体部分或完全被遮挡时的跟踪故障问题
• 提取局部目标区域进行归一化互相关匹配，其作用是提高目标跟踪的成功率和准确率

Superpixel algorithm for objects tracking in satellite video（2021）

Main Method:

• 为了获得每个物体相同的运动矢量，该算法在光流运动估计之前，在
  
  简单线性迭代聚类（simple linear iterative clustering SLIC）
  
  的基础上提出了一种基于超像素算法（superpixel）的架构。

• 通过Harris corner进行特征提取。特征提取后，通过图像金字塔表示对图像进行下采样，并利用光流对金字塔特征进行跟踪。最后，光流过程检测运动物体并计算仿真结果视频中显示的运动矢量。

2022

A Joint Siamese Attention-Aware Network for Vehicle Object Tracking in Satellite Videos（2022）

Main Method：

提出了一种

joint Siamese attention-aware network (JSANet)

，包括了self- attention和cross- attention。

• 提出的self- attention模块通过通道注意力关注于分数更高的通道，并利用空间注意力对空间域信息进行相应的空间变换
• 提出cross- attention，通过cross- channel attention（CCA）Siamese分支之间丰富的上下文相互依赖关系，挖掘关联产生与空间注意力的可靠对应关系

A Small Object Tracking Method in Satellite Videos Based on Improved Kernel Correlation Filter（2022）

Main Method:

• 本文以响应图的平均峰值相关能量
  
  （average peak correlation energy APCE）
  
  和峰值（peak value）作为目标是否被遮挡的准则，并指导相关滤波模板的更新策略，从而使所提方法具有检测遮挡的能力。
• 卡尔曼滤波器（kalman filter）用于估计物体的运动状态并预测物体的位置。基于相关滤波的跟踪结果，提高了所提方法在物体被遮挡时的稳定性。

Adaptive Birth for the GLMB Filter for Object Tracking in Satellite Videos (2022)

Main Method:

Generalized labeled Multi-Bernoulli（GLMB）在多目标跟踪中有着很好的效果，但其十分依赖于例如目标初始状态的先验知识。因此作者提出了能够从先前轨迹中学习的GLMB滤波器。

• 提出了对似然和历史成分依赖较低的状态初始化算法
• 利用卫星视频中目标轨迹与先前相似的特点，自适应的学习初始分量测量的初始状态。

Deep Learning-Based Object Tracking in Satellite Videos：A Comprehensive Survey With a New Dataset（2022, Survey）

Deep Siamese Network With Motion Fitting for Object Tracking in Satellite Videos（2022）

Main Method：

基于Siamese和motion regression network提出了一种

two- stream deep neural network（SRN）

，同时利用了外观和运动特性。此外，还采用基于历史轨迹的轨迹拟合运动

（trajectory fitting motion TFM）

模型进一步缓解模型漂移。

• 在Siamese网络中采用第一帧捕获的目标特征作为卷积内核来减少训练轮数。深度运动网络提取短期运动特征，为鲁棒跟踪提供补充支持
• 除此之外，还采用利用长期历史轨迹的轨迹拟合运动（TFM）模型来捕捉目标的运动模式，进一步缓解模型漂移

Efficient Real-Time Tracking of Satellite Components Based on Frame Matching（2022）

Main Method:

• 提出了一种用于卫星组件跟踪的视频目标分割模型，该模型比**Space-Time Networks with Improved Memory Coverage（STCN）**更能抵抗空间环境中的低照度，卫星组件的失效和阻挡
• 提出了三个简单高效的模块：注意力共享模块（attention sharing module）、位置信息编码器（position information encoder）和本地匹配模块（local matching module）。

Image-Based Visual Tracking Attitude Control Research on Small Video Satellites for Space Targets（2022）

Main Method:

现有算法无法对cooperative目标进行有效的跟踪观察

• 基于透视投影原理，推导了摄像头的内外参数模型，建立了摄像头惯性坐标系与像素坐标系的转换关系
• 给出了刚性卫星的姿态动力学模型和运动学模型。根据目标在图像平面投影点的位置坐标与所需坐标的偏差信息，推导出小视频卫星的期望姿态和期望角速度。以姿态误差和角速度误差为控制反馈量，设计了空间目标跟踪PD控制器。利用Barbalat定理证明了闭环控制系统的全局稳定性。

Intrinsic Satellite Video Decomposition With Motion Target Energy Constraint（2022）

Main Method:

为了减少光照变化的影响并提升卫星视频跟踪性能，提出一种具有运动目标能量约束的内在卫星视频分解模型（intrinsic satellite video decomposition model），称为

（motion target energy constraint MTE – ISVD）

，利用运动目标和背景的属性来构建约束。

• 第一种是反射率的时间约束，它可以通过保持时域中的反射率相干性来解决闪烁问题，同时具有卫星视频中相邻帧之间背景像素几乎一致的特性。
• 第二种是运动目标能量约束，它可以通过在阴影中用周围的背景表示运动目标，将运动目标的信号能量集中在反射率中。

MBLT: Learning Motion and Background for Vehicle Tracking in Satellite Videos（2022）

Main Method:

• 提出运动和背景学习跟踪
  
  （motion and background learning tracking MBLT）
  
  ，用于卫星视频中的车辆跟踪，该算法学习运动和背景信息以促进CF的跟踪过程。 新算法由三个交互式模块组成（如图 2 所示）
• 提出了一种基于
  
  fully convolutional network （FCN）
  
  的预测网络来预测目标出现在下一帧RoI的每个像素上的概率
• 考虑到背景杂波
  
  （background clutter BC）
  
  对滤波响应的干扰，引入快速聚类方法对可行区域进行分割提取，使道路区域的概率增强，抑制其他区域的概率，进一步保证了跟踪性能。

Moving Object Tracking via 3-D Total Variation in Remote-Sensing Videos（2022）

Main Method:

• 使用传统的鲁棒主成分分析
  
  (robust principal component analysis（RPCA）
  
  模型从背景中提取移动对象。
• 为了描述移动物体在空间和时间方向上的连续性，我们将三维全变分
  
  （3-D total variation 3DTV）
  
  正则化合并到RPCA模型中。
• 考虑到背景不是静态的，并且由于传感相机的不稳定性，捕获的视频会包含噪声，我们提出的方法引入了一部分功能来对噪声进行建模并捕获背景的变化。

Object Tracking in Satellite Videos: A Spatial-Temporal Regularized Correlation Filter Tracking Method With Interacting Multiple Model（2022）

Main Method:

我们提出了一种新颖的相关滤波器算法，该算法具有交互多模型

（interacting multiple model IMM）

，用于卫星视频中的对象跟踪，该算法结合了相关滤波器和IMM的优势。

• 为了减轻边界带来的影响，我们采用了
  
  （spatial-temporal regularized correlation filter STRCF）
  
  算法来跟踪未被遮挡的目标
• 为了解决卡尔曼滤波面对遮挡物体失效的问题，提出了IMM，IMM具有多模型估计功能，可以有效地预测非线性运动的目标位置

Object Tracking in Satellite Videos Based on Siamese Network With Multidimensional Information-Aware and Temporal Motion Compensation（2022）

Main Method:

（数据集 SatSOT）

提出了用于遥感跟踪的新型跟踪器-时间运动补偿网络

（tracker- temporal motion compensation Siam-TMC）

。我们的方法依赖于多维信息感知

（multi- dimensional information- aware Dim-Aware）

模块和时间运动补偿（TMComp）机制。我们提出了一个基于双分支的Dim-Aware模块，该模块将前景和高频信息汇集在一起，以区分关键的小物体和干扰源。还设计了一种使用时间运动信息的TMComp机制，通过监督遮挡检测来减轻物体轨迹漂移。

• 我们利用多维信息感知（Dim-Aware）模块构建了一个特征提取器，首次通过
  
  注意力增强（attention enhancement）
  
  和
  
  高频信息融合（high- frequency information）
  
  提高了SiamFC对小物体进行建模的能力。
• 我们提出了一种运动驱动（motion-driven）的Siamese网络，该网络以我们设计的时间运动补偿（TMComp）机制为指导，对空间维度上的模糊物体路径进行补偿，以有效缓解跟踪漂移。

Object Tracking in Satellite Videos: Correlation Particle Filter Tracking Method With Motion Estimation by Kalman Filter（2022）

Main Method:

• 提出了
  
  correlation particle Kalman filter（CPKF）
  
  ，结合了互相关、粒子、卡尔曼滤波，解决目标遮挡、非线性运动
• 提出了彩色直方图、基于HOG和基于CN（color naming）的响应图的线性积分，使我们的跟踪器对目标旋转、背景杂波和低对比度具有鲁棒性

Single Object Tracking in Satellite Videos: A Correlation Filter-Based Dual-Flow Tracker（2022）

Main Method:

本文提出一种基于相关滤波的

dual-flow（DF）

跟踪器，探讨了空谱特征融合与运动模型的混合如何促进跟踪。为了表示小对象，DF 使用特征流中的状态感知指示器（state-aware indicator）自适应融合互补特征。在运动流中，指示器感知特征流的置信度。然后构建双模预测模型，模拟物体的运动模式，并配合线性和非线性运动模式在SV中实现SOT。

• 提出了一种
  
  基于CF的DF跟踪器（CF-based dual-flow DF tracker）
  
  ，该跟踪器将空间光谱特征和自适应运动模型相融合，融合了表示物体纹理和光谱的互补特征，以增强特征流中的表示。在运动流中，构建双模（dual-mode）预测模型，综合线性和非线性运动模式，防止跟踪漂移。
• 
  状态感知指标 （state-aware indicator SAI）
  
  被定义为感知跟踪的置信度。它实现了特征流中特征权重的自适应选择，同时感知运动流中的异常状态。

Vehicle Tracking on Satellite Video Based on Historical Model（2022）

Main Method:

数据集SatSOT

本文提出一种

基于历史模型（historical-model-based）

的卫星视频跟踪器。

• 设计一种
  
  historical-model-based tracker（HMTS）
  
  提升小目标跟踪效果，利用历史信息提高目标信息的获取，保证跟踪的可靠性
• 提出一种
  
  historical models（HM）
  
  评估方案进行跟踪器更新，依靠互相关函数测量相应图和理想回归目标之间的相似性。以此来确定最合适当前帧的HM
• 使用
  
  kalman filter（KF）
  
  估计物体的运动，以防止对象遮挡和类似对象外观引起的跟踪器 漂移。并使用
  
  peak and kurtosis（PK）
  
  进行响应图评估。基于PK，通过KF的预测函数对跟踪器的轨迹进行校正。

Very Low-Resolution Moving Vehicle Detection in Satellite Videos（2022）

Main Method:

• 由于缺乏有用的外观特征，我们在特征提取阶段设计了一个
  
  差分模块（differential module）
  
  。它集成了来自相邻帧的运动信息，以方便提取有效的语义特征。此外，考虑到静态物体的干扰和杂乱的背景，该模块可以通过差分操作来抑制不相关区域的响应
• 引入transformer，基于自注意力机制细化语义特征。为了缓解高计算消耗，我们提出了一个独特的注意力层来取代传统的MHA。由于遥感图像中目标的稀疏性，相互作用将集中在真正移动的车辆的响应上

2023

Lightweight Tracking of Satellite Video Object Based on Saliency Enhancement Mechanism（2023）

Main Method:

提出了一种基于多维增强机制的卫星视频跟踪方法。针对卫星图像背景复杂，难以正确捕获和识别目标的问题，引入三重注意力模块，高效提升目标意义，从而提高跟踪网络的性能。由于深度卷积网络的计算复杂度较大，采用了具有ghost characteristics的网络结构，一些传统的卷积运算被简单的线性运算所取代，提高了网络的速度。