The PAN and MS image fusion algorithm based on adaptive guided filtering and gradient information regulation
(基于自适应引导滤波和梯度信息调整的PAN与MS图像融合算法)
近年来，随着遥感图像分类和目标识别精度的提高，遥感图像
特征级融合
技术备受关注，成为研究热点。但是，这种融合技术并不像像素级融合技术那样成熟，还有很多问题需要解决。提出了一种基于自适应纹理特征提取和信息注入规则的多光谱和全色图像融合算法。融合算法包括两个阶段。提出了一种基于自适应纹理特征提取和信息注入规则的多光谱和全色图像融合算法。融合算法包括两个阶段。
第一阶段提取高分辨率PAN图像的纹理细节
。在这一阶段，基于遥感图像对的灰度共生矩阵（GLCM）的敏感性，提出了一种基于GLCM的遥感图像自适应制导滤波（AGIF）方案。充分提取了PAN图像的纹理和细节特征信息。
第二阶段将提取的PAN图像的特征信息注入MS图像
。该阶段提出了基于MS图像梯度域的决策图和基于梯度熵测度的加权矩阵，分别实现了特征
注入位置选择的自适应性和对MS图像注入信息强度的调节
。这保证了纹理信息注入的合理性，避免了噪声、斑块等信息的干扰。该算法能够充分提取高分辨率PAN图像的纹理特征，在向MS图像中注入特征信息时，
自适应地调整注入位置和强度
，使融合图像具有清晰的特征。在有效保持光谱信息质量的前提下，提高了融合图像的空间分辨率。大量仿真实验验证了所提方法的有效性。
介绍
多源图像融合技术是指将来自不同传感器的两幅或多幅图像融合成一幅图像，以获得比任何一幅单一遥感图像更完整的信息的过程，它对计算机视觉领域的图像处理任务具有重大意义。多源图像融合技术是指将来自不同传感器的两幅或多幅图像融合成一幅图像，以获得比任何一幅单一遥感图像更完整的信息的过程，它对计算机视觉领域的图像处理任务具有重大意义。为了弥补硬件和环境的限制，不可能同时获得高光谱分辨率和高空间分辨率的遥感图像。遥感图像融合分为三个层次：像素级融合、特征级融合和决策级融合。
传统的基于像元的融合技术可以充分考虑不同传感器获取的遥感图像的特点，侧重于对像元信息的统计分析，从而得到融合图像。根据融合操作的范围，该方法可分为两种方法：基于空间域的融合和基于变换域的融合。基于空间域的融合方法直接利用图像的空间域像素完成融合过程，如IHS变换、主成分分析(PCA)、GS变换和Brovey变换等。这些方法通常将MS图像映射到一个特征空间，通过用PAN图像代替其最高相关分量来提高融合图像的空间分辨率，这类方法一般算法简单，计算速度快。然而，融合后的图像通常会因对比度降低等原因而退化，融合效果较差。后来，提出了FIHS算法，虽然融合图像的质量得到了提高，但由于传感器类型的限制，应用范围受到了限制。基于变换域的融合方法利用多尺度分析工具和稀疏表示将图像从空间域变换到变换域。然后，利用变换域中高频子带和低频子带的特性，确定相应的融合规则。该方法的处理过程类似于人类视觉系统（HVS）识别物体的过程。在低频子带中较好地保留了图像的背景信息，在高频子带中较好地保留了图像的纹理边缘信息。然后，它有效地保留了光谱图像的背景信息和光谱信息，并通过对低频和高频子带的处理，将高分辨率图像的纹理细节很好地融入其中。因此，融合后的图像具有很好的质量。传统的多尺度方法主要应用于遥感图像融合领域，如轮廓波变换、剪切波变换、小波变换等，随后提出了NSCT和NSST变换，融合图像的质量得到了很大的提高。近年来，随着遥感技术的发展，高分辨率图像中的纹理边缘信息越来越复杂，同时也受到采集环境的影响。遥感图像在获取和传输过程中往往受到斑块、噪声和阴影的污染，不同程度地影响了最终的融合质量。然而，在土地覆盖和土地利用制图等应用中，对地物的特征提取、分类和目标识别的精度要求越来越高。一般来说，应通过使用融合图像的特征分类和提高遥感图像的空间分辨率来获得对地物的更好描述。这些都导致遥感图像的特征级和决策级融合研究成为研究热点。可以使用色度信息变换、引导滤波等方法来提取。然后，融合特征信息以改善空间信息。例如，在基于特征集的遥感图像融合中，从高光谱图像中提取纹理特征、形状特征和光谱信息，并通过采用堆叠作为融合方案将它们融合到特征集中。此外，使用具有三次多项式核的支持向量机（SVM）分类器可以提高分类精度。Song等人提出了一种基于学习的图像融合方法，该方法结合了Landsat Thematic Mapper（TM）/Enhanced Thematic Mapper Plus（ETM+）的带宽和光谱特性以及SPOT 5（Système Pour l ‘Observation de la Terre 5）的空间分辨率，以获得比传统方法更好的融合结果。然而，这种方法需要进一步改进相对于TM的空间细节。Bai等人提出了一种基于softmax回归的特征融合方法，该方法为不同的特征学习不同的权重。该方法综合利用地物的形状、光谱和纹理特征对地物进行分类，取得了较好的效果。Liu等人提出了一种双流融合网络（TFNet）来解决泛锐化问题。与以前的CNN（卷积神经网络）方法，认为pansharpening作为一个超分辨率的问题，并在像素级执行pansharpening，建议TFNet融合PAN和MS图像的特征级和重建pansharpened图像从融合的功能。
在决策级图像融合中，Luo等人提出了基于决策的融合，用于遥感图像的泛锐化。该方法合并了à trous小波泛锐化和拉普拉斯金字塔自适应泛锐化方法，以便通过局部选择最佳方法来利用这两种方法。然而，由于水平线方法引起的分割误差，该方法不能总是提供最佳的融合结果。Tabib Mahmoudi等人在对象识别策略中使用了使用多视图超高分辨率（VHR）图像的决策级融合。为了细化分类结果，所有视图的分类对象在决策级融合的基础上的场景上下文信息融合在一起。Tuia等人提出了一种概率判别图形模型，该模型依赖于条件随机场，用于融合极高分辨率遥感图像的土地覆盖和土地利用分类结果。该系统集成了基于像素和基于区域的策略与多尺度的方法，它是能够找到多个空间支持的概率决策之间的协议。虽然本文对基于特征层和决策层的遥感图像融合技术进行了研究，但该方法的融合精度和融合效果还有待提高。有效特征的选择与评价、特征提取过程中的信息损失、注入特征的合理选择、融合规则的简化以及通用融合结果的评价方法等问题仍有待解决。
本文提出了一种基于梯度域决策图自适应引导滤波的多光谱和全色图像融合算法。
贡献
1）提出了一种
基于灰度共生矩阵（GLCM）的自适应引导滤波器（AGIF）
，用于提取PAN图像的纹理和细节特征信息，保证了信息提取的充分性。
2）提出了一种
基于梯度域的决策图
，以监督纹理和细节特征信息的注入位置，并确保融合MS图像的光谱质量。
3）提出一种基于梯度熵测度的加权矩阵
约束方案
，调节PAN特征信息的注入强度，避免噪声、斑块等信息的干扰，提高融合图像的空间分辨率。
4）提出了一种新的基于梯度域决策模板自适应引导滤波的MS和PAN融合方法。
该算法充分提取了高分辨率PAN图像的纹理特征，并在特征信息注入MS图像时自适应地调整了位置和强度，融合后的图像纹理清晰。该方法的优点是在有效保持光谱信息质量的前提下，提高了融合图像的空间分辨率。注入法不受波段间相对光谱影响关系的限制，可以利用多光谱图像和全色图像的单个波段进行融合，有助于提高融合方法的通用性。大量仿真实验验证了所提方法的有效性。
相关工作
Analysis of guided filtering
引导图像滤波（Guided image filtering (GIF)）是He等人提出的用于边缘保留的平滑滤波器。滤波器通过引导图像完成滤波过程，引导图像可以是单个图像本身，也可以是输入纹理图。当引导图像是后者时，GIF可以很好地保持边缘。由于GIF可以避免振铃效应，因此它被广泛应用于图像处理领域，如特征提取，图像融合和超分辨率重建。
设输入图像为X，引导图像为I，并且GIF滤波后的X的结果图像为Z。此外，k被设置为X中的待处理像素，w
k
是以k为中心的窗口，GIF是基于引导图像滤波的局部线性模型。该过程可以表示为
其中，Z
i
表示第i个像素的滤波结果值，I
i
表示引导图像的第i个像素值，并且常数a
k
和b
k
是窗口w
k
的线性系数，可以通过估计公式（2）中所示的成本函数的最小值来获得值。
其中参数η是用于惩罚a
k
过大的正则化参数。估计的a
k
和b
k
被定义为
此外，为了避免不同窗口中的不同输出图像Z
i
，在该方案中，线性系数a
k
和b
k
被平均为
GIF是一种快速的局部滤波边缘检测算法。在避免梯度反转效应方面，其性能优于双边滤波。在GIF模型中，正则化参数η的选取对滤波后边缘的保持起着重要的作用。然而，
在传统的GIF模型中，η是一个固定值
。因此，滤波器不可避免地会在图像的平滑区域产生光晕效应，而GIF模型对平滑区域的纹理或背景信息中平滑区域相对较浅的纹理不敏感，难以提取。为了克服这个问题，首先
提出了边缘感知加权
，并将其合并到GIF中以形成WGIF。WGIF模型在一定程度上避免了处理平滑区域时产生的晕轮效应，但对遥感图像中纹理边缘信息的提取仍有不足。特别是对于遥感图像中相对平滑的区域或背景中纹理较浅的区域的处理，效果并不理想。此外，Kou等人
通过结合显式一阶边缘感知约束提出了梯度域引导的图像滤波器
。该方案构造了一个
基于局部方差的
边缘加权函数，使得在滤波过程中能够
很好地保持图像的边缘信息
。受此启发，结合灰度共生矩阵特征对遥感图像地面信息的敏感性，本文对GIF模型进行了改进，提出了一种基于灰度共生矩阵的遥感图像自适应GIF方案。
GLCM characteristic analysis of MS and PAN images
灰度共生矩阵是一种基于二阶灰度统计的纹理分析方法，它是
图像像素距离、角度和灰度值的矩阵函数
。灰度共生矩阵
通过计算图像中两个像素灰度值在距离和方向上的相关
性，反映了图像灰度值在方向、相邻间隔和变化幅度上的综合信息；其表示为关于灰度的空间相关矩阵，被称为灰度共生矩阵。
GLCM是位于图像中一定距离处的像素值对的出现概率
，矩阵定义了具有值i和j的两个像素的概率，其中距离为d，角度方向为h。角度方向通常分为四个方向：0°、45°、90°和135°，并且为GLCM计算的像素之间的邻域关系如图1所示。
四个方向的灰度共生矩阵的计算公式定义如下：
在生成灰度共生矩阵时，通常对灰度的空间相关特性进行不同方向的统计，一般可以得到几十种纹理特征的统计量，如同质性、角二阶矩、标准差、对比度、转动惯量、相异度、熵等。在生成灰度共生矩阵时，通常对灰度的空间相关特性进行
不同方向的统计
，一般可以得到几十种纹理特征的统计量，如同质性、角二阶矩、标准差、对比度、转动惯量、相异度、熵等。然而，这些统计量之间存在着一定的相关性，而且有些统计量对遥感图像纹理特征的提取不敏感，尤其是对遥感图像中复杂的纹理背景信息。因此，如果在实际应用中同时使用这些统计量，它们不仅会导致大量的计算，而且还会引起一些混乱和不确定性。图2显示了来自加州州WorldView02卫星的多光谱遥感图像的GLCM特征统计图像，其通过Haralick纹理度量计算。实验中选取了方差、同质性、对比度、相异度、熵、角二阶矩和相关性等7个特征进行统计分析，分别计算每个波段的特征值，然后取所有波段的平均值作为最终结果。
图像中像素的量化级别为64，统计窗口为9×9，并且像素的偏移距离为1。由图2可以看出，对于图像中不同特征的地物信息，各特征值的敏感度存在显著差异。
此外，本文选择了一组MS和PAN图像数据集（参见图3），并对GLCM的特征值进行统计分析。这组图像包含水、山、植被、城镇和其他场景的复杂场景。考虑到角二阶矩、相关性、惯性矩、逆矩和熵在灰度共生矩阵中的相关性较小，我们选取这五个特征作为实验统计量。
通常，当图像的纹理方向与局部窗口的纹理方向一致时，矩阵中的
非零元素将集中在主对角线上
。相反，如果方向不一致，则矩阵中的非零元素将被分散。由于大多数遥感图像的纹理方向是不规则和复杂的，方向性对遥感图像的分析影响不大。因此，本文采用0°、45°、90°和135°的四个方向特征的均值作为统计特征值；统计结果见表1。
从表1的统计结果可以看出，灰度共生矩阵的不同特征值对不同遥感图像中地物的敏感性不同，如熵对城镇和水体敏感，转动惯量对水体纹理敏感，二阶矩对山地等复杂地形敏感。考虑到这些特征对地物信息的敏感性和普适性以及特征之间的相关性，本文选取熵、角二阶矩和相关性作为MS和PAN纹理分析的特征，并将其引入到所提出的自适应引导滤波模型中。
Image gradient and structured tensor
设输入图像为u（x，y）。然后，对于每个在图像中像素（x，y），其梯度可以表示如下：
图像中所有像素的梯度形成梯度场。对于像素ω的局部邻域（x，y），假设在ω中存在N个像素，则第i个处的梯度为（i=1,2……N）像素表示如下：
然后，局部结构张量（也称为局部梯度方差矩阵）T（x，y）在（x，y）处定义如下：
方法
The proposed adaptive guided filtering (AGIF) based on the GLCM
在上述对传统GIF模型分析的基础上，讨论了GLCM在MS和PAN纹理分析中的特性，提出了一种基于GLCM的遥感图像自适应引导滤波模型。令k是要处理的当前像素，
w
k
是以k为中心的窗口，M是引导图像的像素数
；cor、ent和asm分别对应于当前窗口中GLCM的相关性、熵和角二阶矩。基于这些特征值的边缘检测函数定义如下：
在对遥感图像进行引导时，利用函数G（k）来判断当前窗口中的区域是否为边缘或纹理等重要区域。在公式（9）的基础上，对公式（2）的代价函数作如下改进：
其中γ
k
可以如下计算：
其中X
k
表示当前窗口wk中的方差，μ
x
表示X
k
的平均值，并且η可以如下计算：
此外，通过公式（10）获得的系数a
k
和b
k
的估计公式如下：
最终得到Z
i
的估计公式如下：
上述基于灰度共生矩阵的自适应引导滤波在分析遥感图像时，由于对规则参数和边缘引导函数的约束，
使其对复杂地物的纹理边缘信息更加敏感
，利用灰度共生矩阵的特征值可以提取更多的纹理细节。在平滑区域中，对正则项的敏感性降低，从而避免了晕轮效应和过度平滑。
为了验证本文提出的改进GIF模型的有效性，图4在提取遥感图像纹理信息时，对传统GIF模型和改进模型进行了比较。该实验使用来自WorldView02的遥感图像，其中GIF模型中的η被设置为0.2和0.8。
从图4中可以看出，传统GIF模型对η的值比较敏感，但无法区分图像的平滑区域和纹理区域。传统的GIF模型在提取平滑区域时，会在提取过程中出现误差或过度平滑。相比之下，本文提出的模型能够更好地区分纹理区域，提取纹理信息。例如，图像左下角水中的纹理信息用肉眼很难观察到，但本文的模型仍然可以很好地提取出来。
Decision map based on the gradient field
在遥感图像特征级融合中，纹理特征信息的注入一直备受关注，因为它直接影响融合图像的质量。一方面，纹理特征信息注入量不足会影响融合图像的应用。另一方面，注入位置的偏离或注入的纹理信息量过大会引起融合图像的光谱畸变，使融合图像信息偏离原始信息。
基于上述局部结构张量，提出了以下决策图，以监督融合过程中PAN图像的特征注入。假设输入图像的大小为M×N、定义的决策图（DM）是具有与输入图像相同大小的二进制特征数对的矩阵。其表达式如下：
在实际应用中，根据确定的决策图DM，相对于处于平坦、边缘或拐角点区域，可以根据以下原理来确定：
为了更有效地对遥感图像的复杂纹理边缘信息进行分类，对H值和K值进行了统计计算。以熵和能量为度量标准，寻找H和K的最优阈值解。在图5中，虚线统计图示出了当选择不同的H和K值时对应图像的能量和熵值。从统计图中可以看出，根据熵和能量两个指标，当H = 50，K = 1×10
-11
时，所得结果最为理想，能够对复杂纹理边缘信息进行准确分类。
为了验证上述决策图的有效性，本文根据上述原理对图4中来自WorldView02的遥感图像进行了统计检验。在实验中，H和K的阈值分别设定为50和1×10
-11
。统计结果是图6所示的白色区域检测的结果。与原始图像相比,不难发现,测试结果具有良好的精度。
此外，图7统计地分析在图6中检测到的特征点的分布。红色框区域、黄色框区域和绿色框区域分别表示检测到的边缘区域、平坦区域和角点区域的分布。
可以看出，
基于所确定的决策图中的H和K值，所提出的决策模板可以准确地区分图像的角点区域、平坦区域和边缘纹理区域
。在后续的监督注入过程中，可以
控制不同区域的纹理信息注入量
，在相应区域注入适当的空间信息，增强融合图像的空间分辨率，并能有效抑制频谱的畸变，为确定有效的纹理特征信息注入位置奠定了基础。
Constraint weight based on gradient entropy
基于所提出的基于结构张量的决策图，可以更好地实现MS图像中的平滑区域和纹理区域的分类。在将PAN图像特征注入到MS图像中并实现特征融合的过程中，可以使用决策图来监督注入的特征信息的位置。然而，在纹理细节信息的注入过程中，注入的信息量对融合图像的质量也有很大的影响。例如，对于MS图像的平滑区域，光谱信息对外部信息的注入特别敏感。因此，为了保持原始光谱信息，注入的特征信息应该尽可能少，以避免光谱失真。对于MS图像的纹理区域，存在大量冗余信息，对外部信息的添加相对不敏感。因此，当注入特征细节信息时，为了提高融合图像的空间分辨率，应该尽可能地增加信息量。基于上述分析，本文提出了一种基于梯度熵的权重函数来调整注入到MS图像中的特征信息量。在保持融合图像光谱质量的前提下，应注入尽可能多的纹理信息，以提高融合图像的空间分辨率。
对于MS图像，具有大梯度的区域通常是图像的纹理化边缘区域，但是它们也可以是包含噪声的区域，并且具有小梯度的区域通常是图像的平滑区域。因此，如果仅使用2.3节给出的基于梯度场的决策图来监控注入信息，可能会将噪声区域归类为纹理区域，从而导致注入信息的位置发生偏差。为了解决这个问题并限制纹理特征的注入信息量，本文引入了梯度熵测度的权重函数。对于图像u每个像素（x，y），梯度熵测度E
u
（x，y）定义如下：
其中 W（x，y）表示邻域窗口，以（x，y）为中心像素；minΘW(x,y)和maxΘW(x,y)分别表示窗口W中的像素梯度值的最小值和最大值。(In在本文的实验中，窗口W的大小设置为7×7）p
g
(i)表示具有梯度值i的像素的比例。此外，基于梯度熵度量的加权函数定义如下：
基于公式（19），MS图像u的梯度熵度量加权矩阵W确定如下：
在梯度域中，纹理特征像素的梯度熵远小于噪声像素的梯度熵。根据等式(19)，定义的权重函数W(x,y)可以使梯度熵小的区域获得较大的权重，相对熵大的区域将被分配较小的权重。该方法可以有效地保护图像纹理的边缘信息，降低噪声对MS图像中注入特征信息的影响，最大程度地提高融合图像的空间分辨率。
The process of algorithm implementation
Algorithm flow chart
本文提出的算法的流程图如图8所示。
Algorithm flow steps
假设在配准之后要融合的MS图像是F
MS
，并且要融合的PAN图像是F
PAN
。F
MS
与F
PAN
融合的具体实现过程如下：
Step 1.
对MS图像进行IHS变换，提取其强度分量I并保留其光谱和色度分量。
Step 2.
假设PAN是输入矩阵。通过公式（9）计算边缘引导函数GPAN。
Step 3.
确定线性系数-a和-b在AGIF模型中通过基于PAN和边缘引导函数G
PAN
的等式（10）、（13）和（15）来确定。
Step 4.
使用上面提出的AGIF模型来获得高分辨率图像PAN的特征纹理图像作为待注入的细节信息。
Step 5.
通过由等式（7）、（8）和（13）计算的决策模板矩阵DM，获得MS图像的二值决策特征H和K。通过比较H和K两个特征值，对MS图像进行区域特征分类，监督特征注入过程。
Step 6.
通过公式（18）-（20）计算分量I的梯度熵度量加权矩阵W。
Step 7.
在决策模板DM的监督下，将步骤4中提取的纹理细节通过加权矩阵W注入到分量I中，得到融合后的分量I。
Step 8.
执行IHS逆变换以获得融合图像。
PS：感觉重点了解一下
灰度共生矩阵
即可