什么是图像融合

图像处理中有图像融合，也有图像合成；

从图像中确定前景和背景的技术叫做

抠图

，英文对应：Image Matting，而将抠出的部分无缝的贴入目标图像的过程则称为

图像合成

，英文对应：Image Compositing.


图像融合

：图像融合是指将多幅图像，在经过去噪、配准等预处理后，再依据某些融合规则合成一幅图像的过程。融合图像对目标的描述更清晰和准确，更适合图像后续的处理。（多传感器图像融合（可见光图像和红外图像融合）、单一传感器多聚焦图像融合）

图像融合需要遵守的3个基本原则 ：

1)融合后图像要含有所有源图像的明显突出信息；

2)融合后图像不能加入任何的人为信息；

3) 对源图像中不感兴趣的信息， 如噪声要尽可能多地抑制其出现在融合图像中。

图像融合的方法很多，按照信息提取的层次从低到高的原则可划分为 3 类：像素级图像融合、特征级图像融合和决策级图像融合。

像素级融合依据一定的融合规则直接对源图像基于像素的特征进行融合，最后生成一幅融合图像的过程。它保留源图像的原始信息最多、融合准确性最高，但该类方法也存在着信息量最大、对硬件设备和配准的要求较高、计算时间长和实时处理差等缺点。

我遇到的图像融合：

1）像素加权融合：两张相同尺寸的图像，每个像素点根据不同权重计算和为输出图像的像素值；

公式为： output = input_1 * a_percent + input_2 * b_percent ；

a_percent + b_percent = 100%；

2）图像不透明度：设置两张图像的透明度来重叠图层显示，效果同1类似；

图像融合的应用场景

图像融合一般是多张图像进行叠加，也可以是一张图像进行不同的图像处理，处理后在进行融合，将多种图像的特点集成到一张图像上。

在医学影像学中，关于成像技术和种类很多，有CT、MR、PET、X光片等等，不同的成像原理有着不同的成像效果，CT对解刨学器官表现更为明显和直观，各个器官的分布和器官之间的界限十分明显，可以直接观察到肿瘤等占位体在脏器中的位置和分割界限。PET是正电子成像，借助放射药剂，将代谢活跃的肿瘤直观的表现在图像上，越亮的区域代谢越快；

PETCT两种结合起来，有效地融合了ct与pet两项检查的检查优势，可以精细准确的对病灶进行定位。PETCT则是将PET和CT（计算机体层显像）有机结合在一起，使用同一个检查床和同一个图像处理工作站，将pet图像和ct图像融合，可以同时放映病灶的病理生理变化和形态结构，明显提高诊断的准确性。

PETCT诊断原理的优势在于CT可提供病灶的精细准确解剖定位，而pet提供病灶详尽的功能与代谢等分子信息，具有灵敏、特异、准确和定位精细准确等特点，一次显像可获得浑身各方位的断层图像，可一目了然的了解浑身整体状况，达到早期发现病灶和诊断疾病的目的。

MRI和CT类似，也可以配合PET进行图像查看分析。

图像融合中需要注意的点

1.融合情况多用在PETCT和PETMRI检查中，一个检查床做两次检查，病人处于同一个坐标系中，正常情况下是PET的图像和CT的图像是可以重合的，但部分情况下，PET和CT图像在空间上有些偏差，也可以说是错位。一个软件如果主要业务是融合图像处理，那么将有很大一部分时间处理各种设备的不同DICOM数据信息不一致造成的错位问题；错位问题各式各样，我遇到过得错位有DICOM信息错误，比如DICOM扫描顺序没有或者PETCT的顺序不一致，需要手动调整顺序；还有不同体位造成的图像的Orientation信息与常见的Orientation信息不一致，如果软件没有考虑到这种情况，就需要进行特别处理；

2.融合图像中伪彩信息和CT或者PET的对应关系，不同伪彩信息可以突出不同的脏器范围或者是SUV活跃度的高低范围；

3.PET和CT在MPR上保持一致性，在CT上定位和PET上位置要一致，移动缩放等等操作都要一致，这也是占用软件中耗费精力的部分；

参考资料

1.

图像合成与图像融合