纹理提取方法总结

  • Post author:
  • Post category:其他


纹理识别主要由两部分组成:

纹理特征提取和分类算法设计

。近年来,研究人员主要围绕纹理特征提取进行工作展开,这是因为提取到的纹理特征的优劣直接影响后续的纹理分类效果。

目前常用的分类算法包括:

(1)使用不同的距离衡量方法构造的最近邻(1NN)或K近邻(KNN)分类方法;

(2)支持向量机(SVM);

(3)最近正则化子空间(NRS)。

在过去的几十年间,涌现了许多高质量的纹理特征提取方法,根据文献[2],纹理特征提取方法主要分为以下几类:

统计方法,结构方法,基于变换的方法,基于模型的方法,基于图的方法,基于学习的方法和基于熵的方法。


(1)统计方法


统计方法采用区域统计的方式分析纹理图像,利用图像的灰度空间分布的统计属性来描述粗细度、均匀性、方向性等纹理信息。统计家族的方法是基于像素及其邻域的灰度属性,研究纹理区域内的一阶、二阶或高阶统计特性。

其中涌现了许多方法,如灰度共生矩阵(GLCM)[3]、灰度游程长度矩阵(GLRLM)[4]、基于自相关的方法、梯度幅度直方图、基于局部映射模式的方法、局部能量模式、半方差图、局部二值模式(LBP)等。

灰度共生矩阵是典型的统计方法。灰度共生矩阵是像素距离与方向的矩阵函数,在给定空间距离d和方向θ计算两点灰度值之间的相关性,它反映了图像在方向、变换幅度快慢等综合信息。灰度共生矩阵中的元素,表示的是具有某种空间位置关系的两个像素灰度的联合分布。

局部二值方法(LBP)由于其简单有效、计算复杂度低的优点而受到研究人员的广泛关注。基于此众多的LBP变体被提出以改善LBP方法的局限性。

2010,郭等人[5]提出了完整的局部二值模式(CLBP)建模,将CLBP-Sign,CLBP-Magnitude和CLBP-Center合并为联合分布。完整的本地二进制计数(CLBC)[6]于2012被提出,它通过对LBP二进制位字符串中的位“ 1”进行计数,进一步改善了CLBP。2014,刘等人[7]介绍了二进制旋转不变和耐噪(BRINT)描述符,通过对沿弧的相邻邻居的平均灰度值进行量化,可以提高其对噪声的鲁棒性。2016,刘等人[8]通过在图像中结合具有多分辨率的中值滤波器,提出了中值鲁棒扩展LBP(MRELBP)。

LBP类的方法易于实现且具有光照不变性。

原始LBP方法主要有以下缺点:

(1)会产生相当长的直方图,并需要大量存储;

(2)如果空间支持(例如3×3邻域)小,则提取的纹理信息将受到限制;

(3)由于仅考虑了相邻像素的差异,它丢失了局部纹理信息(例如对比度);

(4)对噪声和模糊非常敏感。


(2)结构方法


结构法是建立在纹理基元(基本的纹理元素)理论基础上。对于结构方法而言,纹理或多或少有规律地被视为纹理基元的复制。结构方法旨在确定纹理图元并定义放置规则。对不规则的自然纹理,提取基元相对较困难。因此该方法的使用范围有限。


(3)基于变换的方法


基于变换的方法表示空间(例如频率或比例空间)中的图像,其坐标系的解释与纹理的特性密切相关。

代表方法包括基于傅里叶变换的方法、基于Gabor分解的方法、基于小波的方法、基于Contourlet的方法等。其中Gabor方法和小波方法的使用比较广泛。

由于Gabor滤波器具有非正交的缺点,这会导致不同比例的冗余特征。与Gabor变换相比,小波变换具有提供空间分辨率变化的优点,这允许以不同尺度表示纹理。然而,小波变换既不是平移不变的也不是旋转不变的。


(4)基于模型的方法


基于模型的方法通过构造图像模型,利用模型的参数作为其纹理特征。其主要任务是采用最优化参数估计方法进行参数估计。

常用方法有基于复杂网络的方法、马赛克模型、随机场模型、分形模型等。随机场方法又包括自回归模型、滑动平均模型、马尔可夫随机场模型[9]和广义长相关模型等。其中随机场模型得到了最广泛的应用。它的主要优点是提供了表达空间上相关随机变量的相互关系,充分利用了像素对其邻域的统计依赖关系。


(5)基于图的方法


该方法的思想为纹理特征的提取依赖于从输入图像获得的图。

代表的方法有局部图结构(LGS)[10]、游客步行图、图的最短路径等。其中局部图结构对于每个目标元素,选择6个相邻像素组成一个定向图结构,局部图结构包含有关局部微图案(边缘,斑点,平坦区域)分布的信息。此外,局部图结构对照明强度非常不敏感,并且对移动和缩放不变,计算时间也很快。该方法在人脸识别和服装分类方面有所应用。


(6)基于学习的方法


基于学习的方法主要包括三个部分:

词汇学习方法,基于机器的极限学习(ELM)方法和深度学习方法。


词汇学习方法(也称为视觉词典方法)意味着学习视觉词典。在词汇学习中,把训练集的局部描述符聚类成特征空间中的簇,聚类中心构成视觉词典中的单词,被聚类成相同视觉词汇的描述符定义为重复的模式。词汇学习方法是依赖于数据集的,字典学习比小波变换具有更高的灵活性。但是,字典学习需要更复杂的计算。

极限学习机[11]是单隐藏层的神经网络。在ELM中,每个窗口的中心像素都被视为标签,其相邻像素被视为输入向量,输出权重集用作特征向量。

深度学习,尤其是卷积神经网络(CNN),最近在计算机视觉领域得到了显着应用。CNN模型是一种有监督的学习方法,它拥有出色的特征表示能力。在2016年,Cimpoi等人表明深度学习可用于纹理分析的许多领域。CNN的性能取决于标记的训练样本的数量并且它的计算昂贵。 2016年,Liu等人[12]评估了几个深度纹理描述符,并将它们与LBP描述符的多个变体进行了比较。他们的结果表明,深度卷积描述符获得了最佳结果,但是,它们比LBP变体具有更高的计算复杂度。


(7)基于熵的方法


基于熵的方法很早被用来处理时间序列,直到近几年才用于图像领域。

基于熵的方法直接在图像上计算出一个熵度量。因此,它们与图像的不规则性/复杂性直接相关。目前提出的方法有二维样本熵方法[13]、二维分布熵方法[14]以及二维多尺度熵方法[15]。

前四种纹理提取方法使用得较为广泛,近年来后面的三种方法也越来越受到研究人员的青睐。


参考文献


[1]Ojala T , Pietikainen M , Maenpaa T . Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7):971-987.

[2]Humeau-Heurtier A . Texture Feature Extraction Methods: A Survey[J]. IEEE Access, 2019:1-1.

[3]Soh L K , Tsatsoulis C . Texture Analysis of SAR Sea Ice Imagery Using Gray Level Co-Occurrence Matrices[J]. IEEE Transactions on Geoence and Remote Sensing, 2002, 37(2):780-795.

[4]Mary, M, Galloway. Texture analysis using gray level run lengths[J]. Computer Graphics and Image Processing, 1975.

[5]Guo Z , Zhang L , Zhang D . A completed modeling of local binary pattern operator for texture classification[J]. IEEE Transactions on Image Processing, 2010, 19(6):1657-1663.

[6]Zhao Y , Huang D S , Jia W . Completed Local Binary Count for Rotation Invariant Texture Classification[J]. Image Processing IEEE Transactions on, 2012,21(10):p.4492-4497.

[7]Liu L , Long Y , Fieguth P W , et al. BRINT: Binary Rotation Invariant and Noise Tolerant Texture Classification[J]. IEEE Transactions on Image Processing, 2014, 23(7):3071-3084.

[8]Median Robust Extended Local Binary Pattern for Texture Classification[J]. IEEE Transactions on Image Processing, 2016, 25(3):1368-1381.

[9]Martin Hassner, Jack Sklansky. The use of Markov Random Fields as models of texture[J]. computer graphics & image processing, 1980, 12(4):357-370.

[10]Abusham E E A , Bashir H K . Face Recognition Using Local Graph Structure (LGS)[C] Human-computer Interaction Interaction Techniques & Environments-international Conference. DBLP, 2011.

[11]Jarbas, Joaci, de,et al… ELM based signature for texture classification[J]. Pattern Recognition, 2016.

[12]Li Liu, Paul Fieguth, Xiaogang Wang,et al… Evaluation of LBP and Deep Texture Descriptors with a New Robustness Benchmark[C] .European Conference on Computer Vision. Springer, Cham, 2016.

[13]L. E. V . Silva, A. C. S. S. Filho, V . P . S. Fazan, et al. Two-dimensional sample entropy: Assessing image texture through irregularity[J]. Biomed. Phys. Eng. Express, vol. 2,

no. 4, p. 045002, 2016.

[14]H. Azami, J. Escudero, and A. Humeau-Heurtier.Bidimensional distribution entropy to analyze the irregularity of small-sized textures[J]. IEEE Signal Process. Lett., vol. 24, no. 9, pp. 1338–1342, Sep. 2017.

[15]L. E. V . Silva, J. J. Duque, J. C. Felipe, et al.Two-dimensional multiscale entropy analysis:Applications to image texture evaluation[J].Signal Process., vol. 147,pp. 224–232, Jun. 2018.



版权声明:本文为Petrichoryi原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。