ASM是基于统计学习模型的特征点提取的一种方法。这个方法是95年就提出来的,不过至今仍是我认为比较好的人脸特征点提取的方案。方法的提出人Tim Cootes后来还提出了aam算法,也很有名,但如果简单是特征点的定位的话,我认为asm的效果可能更好一些。ASM跟大多数统计学习方法一样,也包括train和test(or fit)两部分,也就是形状建模build和形状匹配fit。这个算法其实很简单,可以用来做实时性的检测,但我还是看了很久,而且还有理解有问题的地方,肯定有很多不对的地方,希望大家多多指正。
一、模型的建立(build)
1.选择合适的特征点
特征点的选取很重要啊,这点不用我多说啦。好的特征点大概应该或多或少满足如下几点:
边缘点、曲率大的、T型连接点和以上这些点的连线上的等分点。
(如下图)
记录好这些特征点的顺序,以便于后面确定图形的边界和连线等等。这也是asm方法的优点,得到的特征点是有序的。这样得到一组特征点集X
我们这里把它看做是一个2n维的向量
2.形状统计模型
刚刚得到的2n维向量维数很高(因为图像中我们选择的特征点往往很多),但这2n维彼此是有很强的相关性的,彼此的位置距离是大致不变的。这里作者使用最最常用的PCA来进行降维,提取出主成分,这里作者叫它modes。于是任意一组特征点集可以看做是主成分向量空间的一个坐标点,而这个坐标原点就认为是这些点集的平均,这样任意点就是坐标原点加上一个向量。即:
这里P是包含了前t个主成分的协方差矩阵,b是一个t维的向量,用来控制特征点形状的变化,当b为0时,x即坐标原点(平均形状),其实是很好理解哈。但这里b不要太大,如果太大,会导致整个形状变化超出人脸的变化范围,会使人变得异常狰狞,大家懂的。。。所以作者这里做了约束
这步还有个问题,就是PCA中主成分个数t的选取,有两种方法:1)选择前s个;2)选择前k%的分量,这里作者推荐使用第二种方法。
3.把模型和新点集进行匹配
这个过程是asm方法的核心所在了,贯穿始终。说来也简单,无非就是把刚得到的模型进行旋转,放缩,平移。
其中T为旋转放缩平移矩阵
我们的目的就是是模型X和图像特征点集Y最接近,这里目标函数选择是其各点欧氏距离和最小
具体的匹配过程就是,先初始化b向量为0,得到模型X,用其他方法找到变换矩阵T,这个很简单,可以用其他方法(haar人脸检测器,光流法,kalman滤波等等等等)大致找到目标的位置和大小以及方向。求的Y,再利用Y反求b,并且更新b,直到收敛。这里比较容易陷入局部最小,也是该方法的一个缺点。
二、模型在图像中的匹配(fit)
说白了,也就是在图像中找到模型的匹配点,前面已经说过了,可以利用其它方法大致找到模型的位置大小方向(
不要小瞧这步,如果预处理的不好,是很容易陷入局部最小的
),接下来就是如何改善参数得到好的匹配结果了。模型中可以调整的参数有b、Xt、Yt、s、theta这5个参数。这里作者提到了两种手段:
1)先验信息认为特征点主要是图像的强边缘点,并且图像灰度的梯度服从高斯分布,只要找到模型特征点附近梯度最大的值,即认为是特征点所在的位置
示意图如下:
这种方法很明显,对图像的噪声很敏感,我这里不太推荐
2)对模型特征点周围的纹理信息进行采样,对比图像和模型训练集的纹理,找到纹理最接近的点即认为是特征点。作者这里比较纹理的工具是马氏距离。为了提高搜索的效率,作者还提到了多分辨率搜索周围像素纹理,对于粗糙的尺度,搜索范围大,对于细致的尺度,进行细致的搜索,提高了匹配的效率。这个方法是我比较推荐的。
至于代码,找到了很多版本,有基于opencv的,也有matlab的,大家可以到wiki的asm页面找到对应的链接,但我自己实践下来,总结一下,matlab我不是太熟悉,代码量太大,我放弃了学习。asmlib-opencv是一个在国外读书的国人写的,有源代码,但效果一般。还有个很牛的国人的作品asmlibrary,但核心部分只提供了lib,他的方法效果很好,代码风格也非常棒,实时性也很好,这里感谢作品作者对我的指点。还有个牛人猛写了不基于opencv的stasm,代码量太大,我果断放弃了。至于其他的一些作品都是只有demo,没有code,很让人遗憾。如果哪位大神有asm效果很好的基于opencv的源代码,能提供给小弟,不胜感激。