机器学习中的特征变换(核函数)

  • Post author:
  • Post category:其他


在机器学习中,我们提供的数据不一定都是完全线性可分的,很多情况下会存在线性不可分,可是我们需要处理成线性可分,所以我们可以采用特征变换或者核函数的形式,把数据投影到别的空间。数据在A空间不可分,投影到B空间就可能会线性可分,B空间的维度一般会高于A空间的维度。

1.一般情况下,我们考虑将数据投影到别的空间,比如采用多项式。假设x的维度d,如果投影到别的空间,维度会急剧增大,造成维度灾难。维度比较高,在求解过程中就会存在问题,比如你在求解SVM的时候,存在不同元素之间的内积,如果投影过去变成10000维,那么计算内积就要10000次,在继续增大的话可能导致无法计算。使得计算效率十分低下。很多情况下无法计算。

2.为了解决上面的这个问题,我们采用的思路不是先投影,而是把投影和内积和在一起计算,称为kernel function(核函数)。计算核函数来替代其他的计算。






以下是几种常用的核函数表示:


线性核(Linear Kernel)



版权声明:本文为UESTC_C2_403原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。