博客

之前有同学问，对于岭回归和Lasso该如何选择呢？岭回归在于 “抑制住回归系数的锋芒，不让 系数那么大，但是不会让 系数变为0”. 如果在你的数据中每个变量都特别重要，你不想有些变量被剔除，那么岭回归可能比较适合你。Lasso回归在于 “稀疏是这个世界的真相，随着lambda的变大，它会让一些回归系数变为0”。如果你的数据中变量特别多，希望挑选出一些特征变量，那么Lasso回归可能比较适合你。此外，还有一种方法将岭回归和Lasso回归的优势综合了起来——弹性网络。它将L1惩罚与L2惩罚同时引入到目标函数的最小化过程中，在获得稀疏系数的同时，维持了岭回归的正则属性。弹性网络在很多特征互相联系的情况下是非常有用的。Lasso 很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选择两个。在实践中，Lasso 和 Ridge 之间权衡的一个优势是它允许在循环过程中继承 Ridge 的稳定性。 弹性网络包含了一个混合参数α，它和lambda同时起作用。 α是一个0和1之间的数，lambda和前面一样，用来调节惩罚项的大小。 当α=0时，弹性网络等价于岭 回归； 当α=1时，弹性网络等价于Lasso。如下：

弹性网络的矩阵推导同岭回归，这里就不多说了，有兴趣的自行推导下。我们这里直接来实战演