博客

CART需要求解2个部分：

1. CART树的结构
2. CART树叶节点的权值

若给定CART树的结构，则输入空间的划分方式被确定下来，设输入空间被划分








M












$M$
个单元












R






1







,





R






2







,


.


.


.


,





R






M


















$R_1, R_2, ..., R_M$
，对应








M












<script type=”math/tex” id=”MathJax-Element-42″>M</script>个叶节点，并且每个样本最终落到哪一个叶节点上也是确定的。对于回归问题，使用平方误差作为目标函数，则叶节点的权值为该叶节点上所有样本标签的均值，才能使平方误差最小。因此主要的难点在于怎样生成一棵CART树结构。

训练算法采用了启发式的方法。

第j个特征的切分点与该特征的取值集合有关，