在分类回归树中之所以要先分类后回归的原因是, 对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说,其建模的难度会很大。所以我们改进为局部加权线性回归,其只利用数据点周围的局部数据进行建模,这样就简化了建模的难度,提高了模型的准确性。树回归也是一种局部建模的方法,其通过构建决策点将数据切分,在切分后的局部数据集上做回归操作。

比如在前面博客中提到的风险预测问题,其实就是在特征层面对于不同类型的用户分到了不同的叶子节点上。
例如我们用了时间作为特征,就将晚上开车多的用户分到了一类 白天开车多的分成了另外一类,在危险区域开车比例高的分为一类,比例低分为另外一类。

分类的切割点用作直方图的方法来确定。
例如以速度均值为例:(图中数据为假设)

这样很清楚就能找到一个切割点来划分哪些用户经常超速开车,超速和相对不超速的用户的区分速度在哪里。