集成学习Boosting

集成学习大致可分为两大类:BaggingBoosting。Bagging一般使用强学习器,其个体学习器之间不存在强依赖关系,容易并行。Boosting则使用弱分类器,其个体学习器之间存在强依赖关系,是一种序列化方法。Bagging主要关注降低方差,而Boosting主要关注降低偏差。Boosting是一族算法,其主要目标为将弱学习器“提升”为强学习器,大部分Boosting算法都是根据前一个学习器的训练效果对样本分布进行调整,再根据新的样本分布训练下一个学习器,如此迭代M次,最后将一系列弱学习器组合成一个强学习器。而这些Boosting算法的不同点则主要体现在每轮样本分布的调整方式上。

AdaBoost原理简介

AdaBoost算法是Adaptive Boost的简称,Boosting通过将一系列弱学习器组合起来,通过集成这些弱学习器的学习能力,得到一个强学习器。具体到AdaBoost算法,AdaBoost在之前学习器的基础上改变样本的权重,增加那些之前被分类错误的样本的比重,降低分类正确样本的比重,这样之后的学习器将重点关注那些被分类错误的样本。最后通过将这些学习器通过加权组合成一个强学习器,具体的,分类正确率高的学习器权重较高,分类正确率低的学习器权重较低。

AdaBoost 算法流程

  • 输入:训练集 D = ( ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) ) D=((x_1,y_1),(x_2,y_2),...,(x_m,y_m)) D=((x1,y1),(x2,y2),...,(xm,ym)) ,训练轮数T,和一个基学习算法L。
  • 首先,让所有数据的权重都为 D 1 ( x ) = 1 m D_1(x) = \frac{1}{m} D1(x)=m1
  • 然后,对于每一轮的train过程,得到一个基学习器 h t = L ( D , D t ) h_t = L(D,D_t) ht=L(D,Dt)
  • 计算这个基学习器 h t h_t ht 在训练数据集D上的误差 ϵ t = P x ∼ D t ( h t ( x ) ≠ f ( x ) ) \epsilon_t = P_{x\sim D_t}(h_t(x)\ne f(x)) ϵt=PxDt(ht(x)=f(x))
  • 如果这个误差大于0.5,那么直接停止本轮的train,进行下一轮;
  • 计算此轮基学习器在最终的模型中所占的权重 α t = 1 2 l n 1 − ϵ t ϵ t \alpha_t=\frac{1}{2}ln \frac{1-\epsilon_t}{\epsilon_t} αt=21lnϵt1ϵt
  • 对于在这一轮基学习器中做错的样本和做对的样本进行调整: D t + 1 ( x ) = D t ( x ) Z t e x p ( − α t f ( x ) h t ( x ) ) D_{t+1}(x) = \frac{D_t(x)}{Z_t}exp(-\alpha_tf(x)h_t(x)) Dt+1(x)=ZtDt(x)exp(αtf(x)ht(x))
  • 上述中的 Z t Z_t Zt 是一个规范化因子;一般 Z ( m ) = ∑ i = 1 N ω ( m ) i e − y i α m G m ( x i ) Z^{(m)}=\sum_{i=1}^{N}\omega^{(m)}ie^{-y_{i}\alpha_{m}G_{m}(x_{i})} Z(m)=i=1Nω(m)ieyiαmGm(xi),以确保所有的 ω ( m + 1 ) \omega^{(m+1)} ω(m+1)构成一个分布;
  • 最终,得到ensemble后的model为 H ( x ) = s i g n ( ∑ t = 1 T α t h t ( x ) ) H(x)=sign(\sum_{t=1}^T\alpha_th_t(x)) H(x)=sign(t=1Tαtht(x))

最后一步的模型Ensemble如下图所示,前面的数字表示 α ( t ) \alpha(t) α(t),后面表示学习到的三个基学习器。

在这里插入图片描述

动手实践

在 Python 环境下使用 Adaboost 进行手写数字识别。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier

from sklearn.metrics import accuracy_score
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import cross_val_predict
from sklearn.model_selection import train_test_split
from sklearn.model_selection import learning_curve

from sklearn.datasets import load_digits

首先,载入数据

dataset = load_digits()
X = dataset['data']
y = dataset['target']

X 包含长度为 64 的数组,它们代表了简单的 8x8 的平面图像。使用该数据集的目的是为了完成手写数字识别任务。下图为一个给定的手写数字的示例:

在这里插入图片描述

如果我们坚持使用深度为 1 的决策树分类器(决策树桩),以下是如何在这种情况下实现 AdaBoost 分类器:

reg_ada = AdaBoostClassifier(DecisionTreeClassifier(max_depth=1))
scores_ada = cross_val_score(reg_ada, X, y, cv=6)
scores_ada.mean()

这样得到的分类准确率的结果应该约为 26%,还具有很大的提升空间。其中一个关键的参数是序列决策树分类器的深度。那么,决策树的深度如何变化才能提高分类准确率呢?

core = []
for depth in [1,2,10] : 
    reg_ada = AdaBoostClassifier(DecisionTreeClassifier(max_depth=depth))
    scores_ada = cross_val_score(reg_ada, X, y, cv=6)
    score.append(scores_ada.mean())

在这个简单的例子中,当决策树的深度为 10 时,分类器得到了最高的分类准确率 95.8%。