快速比较多种机器学习模型实例

作者: 不靠谱的猫 2020-05-17 14:37:37

 介绍

当从事机器学习项目时,所有数据科学家都必须面对的一个问题是:哪种机器学习模型架构比较适合我的数据呢?

不幸的是,对于哪种模型比较好,还没有明确的答案。当面对这种不确定性的时候,常用的方法是:实验!

在本文中,我将向您展示如何快速测试数据集上的多个模型,以找到可能提供优质性能的机器学习模型,从而使您能够将精力集中在模型的微调和优化上。

机器学习数据集

在开始实验之前,我们需要一个数据集。我将假设我们的问题是有监督的二元分类任务。让我们从sklearn加载乳腺癌数据集开始。

  1. from sklearn.datasets import load_breast_cancer 
  2. X, y = data = load_breast_cancer(return_X_y=True

接下来,我们需要将数据拆分为训练集和测试集。拆分比例为75/25。

  1. from sklearn.model_selection import train_test_split 
  2. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=8675309) 

Python编码

我们将在此数据集上快速测试6种不同模型的拟合度。

  1. 逻辑回归
  2. 随机森林
  3. K最近邻居
  4. 支持向量机
  5. 高斯朴素贝叶斯
  6. XGBoost

为了更准确地表示每个模型的拟合度,实际上是需要调整默认参数的,但是,本文出于演示目的,我将使用每个模型的默认参数,这样可以使总体思路更加清晰。

  1. from sklearn.linear_model import LogisticRegression 
  2. from sklearn.neighbors import KNeighborsClassifier 
  3. from sklearn.svm import SVC 
  4. from sklearn.ensemble import RandomForestClassifier 
  5. from sklearn.naive_bayes import GaussianNB 
  6. from xgboost import XGBClassifier 
  7. from sklearn import model_selection 
  8. from sklearn.utils import class_weight 
  9. from sklearn.metrics import classification_report 
  10. from sklearn.metrics import confusion_matrix 
  11. import numpy as np 
  12. import pandas as pd 
  13. def run_exps(X_train: pd.DataFrame , y_train: pd.DataFrame, X_test: pd.DataFrame, y_test: pd.DataFrame) -> pd.DataFrame: 
  14.     ''
  15.     Lightweight script to test many models and find winners 
  16. :param X_train: training split 
  17.     :param y_train: training target vector 
  18.     :param X_test: test split 
  19.     :param y_test: test target vector 
  20.     :return: DataFrame of predictions 
  21.     '''     
  22.     dfs = [] 
  23.     models = [ 
  24.           ('LogReg', LogisticRegression()),  
  25.           ('RF', RandomForestClassifier()), 
  26.           ('KNN', KNeighborsClassifier()), 
  27.           ('SVM', SVC()),  
  28.           ('GNB', GaussianNB()), 
  29.           ('XGB', XGBClassifier()) 
  30.         ] 
  31.     results = [] 
  32.     names = [] 
  33.     scoring = ['accuracy''precision_weighted''recall_weighted''f1_weighted''roc_auc'
  34.     target_names = ['malignant''benign'
  35.     for name, model in models: 
  36.         kfold = model_selection.KFold(n_splits=5, shuffle=True, random_state=90210) 
  37.         cv_results = model_selection.cross_validate(model, X_train, y_train, cv=kfold, scoring=scoring) 
  38.         clf = model.fit(X_train, y_train) 
  39.         y_pred = clf.predict(X_test) 
  40.         print(name
  41.         print(classification_report(y_test, y_pred, target_names=target_names)) 
  42.         results.append(cv_results) 
  43.         names.append(name
  44.         this_df = pd.DataFrame(cv_results) 
  45.         this_df['model'] = name 
  46.         dfs.append(this_df) 
  47.     final = pd.concat(dfs, ignore_index=True
  48.     return final 
  49. final=run_exps(X_train,y_train, X_test,  y_test ) 
  50. final 

在上面的Python代码中有很多东西需要解释。首先,我们创建一个变量dfs,该变量用来保存通过对训练集上应用5-fold交叉验证创建的数据集。

接下来,models保存在元组列表中,其中包含要测试的每个分类器的名称和类。在此之后,我们循环遍历这个列表并运行5-fold交叉验证。每次运行的结果都记录在我们附加到dfs列表的pandas dataframe中。必须注意,这里指标是两个类的加权平均指标。

测试集上的分类报告如下:

快速比较多种机器学习模型实例

评估结果

我们将分析从run_exps()脚本返回的final(dataframe)中的数据。

为了更好地估计每个模型的指标分布,我在30个样本上运行了empirical bootstrapping。此外,我将关注两个指标:性能指标和拟合时间指标。下面的Python代码块实现了这一点。

  1. bootstraps = [] 
  2. for model in list(set(final.model.values)): 
  3.     model_df = final.loc[final.model == model] 
  4.     bootstrap = model_df.sample(n=30, replace=True
  5.     bootstraps.append(bootstrap) 
  6.          
  7. bootstrap_df = pd.concat(bootstraps, ignore_index=True
  8. results_long = pd.melt(bootstrap_df,id_vars=['model'],var_name='metrics', value_name='values'
  9. time_metrics = ['fit_time','score_time'] # fit time metrics 
  10. ## PERFORMANCE METRICS 
  11. results_long_nofit = results_long.loc[~results_long['metrics'].isin(time_metrics)] # get df without fit data 
  12. results_long_nofit = results_long_nofit.sort_values(by='values'
  13. ## TIME METRICS 
  14. results_long_fit = results_long.loc[results_long['metrics'].isin(time_metrics)] # df with fit data 
  15. results_long_fit = results_long_fit.sort_values(by='values'

首先,让我们绘制来自5-fold交叉验证的性能指标。

  1. import matplotlib.pyplot as plt 
  2. import seaborn as sns 
  3. plt.figure(figsize=(20, 12)) 
  4. sns.set(font_scale=2.5) 
  5. g = sns.boxplot(x="model", y="values", hue="metrics", data=results_long_nofit, palette="Set3"
  6. plt.legend(bbox_to_anchor=(1.05, 1), loc=2, borderaxespad=0.) 
  7. plt.title('Comparison of Model by Classification Metric'
  8. #plt.savefig('./benchmark_models_performance.png',dpi=300) 
  9. plt.show() 
快速比较多种机器学习模型实例

很明显,支持向量机在所有指标上对我们的数据的拟合度都很差,而集成决策树模型(Random Forest和XGBoost)对数据的拟合非常好。

训练时间怎么样呢?

  1. plt.figure(figsize=(20, 12)) 
  2. sns.set(font_scale=2.5) 
  3. g = sns.boxplot(x="model", y="values", hue="metrics", data=results_long_fit, palette="Set3"
  4. plt.legend(bbox_to_anchor=(1.05, 1), loc=2, borderaxespad=0.) 
  5. plt.title('Comparison of Model by Fit and Score Time'
  6. plt.show() 
快速比较多种机器学习模型实例

随机森林虽然相对于KNN、GNB和LogReg来说比较慢,但其性能仅次于KNN。如果我继续细化模型,我可能会将大部分精力集中在随机森林上,因为它的性能几乎与XGBoost相同(它们的95%置信区间可能重叠),但训练速度几乎快了4倍!

如果您希望对这些模型进行更多的分析(例如,计算每个度量标准的置信区间),您将需要访问每个度量标准的均值和标准差。

  1. metrics = list(set(results_long_nofit.metrics.values)) 
  2. bootstrap_df.groupby(['model'])[metrics].agg([np.std, np.mean]) 
快速比较多种机器学习模型实例
  1. time_metrics = list(set(results_long_fit.metrics.values)) 
  2. bootstrap_df.groupby(['model'])[time_metrics].agg([np.std, np.mean]) 
快速比较多种机器学习模型实例

结论

上述分析只考虑了平均精度、召回率等。在实际问题中,您不太可能关心类之间的平均精度,相反,您可能会特别关注某个类的精度!此外,必须调整每个机器学习模型的超参数,以真正评估它们与数据的拟合程度。

机器学习 技术 架构
上一篇:AI聊天机器人如何缓解冠状病毒带来的人员配备问题 下一篇:大数据是否将我们拖到另一个AI冬天?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

可再生能源与机器学习“双重加持”,谷歌成功实现风力预测

从传统角度看,电力电场的发电能力普遍较弱,因为我们至今很难预测无形无相的风,会在新一天中表现出怎样的活动趋势。

佚名 ·  13h前
明确解释:机器学习与统计建模有何不同

这篇文章提出了一个非常重要的区别,我们应该将其理解为数据科学领域的活跃部分。 上面的维恩图最初是由SAS Institute发布的,但是它们的图显示统计和机器学习之间没有重叠,据我所知,这是一个疏忽。

闻数起舞 ·  19h前
人工智能在半导体市场的发展潜力及其意义

IHSMarkit在本周发布的一项人工智能应用调查中预测,到2025年,人工智能应用将从2019年的428亿美元激增至1289亿美元。

佚名 ·  22h前
沙发变身遥控器,涂鸦里藏PCB,MIT技术宅的智能家居竟然是这样

把墙壁、沙发、柱子或者家中任何东西,埋进电路和传感器,整个房子也就被改造成了大型PCB电路板,每一条线路、每一个节点、每一个控制装置,都嵌入到房间自身的装修中,像个变色龙一样,你再也看不到突兀的开关了。

鱼羊 郭一璞 ·  23h前
马云:机器不可能取代人类!那会取代什么呢?

在上海纽约大学2020届毕业生典礼上,阿里巴巴创始人马云表示,“机器是不可能取代人类的”。那什么会被取代呢?

月初 ·  23h前
不用任何数学方法,如何计算圆面积

借鉴统计学习和机器学习的核心原理,我们可以使用蒙特卡罗模拟和多项式/二次回归来创建基于计算的方法,以找到圆的面积公式。

机器之心 ·  1天前
2020年十大人工智能趋势

人工智能在工作场所中崛起以支持和维持数字化劳动力的趋势是2020年的明显趋势。人工智能,机器学习,神经网络或其他任何花哨的术语行业都应运而生,它被定义为复杂的计算机技术,被广泛用于理解和改善业务和客户体验。

闻数起舞 ·  1天前
机器学习变革物流运输和交通出行

云和机器学习的融合催生了自动驾驶技术尤其是人们出行方式的广泛创新,正在改变整个行业的游戏规则。根据普华永道(PWC)的数据,68%的物流运输企业负责人认为,未来5年,提供物流运输服务的核心技术的改变将颠覆整个行业。

AWS大中华区云服务产品管理总经理顾凡 ·  3天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载