5分钟教你玩转 sklearn 机器学习(上)
这是一篇很难写的文章,因为我希望这篇文章能对大家有所帮助。我不会给大家介绍机器学习,数据挖掘的行业背景,也不会具体介绍逻辑回归,SVM,GBDT,神经网络等学习算法的理论依据和数学推导,本文更多的是在流程化上帮助大家快速的入门机器学习和数据建模。
本文主要分为四个部分(限于时间关系会分为上下两篇):
上篇:
- 准备篇,主要涉及环境搭建以及pandas基本知识。
- 应用篇,我会以kaggle上的Titanic为例,从数据源获取,数据清洗,特征处理,模型选择,模型输出与运用。
下篇:
- 优化篇,介绍了几种优化的方法。
- 思考篇,提出几个困扰我的问题,希望能得到大家的帮助吧。
一 准备篇
1环境搭建
整个sklearn的实验环境是:python 2.7 + pycharm + Anaconda。
2 pandas基础
这里只能大家介绍下面会用到的pandas知识,有兴趣的可以去具体的学习。给大家推荐一本参考书:《Python for Data Analysis》。有基础的可以直接跳到应用篇。
pandas主要会用到Series 和DataFrame两种数据结构。Series像是一维的数组,而DataFrame更像是一种二维的表结构。
Series的构造方法:
- label=[1,0,1,0,1]
- data = pd.Series(data=label,index=['a','b','c','d','e'],dtype=int,name="label")
- print data
Series取数据,通过index取数
- data['a']
- data[['a','b']]
DataFrame的构造
(1)以字典的形式构造
- frame = pd.DataFrame({'name':['Time','Jack','Lily'],'Age':[20,30,12],"weight":[56.7,64.0,50.0]})
(2)由DataFrame 构建DataFrame
- frame1 = pd.DataFrame(frame,columns=["name","Age"])
从frame中读取了两列构成新的DataFrame。
DataFrame的操作
1 增加列
- frame1["friends_num"]=[10,12,14]
2 删除列
- frame2 = frame1.drop(["name","Age"],axis=1)
3 查找数据行
- frame1[frame1["friends_num"]>10]
结果如下:
DataFrame的统计方法
1 apply 配合lambda 处理列,如将frame1的Age列进行分段。
- frame1["Age_group"] = frame1["Age"].apply(lambda x: 0 if x < 20 else 1)
2 describe输出统计信息,非常强大
- frame1.describe()
给出了8个统计量,对我们的数据处理特别有用。有个问题,直接使用describe方法只能统计数值类的列,对于字符类的变量没有统计。加个参数就行。
- frame1.describe(include=['O'])
3 缺失值处理
- #以0填充缺失值
- frame1.fillna(0)
- #丢掉任何包含NAN的行
- frame1.dropna()
- #删除全为nan的行
- frame1.dropna(how="all")
二 应用篇
1 数据读取
本例以Titanic作为数据源。大家可以在附件获取到数据。
- data = pd.DataFrame(pd.read_csv(train_path))
- data_test = pd.DataFrame(pd.read_csv(test_path))
- data_test = data_test[["Pclass","Name","Sex","Age","SibSp","Parch","Ticket","Fare","Cabin","Embarked"]]
- x = data[["Pclass","Name","Sex","Age","SibSp","Parch","Ticket","Fare","Cabin","Embarked"]]
- y = data[["Survived"]]
- print x.describe()
- print x.describe(include=['O'])
- print data_test.describe()
- print data_test.describe(include=['O'])
数据的初始统计信息:
2 数据清洗
1 缺失值处理。
Age和Embarked列存在少量缺失值,分别处理。
- #用众数填充缺失值
- data_set["Embarked"]=data_set["Embarked"].fillna('S')
- #用均值填充Age缺失值
- data_set["Age"]=data_set["Age"].fillna(data_set["Age"].mean())
2 删除缺失率较大的列(初步处理时)
Cabin列的缺失率达到了75%,删除改列。
- data_set = data_set.drop([ "Cabin"], axis=1)
3 特征处理
特征处理是基于具体的数据的,所以在特征处理之前要对数据做充分的理解。特征处理没有固定方法之说,主要靠个人的经验与观察,通过不断的尝试和变换,以期望挖掘出较好的特征变量。所以说,特征处理是模型建立过程中最耗时和耗神的工作。
1)单变量特征提取。
- #根据name的长度,抽象出name_len特征
- data_set["name_len"] = data_set["Name"].apply(len)
观察name列
通过观察Name列数据,可以发现名字中带有性别和婚否的称谓信息。提取这些信息(可能是有用的特征)。
- data_set["name_class"] = data_set["Name"].apply(lambda x : x.split(",")[1]).apply(lambda x :x.split()[0])
2)多变量的组合
sibsp 代表兄弟姐妹和配偶的数量
parch 代表父母和子女的数量
因此可以将sibsp和parch结合获得家庭成员的数量
- data_set["family_num"] = data_set["Parch"] + data_set["SibSp"] +1
3)名义变量转数值变量
- #Embarked
- data_set["Embarked"]=data_set["Embarked"].map({'S':1,'C':2,'Q':3}).astype(int)
- #Sex
- data_set["Sex"] = data_set["Sex"].apply(lambda x : 0 if x=='male' else 1)
4)数据分段
根据统计信息和经验分段
- #[7.91,14.45,31.0]根据Fare的统计信息进行分段
- data_set["Fare"] = data_set["Fare"].apply(lambda x:cutFeature([7.91,14.45,31.0],x))
- #[18,48,64]按照经验分段
- data_set["Age"] = data_set["Age"].apply(lambda x:cutFeature([18,48,64],x))
简单的数据处理后,我们得到了如下12维数据:
4 模型选择与测试
初步选取了5种模型进行试验
RandomForestClassifier
ExtraTreesClassifier
AdaBoostClassifier
GradientBoostingClassifier
SVC
模型参数:
- #随机森林
- rf_params = {
- 'n_jobs': -1,
- 'n_estimators': 500,
- 'warm_start': True,
- # 'max_features': 0.2,
- 'max_depth': 6,
- 'min_samples_leaf': 2,
- 'max_features': 'sqrt',
- 'verbose': 0
- }
- # Extra Trees 随机森林
- et_params = {
- 'n_jobs': -1,
- 'n_estimators': 500,
- # 'max_features': 0.5,
- 'max_depth': 8,
- 'min_samples_leaf': 2,
- 'verbose': 0
- }
- # AdaBoost
- ada_params = {
- 'n_estimators': 500,
- 'learning_rate': 0.75
- }
- # GBDT
- gb_params = {
- 'n_estimators': 500,
- # 'max_features': 0.2,
- 'max_depth': 5,
- 'min_samples_leaf': 2,
- 'verbose': 0
- }
- # SVC
- svc_params = {
- 'kernel': 'linear',
- 'C': 0.025
- }
模型选择代码:
- classifiers = [
- ("rf_model", RandomForestClassifier(**rf_params)),
- ("et_model", ExtraTreesClassifier(**et_params)),
- ("ada_model", AdaBoostClassifier(**ada_params)),
- ("gb_model", GradientBoostingClassifier(**gb_params)),
- ("svc_model", SVC(**svc_params)),
- ]
- heldout = [0.95, 0.90, 0.75, 0.50, 0.01]
- rounds = 20
- xx = 1. - np.array(heldout)
- for name, clf in classifiers:
- print("training %s" % name)
- rng = np.random.RandomState(42)
- yy = []
- for i in heldout:
- yy_ = []
- for r in range(rounds):
- X_train_turn, X_test_turn, y_train_turn, y_test_turn = \
- train_test_split(x_train, labels_train, test_size=i, random_state=rng)
- clf.fit(X_train_turn, y_train_turn)
- y_pred = clf.predict(X_test_turn)
- yy_.append(1 - np.mean(y_pred == y_test_turn))
- yy.append(np.mean(yy_))
- plt.plot(xx, yy, label=name)
- plt.legend(loc="upper right")
- plt.xlabel("Proportion train")
- plt.ylabel("Test Error Rate")
- plt.show()
选择结果如下:
从上图可以看出,randomForest的一般表现要优于其他算法。初步选择randomforest算法。
模型的在训练集上的表现:
- def modelScore(x_train,labels_train,x_test,y_test,model_name,et_params):
- print("--------%s------------")%(model_name)
- model = model_name(**et_params)
- model.fit(x_train, labels_train)
- if "feature_importances_" in dir(model):
- print model.feature_importances_
- print classification_report(
- labels_train,
- model.predict(x_train))
- print classification_report(
- y_test,
- model.predict(x_test))
- return model
- modelScore(x_train, labels_train, x_test, y_test, RandomForestClassifier, rf_params)
训练集的混淆矩阵如下图:
测试集的混淆矩阵如下图:
到此,初步的学习模型就建立起来了,测试集的准确度为83%。由于时间关系,优化篇和思考篇将放在下篇文章与大家分享,敬请期待。
原文链接:https://cloud.tencent.com/community/article/229506
作者:赵成龙
【本文是51CTO专栏作者“腾讯云技术社区”的原创稿件,转载请通过51CTO联系原作者获取授权】


更多资讯推荐
- 基于机器学习的自动漏洞修复分析方法
-
。在本文中,我们提出了一个基于机器学习的自动化框架来自动化电力公司的修复决策分析。我们将其应用于一家电力公司,并对从该公司获得的两个真实运行数据集进行了大量实验。结果表明,该解决方案具有很高的有效性。
佚名 · 20h前
- 解锁人工智能、机器学习和深度学习
-
深度学习是机器学习的子集,而机器学习又是人工智能的子集,但是这些名称的起源来自一个有趣的历史。此外,还有一些引人入胜的技术特征,可将深度学习与其他类型的机器学习区分开来……对于技能水平较高的ML、DL或AI的任何人来说,这都是必不可少的工作知识。
佚名 · 21h前
- 你只需要这三个机器学习工具
-
在这件作品中,我们将讨论唯一需要的3个机器学习工具,使您的团队在产品中应用机器学习方面取得成功。
闻数起舞 · 21h前
- 开发板能这么用?美国学者用Jetson Nano支持假肢,控制每一根手指
-
在一篇新论文中,来自明尼苏达大学等机构的研究者提出了一种基于嵌入式深度学习控制的神经假肢实现。
佚名 · 3天前
- 机器学习如何影响系统设计:Learned Index Structures浅析
-
本文简要介绍了Learned Index Structures的实现和优缺点,希望可以给大家带来一些系统设计的启发和思路。
作者Victor · 3天前
- 吴恩达的二八定律:80%的数据+20%的模型=更好的机器学习
-
一个机器学习团队80%的工作应该放在数据准备上,确保数据质量是最重要的工作,每个人都知道应该如此做,但没人在乎。
新智元 · 3天前
- 机器学习在铁路缺陷检测中的实际应用
-
本文介绍了在铁轨的超声波检测过程中有效使用机器学习技术自动检测缺陷的经验,并提出了一种使用数学建模为神经网络创建训练数据集的有效方法,为实际缺陷图的识别提供了更高精度的指标。文中训练神经网络运算的原型实例,其实际缺陷图的预测精度高达92%。
李睿 · 3天前
- 人工智能进军“古玩鉴定”,人类职业再遭冲击?
-
近两年,人工智能的风头虽然偶被5G、自动驾驶等所盖过,但其发展和热度并未因此受到影响。
林中易木 · 4天前