处理机器学习中不平衡类的5种策略

作者: 不靠谱的猫 2019-03-27 08:51:38

类失衡:假设您有一个罕见的疾病机器学习数据集,即大约8%的阳性。在这种情况下,即使你不训练,只是简单地说没有生病,这也会给出92%的准确率。因此,在类不平衡的情况下,准确性是不准确的。

在本指南中,我们介绍了处理机器学习中不平衡类的5种策略:

  • 对少数类进行上采样
  • 对多数类进行下采样
  • 更改性能指标
  • 惩罚算法
  • 使用基于树的算法

1. 上采样少数类:指随机复制少数类的观察结果,使样本数量与多数类匹配。

首先,我们将每个类的观察结果分成不同的DataFrame。

接下来,我们将使用替换重取样少数类,设置样本数以匹配多数类的样本数。

***,我们将上采样的少数类DataFrame与原始的多数类DataFrame相结合。

处理机器学习中不平衡类的5种策略

创建合成样本(数据增强)

创建合成样本是上采样的近亲,有些人可能会将它们归类在一起。例如,SMOTE算法是一种从少数类中重新采样的方法,同时稍微调整特征值,从而创建“新的”样本。

2. 下采样多数类:下采样涉及从多数类中随机移除观测值,以防止其信号支配学习算法。

首先,我们将每个类的观察结果分成不同的DataFrame。

接下来,我们将重采样多数类而不进行替换,将样本数设置为与少数类相匹配。

***,我们将下采样的多数类DataFrame与原始的少数类DataFrame结合起来。

处理机器学习中不平衡类的5种策略

3. 更改性能指标:AUROC(ROC曲线下面积)

假设我们有一个概率的二元分类器,如逻辑回归。

在呈现ROC曲线之前,必须理解混淆矩阵的概念。当我们进行二元预测时,可以有4种类型的结果:

  • 我们预测0而真正的类实际上是0:这被称为真阴性,即我们正确地预测该类是负的(0)。例如,防病毒软件未将无害文件检测为病毒。
  • 我们预测0而真正的类实际上是1:这被称为假阴性,即我们错误地预测该类是负的(0)。例如,防病毒软件无法检测到病毒。
  • 我们预测1而真正的类实际上是0:这被称为假阳性,即我们错误地预测该类是正的(1)。例如,防病毒软件认为无害文件是病毒。
  • 我们预测1而真正的类实际上是1:这被称为真阳性,即我们正确地预测该类是正的(1)。例如,防病毒软件正确地检测到了病毒。

为了获得混淆矩阵,我们回顾机器学习项模型所做的所有预测,并计算这4种结果中的每一种发生的次数:

处理机器学习中不平衡类的5种策略

在这个混淆矩阵的例子中,在被分类的50个数据点中,45个被正确分类,5个被错误分类。

由于为了比较不同的模型,通常使用单个度量比使用多个度量更方便,所以我们从混淆矩阵中计算两个度量,然后将其合并为一个:

  • 真阳性率(TPR),又名灵敏度、***率和召回率,定义为+TPTP+ FN。直观地,该度量对应于相对于所有正数据点被正确认为为正的正数据点的比例。换句话说,TPR越高,我们将错过的正数据点越少。
  • 假阳性率(FPR),又名 fall-out,定义为+FPFP+ TN。直观地,该度量对应于相对于所有负数据点被错误地认为是正数的负数据点的比例。换句话说,FPR越高,更多的负数据点将被错误分类。

为了将FPR和TPR合并为一个度量,我们首先计算逻辑回归中具有许多不同阈值的前两个度量(例如0.00、0.01、0.02、……、1.000.00;0.01、0.02、……、1.00),然后将它们绘制在一个图上,横坐标上是FPR值,纵坐标上是TPR值。得到的曲线称为ROC曲线,我们考虑的度量是这条曲线的AUC,我们称之为AUROC。

下图以图形方式显示AUROC:

处理机器学习中不平衡类的5种策略

在该图中,蓝色区域对应于AUROC的曲线下面积。对角线中的虚线表示随机预测器的ROC曲线:它的AUROC为0.5。

AUROC介于0和1之间,AUROC = 1意味着预测模型是***的。事实上,AUROC距离0.5越远越好:如果AUROC <0.5,那么你只需要反转模型所做的决定。因此,如果AUROC = 0,这是个好消息,因为您只需要反转模型的输出以获得***的机器学习模型。

4. 惩罚算法:

下一个策略是使用惩罚学习算法,提高少数类的分类错误的成本。

该技术的流行算法是Penalized-SVM:支持向量机

在训练期间,我们可以使用参数class_weight ='balanced'来惩罚少数群体类的错误,其数量与其代表性不足的数量成正比。

如果我们想为支持向量机算法启用概率估计,还需要包含参数probability=True。

让我们在原始不平衡数据集上使用Penalized-SVM训练模型:

处理机器学习中不平衡类的5种策略

5. 使用基于树的算法

我们将考虑的***策略是使用基于树的算法。决策树通常在不平衡数据集上表现良好,因为它们的层次结构允许它们从两个类中学习信号。

在现代应用机器学习中,树集合(随机森林,梯度提升树等)几乎总是优于单一决策树:

处理机器学习中不平衡类的5种策略

97%的准确率和接近100%的AUROC。

树形组合已经变得非常流行,因为它们在许多现实问题上表现得非常好。

然而:虽然这些结果令人鼓舞,但机器学习模型可能过度拟合,因此在做出最终决策之前,您仍应在测试集上评估机器学习模型。

机器学习 类失衡 算法
上一篇:无论你喜不喜欢,AI云运维迎面而来 下一篇:败而不馁!谷歌重启机器人项目
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

支持机器学习的8个数据仓库

对于规模非常大的数据集来说,理想的情况是在数据已经存在的地方建立模型,这样就不需要导出大量的数据。有一些数据仓库在一定程度上支持这一点。而随之而来的问题是:哪些数据仓库支持机器学习?它们是如何做到的?以下按字母排序对这些数据仓库进行分析和阐述。

李睿 ·  1天前
完善算法技术 规范算法应用(数字时代的文化生活)

算法是人工智能技术与大数据技术的关联节点。在移动互联网上,社交媒介、定位技术、搜索引擎等给用户日常生活提供极大便利的同时,也实时生成和储存着大量相关数据。

佚名 ·  1天前
无需密集人工标签,用于下游密集预测任务的自监督学习方法出炉

来自阿德莱德大学、同济大学、字节跳动的研究者设计了一种简单且有效的密集自监督学习方法,大幅缩小了自监督预训练与密集预测任务之间的鸿沟。

阿德莱德大学、同济大学、字节跳动 ·  2天前
华人力学家黄永刚团队新作:大脑光遗传植入让小老鼠一秒变基友

美国西北大学的工程师和生物学家发布的最新研究:在老鼠的头骨中嵌入神经植入物,通过激活植入物,老鼠会立即开始互动并成为朋友。

佚名 ·  3天前
预计到2023年,机器学习的收入将达到803亿美元

随着机器学习领域的进步和自发增长,AnalyticsInsight预计,到2023年,机器学习的收入将达到803亿美元,2020年的复合年增长率为33.6%。

Cassie ·  3天前
2021年人工智能和机器学习的五大趋势

今天,人工智能和机器学习正在不断改变着我们的世界,2020年的冠状病毒疫情给这两项技术带来了新的机遇和迫切性,预计到2021年将有更大的发展。

开课吧科科 ·  3天前
前馈网络+线性交互层=残差MLP,Facebook纯MLP图像分类架构入场

近日,Facebook 提出了具有数据高效训练、用于图像分类的纯 MLP 架构 ResMLP,当采用现代的训练方法时,该架构在 ImageNet 数据集上实现了相对不错的性能。

佚名 ·  4天前
2021年,哪些新技术和趋势将影响安防视频分析?

在技术方面,人工智能(AI)、机器学习(ML)和云技术将继续对视频分析的未来产生巨大影响。

佚名 ·  4天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载