机器学习难在哪

作者: S. Zayd Enam 2017-04-07 09:32:20

机器学习已经被广泛应用,教程、文章、开源代码到处都是,有些时候只需要你对机器学习算法稍有了解就可以在实际中很好的应用。

但是机器学习还是非常难:

  • 推动机器学习研究进步的科学本身很困难,需要创新、实验和坚持;
  • 把已知的机器学习模型应用到实际工作中也是一件困难的事情;
  • 市场上的机器学习工程师比普通的软件工程师也要昂贵一些。

困难并不是来自于数学,因为机器学习的相关实现并不要求很高的数学基础。困难来自于:

1.选择什么样的机器学习工具

这要求对每个算法和模型的优劣势都了如指掌,这个技能可以通过学过这些模型(课程、教程、Paper等)来获得。当然这类知识构建的困难是计算机所有领域都存在的,不仅仅是机器学习。

2.机器学习很难调试

这种困难表现在两方面:

1)算法不work;

2)算法work,但并未足够好。

机器学习独有的特征是:查找上面问题的原因是“指数”难度的。通常,机器学习算法的Debug都需要很长的时间,很多bug用小数据量很难重现,而且往往在迭代的后期才能出现。很少有算法可以一次成功,所以更多的时间花在调模型上。

指数级困难的调试

在标准的软件工程范畴中,当一个解决方案不如期望时,通常考虑两个方面的出错:算法和实现。

用以下简单的递归算法为例:

  1. def recursion(input): 
  2.   if input is endCase: 
  3.     return transform(input) 
  4.   else
  5.     return recursion(transform(input)) 

当算法不如预期好时,我们可以枚举所有失败的case,这个例子中的网格搜索(Grid Search)如下图所示:

横轴是一些算法设计可能出问题的case,纵轴是算法实现上可能出问题的case。接下来的debug过程就是组合你对这个bug收集到的信号,比如编译器错误、程序输出以及你的直观认识等。这些信号和先验知识帮助在上图上进行剪枝。

在机器学习范畴中,还有额外两个维度:真正适用的模型、数据。为了图示这两个维度,使用随机梯度下降(Stochastic Gradient Descent,SGD)训练逻辑回归(Logistic Regression,LR)是最简单的例子:

  1. 算法的正确性包括梯度下降更新等式;
  2. 实现的正确性包括特征和参数更新的正确计算;
  3. 数据中的bug包括噪声标注,预处理中的错误,没有选对特征,或者没有足够的数据。
  4. 模型中的bug可能是模型的描述能力不足,例如你选择了线性分类器来处理非线性问题。

我们的Debug过程从二维网格扩展到了四维超立方体(上图为了清晰,只画了其中三维),第四维数据维可以可视化为下面的立体序列(注:一个正确的解答只有一个立方体)。

指数级难度的说法是指在2D空间,可能的错误方式数量是,而在4D空间,则为。因此根据手头已有信息分析哪里出错的直觉成为机器学习基本功。幸运的是,机器学习算法有更多的信息可供使用,例如:训练集合和测试集合上的Loss分析,应用数据上的真实输出,算法中间输出的统计分析。

延迟的Debug周期

机器学习Debug难的第二个因素是Debug周期很长。通常需要花费几十个小时甚至几十天来实现一个潜在的bug fix以及通过实际的输出判断是否成功。自动更新在机器学习领域往往不太现实,因为在训练集上跑一次的时间很长,Deep Learning模型尤其如此。Debug周期太长使得机器学习不得不采用并行模式,从而需要接触软件开发者并不熟悉的指令并行之类。

机器学习***目标往往落在建立直觉上,这种直觉是说根据现有信息能很快判断哪里出了问题,有什么办法可以改进等。这是你不断参与机器学习项目实践积累的最关键技术:你开始将一些信息与Debug空间中的疑似问题建立关联。

在原作的工作中,有很多这样的例子,例如,训练神经网络时碰到的早期问题周期性地反映在Loss函数中,Loss本来应该下降,但每次都跳回到一个更高的值,经过反复实验,最终学到这是因为数据集没有很好随机化,当你使用小batch SGD时这是个问题。

总之,快速有效Debug是现代机器学习中的必备技能。

机器学习 调试 算法
上一篇:有望取代Spark的实时机器学习框架Ray 下一篇:机器学习的本质就是数理统计?答案可能没这么简单
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

基于机器学习的自动漏洞修复分析方法

。在本文中,我们提出了一个基于机器学习的自动化框架来自动化电力公司的修复决策分析。我们将其应用于一家电力公司,并对从该公司获得的两个真实运行数据集进行了大量实验。结果表明,该解决方案具有很高的有效性。

佚名 ·  20h前
解锁人工智能、机器学习和深度学习

深度学习是机器学习的子集,而机器学习又是人工智能的子集,但是这些名称的起源来自一个有趣的历史。此外,还有一些引人入胜的技术特征,可将深度学习与其他类型的机器学习区分开来……对于技能水平较高的ML、DL或AI的任何人来说,这都是必不可少的工作知识。

佚名 ·  21h前
你只需要这三个机器学习工具

在这件作品中,我们将讨论唯一需要的3个机器学习工具,使您的团队在产品中应用机器学习方面取得成功。

闻数起舞 ·  22h前
开发板能这么用?美国学者用Jetson Nano支持假肢,控制每一根手指

在一篇新论文中,来自明尼苏达大学等机构的研究者提出了一种基于嵌入式深度学习控制的神经假肢实现。

佚名 ·  3天前
机器学习如何影响系统设计:Learned Index Structures浅析

本文简要介绍了Learned Index Structures的实现和优缺点,希望可以给大家带来一些系统设计的启发和思路。

作者Victor ·  3天前
吴恩达的二八定律:80%的数据+20%的模型=更好的机器学习

一个机器学习团队80%的工作应该放在数据准备上,确保数据质量是最重要的工作,每个人都知道应该如此做,但没人在乎。

新智元 ·  3天前
机器学习在铁路缺陷检测中的实际应用

本文介绍了在铁轨的超声波检测过程中有效使用机器学习技术自动检测缺陷的经验,并提出了一种使用数学建模为神经网络创建训练数据集的有效方法,为实际缺陷图的识别提供了更高精度的指标。文中训练神经网络运算的原型实例,其实际缺陷图的预测精度高达92%。

李睿 ·  3天前
人工智能进军“古玩鉴定”,人类职业再遭冲击?

近两年,人工智能的风头虽然偶被5G、自动驾驶等所盖过,但其发展和热度并未因此受到影响。

林中易木 ·  4天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载