机器学习难在哪

作者: S. Zayd Enam 2017-04-07 09:32:20

机器学习已经被广泛应用,教程、文章、开源代码到处都是,有些时候只需要你对机器学习算法稍有了解就可以在实际中很好的应用。

但是机器学习还是非常难:

  • 推动机器学习研究进步的科学本身很困难,需要创新、实验和坚持;
  • 把已知的机器学习模型应用到实际工作中也是一件困难的事情;
  • 市场上的机器学习工程师比普通的软件工程师也要昂贵一些。

困难并不是来自于数学,因为机器学习的相关实现并不要求很高的数学基础。困难来自于:

1.选择什么样的机器学习工具

这要求对每个算法和模型的优劣势都了如指掌,这个技能可以通过学过这些模型(课程、教程、Paper等)来获得。当然这类知识构建的困难是计算机所有领域都存在的,不仅仅是机器学习。

2.机器学习很难调试

这种困难表现在两方面:

1)算法不work;

2)算法work,但并未足够好。

机器学习独有的特征是:查找上面问题的原因是“指数”难度的。通常,机器学习算法的Debug都需要很长的时间,很多bug用小数据量很难重现,而且往往在迭代的后期才能出现。很少有算法可以一次成功,所以更多的时间花在调模型上。

指数级困难的调试

在标准的软件工程范畴中,当一个解决方案不如期望时,通常考虑两个方面的出错:算法和实现。

用以下简单的递归算法为例:

  1. def recursion(input): 
  2.   if input is endCase: 
  3.     return transform(input) 
  4.   else
  5.     return recursion(transform(input)) 

当算法不如预期好时,我们可以枚举所有失败的case,这个例子中的网格搜索(Grid Search)如下图所示:

横轴是一些算法设计可能出问题的case,纵轴是算法实现上可能出问题的case。接下来的debug过程就是组合你对这个bug收集到的信号,比如编译器错误、程序输出以及你的直观认识等。这些信号和先验知识帮助在上图上进行剪枝。

在机器学习范畴中,还有额外两个维度:真正适用的模型、数据。为了图示这两个维度,使用随机梯度下降(Stochastic Gradient Descent,SGD)训练逻辑回归(Logistic Regression,LR)是最简单的例子:

  1. 算法的正确性包括梯度下降更新等式;
  2. 实现的正确性包括特征和参数更新的正确计算;
  3. 数据中的bug包括噪声标注,预处理中的错误,没有选对特征,或者没有足够的数据。
  4. 模型中的bug可能是模型的描述能力不足,例如你选择了线性分类器来处理非线性问题。

我们的Debug过程从二维网格扩展到了四维超立方体(上图为了清晰,只画了其中三维),第四维数据维可以可视化为下面的立体序列(注:一个正确的解答只有一个立方体)。

指数级难度的说法是指在2D空间,可能的错误方式数量是,而在4D空间,则为。因此根据手头已有信息分析哪里出错的直觉成为机器学习基本功。幸运的是,机器学习算法有更多的信息可供使用,例如:训练集合和测试集合上的Loss分析,应用数据上的真实输出,算法中间输出的统计分析。

延迟的Debug周期

机器学习Debug难的第二个因素是Debug周期很长。通常需要花费几十个小时甚至几十天来实现一个潜在的bug fix以及通过实际的输出判断是否成功。自动更新在机器学习领域往往不太现实,因为在训练集上跑一次的时间很长,Deep Learning模型尤其如此。Debug周期太长使得机器学习不得不采用并行模式,从而需要接触软件开发者并不熟悉的指令并行之类。

机器学习***目标往往落在建立直觉上,这种直觉是说根据现有信息能很快判断哪里出了问题,有什么办法可以改进等。这是你不断参与机器学习项目实践积累的最关键技术:你开始将一些信息与Debug空间中的疑似问题建立关联。

在原作的工作中,有很多这样的例子,例如,训练神经网络时碰到的早期问题周期性地反映在Loss函数中,Loss本来应该下降,但每次都跳回到一个更高的值,经过反复实验,最终学到这是因为数据集没有很好随机化,当你使用小batch SGD时这是个问题。

总之,快速有效Debug是现代机器学习中的必备技能。

机器学习 调试 算法
上一篇:有望取代Spark的实时机器学习框架Ray 下一篇:机器学习的本质就是数理统计?答案可能没这么简单
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

搭建容易维护难!谷歌机器学习系统血泪教训

希望这篇论文能够为在生产环境中采用机器学习系统的开发者与维护者提供一些实用建议。作者警告称,虽然从零搭建机器学习系统还算轻松,但随后的改进却可能存在出乎意料的困难。

核子可乐 ·  22h前
如何使用Flask轻松部署机器学习模型?

本文旨在让你开始使用Flask API将经过训练的机器学习模型部署到生产环境。

布加迪 ·  23h前
如何使用Flask轻松部署机器学习模型?

本文旨在让你开始使用Flask API将经过训练的机器学习模型部署到生产环境。

布加迪 ·  23h前
指南 | 手把手教你解决90%的NLP问题

利用机器学习方法来理解和利用文本,从最简单的到state-of-the-art,由浅入深,循序渐进。

Emmanuel Ameisen ·  1天前
如何解决机器学习树集成模型的解释性问题

前些天在同行交流群里,有个话题一直在群里热烈地讨论,那就是 如何解释机器学习模型 ,因为在风控领域,一个模型如果不能得到很好的解释一般都不会被通过的,在银行里会特别的常见,所以大多数同行都是会用 LR 来建模。

SAMshare ·  1天前
刷脸取件被小学生“破解”!丰巢紧急下线 精选

近日,#小学生发现刷脸取件bug#的话题引发关注!这是真的吗?都市快报《好奇实验室》进行了验证。

好奇实验室 ·  2019-10-17 10:20:39
4 分钟!OpenAI 的机器手学会单手解魔方了,完全自学无需编程 精选

OpenAI 的机器手学会单手解魔方了,而且还原一个三阶魔方全程只花了 4 分钟,其灵巧程度让人自叹不如。

佚名 ·  2019-10-16 13:52:13
MIT新研究表明机器学习不能标记假新闻

麻省理工学院研究人员发表的两篇新论文显示,当前的机器学习模型还不能完成区分虚假新闻报道的任务。在不同的研究人员表明计算机可以令人信服地生成虚构新闻故事而无需太多人为监督之后,一些专家希望可以训练基于相同机器学习的系统来检测此类新闻。

佚名 ·  2019-10-16 11:52:15
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载