半天2k赞火爆推特,李飞飞高徒发布33条神经网络训练秘技

作者: 栗子 晓查 2019-04-28 09:17:20

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

同学,现在有一份33条神经网络训练秘笈,摆在你面前。

AI大佬Andrej Karpathy (简称AK) ,刚刚发布了一篇长长长长博客,苦口婆心地列举了33条技巧和注意事项,全面避免大家踩坑,推特已有2,300多赞。

AK在斯坦福读博的时候,是飞飞实验室的成员,毕业去了OpenAI,然后又成了特斯拉的AI负责人,直到如今。

他的博客虽然一年一更,但一字一句皆是皆是多年心血凝结而成,每次更新必有重大回响。

有生之年,我们把内文翻译如下:

训练模型的“处方”

总的来说,Andrej Karpathy的技巧就是:不要心急 (文章结尾会道出原因) ,从简单到复杂逐步完善你的神经网络。

1、先别着急写代码

训练神经网络前,别管代码,先从预处理数据集开始。我们先花几个小时的时间,了解数据的分布并找出其中的规律。

Andrej有一次在整理数据时发现了重复的样本,还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。

由于神经网络实际上是数据集的压缩版本,因此您将能够查看网络(错误)预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致,那么就会有所收获。

一旦从数据中发现规律,可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值,而异常值总能揭示数据的质量或预处理中的一些错误。

2、设置端到端的训练评估框架

处理完数据集,接下来就能开始训练模型了吗?并不能!下一步是建立一个完整的训练+评估框架。

在这个阶段,我们选择一个简单又不至于搞砸的模型,比如线性分类器、CNN,可视化损失。获得准确度等衡量模型的标准,用模型进行预测。

这个阶段的技巧有:

· 固定随机种子

使用固定的随机种子,来保证运行代码两次都获得相同的结果,消除差异因素。

· 简单化

在此阶段不要有任何幻想,不要扩增数据。扩增数据后面会用到,但是在这里不要使用,现在引入只会导致错误。

· 在评估中添加有效数字

在绘制测试集损失时,对整个测试集进行评估,不要只绘制批次测试损失图像,然后用Tensorboard对它们进行平滑处理。

· 在初始阶段验证损失函数

验证函数是否从正确的损失值开始。例如,如果正确初始化最后一层,则应在softmax初始化时测量-log(1/n_classes)。

· 初始化

正确初始化最后一层的权重。如果回归一些平均值为50的值,则将最终偏差初始化为50。如果有一个比例为1:10的不平衡数据集,请设置对数的偏差,使网络预测概率在初始化时为0.1。正确设置这些可以加速模型的收敛。

· 人类基线

监控除人为可解释和可检查的损失之外的指标。尽可能评估人的准确性并与之进行比较。或者对测试数据进行两次注释,并且对于每个示例,将一个注释视为预测,将第二个注释视为事实。

· 设置一个独立于输入的基线

最简单的方法是将所有输入设置为零,看看模型是否学会从输入中提取任何信息。

· 过拟合一个batch

增加了模型的容量并验证我们可以达到的最低损失。

· 验证减少训练损失

尝试稍微增加数据容量。

· 在训练模型前进行数据可视化

将原始张量的数据和标签可视化,可以节省了调试次数,并揭示了数据预处理和数据扩增中的问题。

· 可视化预测动态

在训练过程中对固定测试批次上的模型预测进行可视化。

· 使用反向传播来获得依赖关系

一个方法是将第i个样本的损失设置为1.0,运行反向传播一直到输入,并确保仅在第i个样本上有非零的梯度。

· 概括一个特例:对正在做的事情编写一个非常具体的函数,让它运行,然后在以后过程中确保能得到相同的结果。

3、过拟合

首先我们得有一个足够大的模型,它可以过拟合,减少训练集上的损失,然后适当地调整它,放弃一些训练集损失,改善在验证集上的损失)。

这一阶段的技巧有:

· 挑选模型

为了获得较好的训练损失,我们需要为数据选择合适的架构。不要总想着一步到位。如果要做图像分类,只需复制粘贴ResNet-50,我们可以在稍后的过程中做一些自定义的事。

· Adam方法是安全的

在设定基线的早期阶段,使用学习率为3e-4的Adam 。根据经验,亚当对超参数更加宽容,包括不良的学习率。

· 一次只复杂化一个

如果多个信号输入分类器,建议逐个输入,然后增加复杂性,确保预期的性能逐步提升,而不要一股脑儿全放进去。比如,尝试先插入较小的图像,然后再将它们放大。

· 不要相信学习率衰减默认值

如果不小心,代码可能会过早地将学习率减少到零,导致模型无法收敛。我们完全禁用学习率衰减避免这种状况的发生。

4、正则化

理想的话,我们现在有一个大模型,在训练集上拟合好了。

现在,该正则化了。舍弃一点训练集上的准确率,可以换取验证集上的准确率。

这里有一些技巧:

· 获取更多数据

至今大家最偏爱的正则化方法,就是添加一些真实训练数据。

不要在一个小数据集花太大功夫,试图搞出大事情来。有精力去多收集点数据,这是唯一一个确保性能单调提升的方法。

· 数据扩增

把数据集做大,除了继续收集数据之外,就是扩增了。旋转,翻转,拉伸,做扩增的时候可以野性一点。

· 有创意的扩增

还有什么办法扩增数据集?比如域随机化 (Domain Randomization) ,模拟 (Simulation) ,巧妙的混合 (Hybrids) ,比如把数据插进场景里去。甚至可以用上GAN。

· 预训练

当然,就算你手握充足的数据,直接用预训练模型也没坏处。

· 跟监督学习死磕

不要对无监督预训练太过兴奋了。至少在视觉领域,无监督到现在也没有非常强大的成果。虽然,NLP领域有了BERT,有了会讲故事的GPT-2,但我们看到的效果很大程度上还是经过了人工挑选。

· 输入低维一点

把那些可能包含虚假信号的特征去掉,因为这些东西很可能造成过拟合,尤其是数据集不大的时候。

同理,如果低层细节不是那么重要的话,就输入小一点的图片,捕捉高层信息就好了。

· 模型小一点

许多情况下,都可以给网络加上领域知识限制 (Domain Knowledge Constraints) ,来把模型变小。

比如,以前很流行在ImageNet的骨架上放全连接层,但现在这种操作已经被平均池化取代了,大大减少了参数。

·减小批尺寸

对批量归一化 (Batch Normalization) 这项操作来说,小批量可能带来更好的正则化效果 (Regularization) 。

· Dropout

给卷积网络用dropout2d。不过使用需谨慎,因为这种操作似乎跟批量归一化不太合得来。

· 权重衰减

增加权重衰减 (Weight Decay) 的惩罚力度。

· 早停法

不用一直一直训练,可以观察验证集的损失,在快要过拟合的时候,及时喊停。

· 也试试大点的模型

注意,这条紧接上条 (且仅接上条) 。

我发现,大模型很容易过拟合,几乎是必然,但早停的话,模型可以表现很好。

最后的最后,如果想要更加确信,自己训练出的网络,是个不错的分类器,就把第一层的权重可视化一下,看看边缘 (Edges) 美不美。

如果第一层的过滤器看起来像噪音,就需要再搞一搞了。同理,激活 (Activations) 有时候也会看出瑕疵来,那样就要研究一下哪里出了问题。

5、调参

读到这里,你的AI应该已经开始探索广阔天地了。这里,有几件事需要注意。

· 随机网格搜索

在同时调整多个超参数的情况下,网格搜索听起来是很诱人,可以把各种设定都包含进来。

但是要记住,随机搜索才是最好的。

直觉上说,这是因为网络通常对其中一些参数比较敏感,对其他参数不那么敏感。

如果参数a是有用的,参数b起不了什么作用,就应该对a取样更彻底一些,不要只在几个固定点上多次取样。

· 超参数优化

世界上,有许多许多靓丽的贝叶斯超参数优化工具箱,很多小伙伴也给了这些工具好评。

但我个人的经验是,State-of-the-Art都是用实习生做出来的 (误) 。

6、还能怎么压榨**

当你已经找到了好用的架构和好用的超参数,还是有一些技巧,可以在帮你现有模型上获得更好的结果,榨干最后一丝潜能:

· 模型合体

把几个模型结合在一起,至少可以保证提升2%的准确度,不管是什么任务。

如果,你买不起太多的算力,就用蒸馏 (Distill) 把模型们集合成一个神经网络。

· 放那让它训练吧

通常,人类一看到损失趋于平稳,就停止训练了。

但我感觉,还是训练得昏天黑地,不知道多久了,比较好。

有一次,我意外把一个模型留在那训练了一整个寒假。

我回来的时候,它就成了State-of-the-Art。

One More Thing

无独有偶,前两天有只“阵亡的程序猿”说:

AWS的钱,不是花在你用了多少,而是花在你忘了关电脑。

同学,如果你也曾经有这样的经历,那么恭喜,你也有训练出State-of-the-Art的潜力。

原文链接:

https://karpathy.github.io/2019/04/25/recipe/

AI 数据 机器学习
上一篇:金融科技公司如何运用 AI 进行风控 下一篇:人工智能使会议更有创意的五种方式
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器学习转化为生产力,警惕这4个常见陷阱!

几乎每个人都想在他们的业务中引入机器学习,但是这些人也遇到了一个大问题:让模型可持续发展十分困难,尤其是在云架构的基础上。medium上一位博主也指出了这个问题,并提出了将机器学习模型投入生产的4个常见陷阱。

大数据文摘 ·  18h前
500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种的翻译一直是一大难题。来自谷歌的研究者提出了一种能够翻译 103 种语言的大规模多语言神经机器翻译模型,在数据丰富和匮乏的语种翻译中都实现了显著的性能提升。

机器之心 ·  1天前
对于人工智能的恐惧及其5个解决方法

实施人工智能技术的IT领导人可能会感到一些恐惧,这有着充分的理由。人工智能在拥有数十年发展和应用历史的同时却有着奇怪的定位,但对于许多人来说,人工智能仍然是一种未来主义的感觉。

Kevin Casey ·  1天前
机器学习免费跑分神器:集成各大数据集,连接GitHub就能用

搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。现在,Papers with Code (那个以论文搜代码的神器) 团队,推出了自动跑分服务,名叫sotabench,以跑遍所有开源模型为己任。

栗子 鱼羊 ·  1天前
用AI实现动画角色的姿势迁移,Adobe等提出新型「木偶动画」

近日,Adobe 和康奈尔大学的研究人员提出一种基于学习的动画制作方法——基于卡通角色的少量图像样本就可生成新动画。

机器之心 ·  1天前
AI新贵登上胡润百富榜:“CV四小龙”三家创始人上榜

AI造福人类,也造富了一些创业者。最近公布的2019胡润百富榜就是窥探老板们身价的好机会。

郭一璞 ·  2天前
大数据为什么不够聪明?机器要如何走向强人工智能

大数据为什么不够聪明?比概率语言更强大的思考工具是什么?科幻电影中的强人工智能到底怎样实现?如何让智能机器像人一样思考?搞清楚因果关系才能拨云见日。

明日情报 ·  2天前
2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

大数据文摘 ·  2天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载