基础深度学习概念备忘录

作者: 张梓雄 2017-03-21 11:02:59

深度学习可能对于很多初学者是一头雾水,在高速发展的同时有很多新的概念名词被抛出,而本文则是对一些常见名词的备忘介绍。

Gradient ∇ (微分算符):梯度

梯度即是某个函数的偏导数,其允许输入多个向量然后输出单个值,某个典型的函数即是神经网络中的损失函数。梯度会显示出随着变量输入的增加输出值增加的方向,换言之,如果我们要降低损失值则反梯度逆向前行即可。

Back Propagation:反向传播

简称为Back prop,即将前向传播输入值计算得出的误差反向传递到输入值中,经常用于微积分中的链式调用。

Sigmoid σ

用于将神经元的输出结果限制在[0,1]范围内的阈值函数,该函数的输出图形看起来有点像S型,在希腊语中就是所谓Sigma。Sigmoid函数是Logistic函数的某个特例。

Rectified Linear Units or ReLU

Sigmoid函数的输出间隔为[0,1],而ReLU的输出范围为[0,infinity],换言之Sigmoid更合适Logistic回归而ReLU更适合于表示正数。深度学习中ReLU并不会受制于所谓的梯度消失问题(Vanishing Gradient Problem)。

Tanh

Tanh函数有助于将你的网络权重控制在[-1,1]之间,而且从上图中可以看出,越靠近0的地方梯度值越大,并且梯度的范围位于[0,1]之间,和Sigmoid函数的范围一致,这一点也能有助于避免梯度偏差。

LSTM/GRU

最早见于Recurrent Neural Networks,不过同样可以用于其他内存单元较少的地方。其主要可以在训练中保持输入的状态,从而避免之前因为RNN丢失输入先验上下文而导致的梯度消失问题。

Softmax

Softmax函数常用于神经网络的末端以添加分类功能,该函数主要是进行多元逻辑斯蒂回归,也就可以用于多元分类问题。通常会使用交叉熵作为其损失函数。

L1 & L2 Regularization

正则化项通过对系数添加惩罚项来避免过拟合,正则化项也能够指明模型复杂度。L1与L2的区别在于L1能够保证模型的稀疏性。引入正则化项能够保证模型的泛化能力并且避免在训练数据中过拟合。

Drop out

Drop out同样可以避免过拟合,并且能以近似指数的时间来合并多个不同的神经网络结构。该方法会随机地在每一层中选择一些显性层与隐层,在我们的实践中通常会由固定比例的层Drop out决定。

Batch Normalization

在深度学习中,如果有太多的层次会导致所谓的Internal Covariate Shift,也就是训练过程中因为网络参数的变化导致网络激活分布的变化。如果我们能减少这种变量迁移,我们能够更快地训练网络。Batch Normalization则通过将每个处理块进行正则化处理来解决这个问题。

Objective Functions

也就是损失函数或者Optimization Score Function,某个深度学习网络的目标即是最小化该函数值从而提升网络的准确度。

F1/F Score

用于衡量某个模型的准确度的标准:

  1. F1 = 2 * (Precision * Recall) / (Precision + Recall)Precision = True Positives / (True Positives + False Positives)Recall = True Positives / (True Positives + False Negatives) 

用于计算预测标签值与真实标签值之间的差距,基本的定义如下:


【本文是51CTO专栏作者“张梓雄 ”的原创文章,如需转载请通过51CTO与作者联系】

戳这里,看该作者更多好文

基础 深度学习 备忘录
上一篇:基于 AC 自动机和贝叶斯方法的垃圾内容识别 下一篇:人工智能时代,科技人员会丢了饭碗?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

18个挑战项目带你快速入门深度学习

AlphaGo 大战李世?h之后,深度学习技术便在国内变得异常火。吸引了大批的技术人员争相学习,那么到底如何才能更快速的入门深度学习呢?下面给大家介绍的 18 个挑战项目,通过实践动手带你快速入门深度学习!

实验楼 ·  4天前
盘点 | 8个你可能不知道的深度学习应用案例

深度学习与传统机器学习系统的不同之处在于,它能够在分析大型数据集时进行自我学习和改进,因此能应用在许多不同的领域。

天极网 ·  2019-10-10 14:15:18
2019年较热门的5大深度学习课程

今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

猿哥 ·  2019-09-26 05:16:24
DeepMind一次性开源3个新框架!深度强化学习应用落地即将迎来春天?

深度强化学习(Deep Reinforcement Learning,DRL)一直是近年来人工智能的一些重大突破的核心。然而,尽管 DRL 有了很大的进步,但由于缺乏工具和库,DRL 方法在主流解决方案中仍然难以应用。

杨鲤萍 ·  2019-09-20 09:38:18
一步一步带你完成深度学习与对象检测之人脸识别

要进行人脸识别,就要搜集用户的人脸图片,我们从网站上搜集了几个明星的照片来进行本期文章的分享。此部分文章是人脸识别的第一部分,人脸数据的搜集与提取,后期我们分享人脸识别系统的神经网络训练与人脸识别。

人工智能研究所 ·  2019-09-18 07:20:34
看懂这十步,8岁的小朋友都能理解深度学习

如果对当今人工智能的主流技术——深度学习没有了解,可能真的会有人觉得,当前的科学家们在创造无所不能、无所不知的电影AI形象。那么,如何用最浅显的方式,给大众解释什么是深度学习呢?快来看看吧!

佚名 ·  2019-09-17 16:56:39
PyTorch版《动手学深度学习》开源了,最美DL书遇上超赞DL框架

李沐等人的开源中文书《动手学深度学习》现在有 PyTorch 版实现了。不论是原书中的示例代码,还是实战项目,原来的 MXNet 都可以无缝转化到 PyTorch 代码。

ShusenTang ·  2019-09-17 10:23:45
2019年10大机器学习Q&A,面试应知!

本文整理了一些最常见的机器学习面试问题及其相应的回答。机器学习有志者以及经验丰富的ML专业人员可以在面试前以此巩固其基础知识。

读芯术 ·  2019-09-09 11:07:00
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载