8个深度学习中常用的激活函数

作者: deephub 2021-05-22 23:08:08

激活函数,又称转换函数,是设计神经网络的关键。激活函数在某种意义上是重要的,因为它被用来确定神经网络的输出。它将结果值映射为0到1或-1到1等(取决于函数)。激活函数还有另一个名称,称为Squashing函数,当限制了激活函数的范围时使用这个名称。激活函数应用于神经网络的每个节点,并决定该神经元是否应该被“触发”/“激活”。

为什么选择激活函数是非常重要的。

当在隐藏层和输出层中实现时,激活函数的选择非常关键。模型的准确性和损失很大程度上依赖于激活函数。此外,必须根据您对模型的期望来选择它们。例如,在二值分类问题中,sigmoid函数是一种最优选择。

激活函数类型。大致可分为两类:

线性激活函数。

非线性激活函数。

为了方便展示我们导入如下库:

  1. import math as m  
  2. import matplotlib.pyplot as plt  
  3. import numpy as np  
  4. import tensorflow as tf  
  5. from tensorflow import keras  
  6. from tensorflow.keras import layers  

Sigmoid

sigmoid激活函数也称为logistic函数。Sigmoid函数在回归分类问题中非常流行。sigmoid函数给出的值的范围是0和1。

  1. def sigmoid(x):  
  2. return 1 / (1 + m.exp(-x))values_of_sigmoid = []  
  3. values_of_x = []  
  4. for i in range(-500,500,1):  
  5. i = i*0.01  
  6. values_of_x.append(i)  
  7. values_of_sigmoid.append(sigmoid(i))plt.plot( values_of_x ,values_of_sigmoid)  
  8. plt.xlabel("values of x")  
  9. plt.ylabel("value of sigmoid")  
8个深度学习中常用的激活函数

tanH

这个函数非常类似于sigmoid激活函数。这个函数在-1到1的范围内接受任何实值作为输入和输出值。输入越大(越正),输出值越接近1.0,而输入越小(越负),输出越接近-1.0。Tanh激活函数计算如下。

  1. def tanh(x):  
  2. return (m.exp(x) - m.exp(-x)) / (m.exp(x) + m.exp(-x))values_of_tanh = []  
  3. values_of_x = []  
  4. for i in range(-500,500,1):  
  5. i = i*0.001  
  6. values_of_x.append(i)  
  7. values_of_tanh.append(tanh(i))plt.plot( values_of_x ,values_of_tanh)  
  8. plt.xlabel("values of x")  
  9. plt.ylabel("value of tanh")  
8个深度学习中常用的激活函数

Softmax

Softmax激活函数输出一个和为1.0的值向量,可以解释为类隶属度的概率。Softmax是argmax函数的“软”版本,它允许一个“赢家通吃”函数的似然输出。

  1. def softmax(x):  
  2. e_x = np.exp(x - np.max(x))  
  3. return e_x / e_x.sum()values_of_x = [i*0.01 for i in range(-500,500)]  
  4. plt.plot(scores ,softmax(values_of_x))  
  5. plt.xlabel("values of x")  
  6. plt.ylabel("value of softmax")  
8个深度学习中常用的激活函数

RELU 线性整流单元

ReLU可能是用于隐藏层的最常见的函数。它还可以有效地克服其他以前流行的激活函数(如Sigmoid和Tanh)的限制。具体来说,它不太容易受到阻止深度模型被训练的梯度下降消失问题的影响,尽管它可能会遇到诸如饱和单元等其他问题。

  1. def ReLU(x):  
  2. return max(0,x)values_of_relu = []  
  3. values_of_x = []  
  4. for i in range(-500,500,1):  
  5. i = i*0.01  
  6. values_of_x.append(i)  
  7. values_of_relu.append(ReLU(i))plt.plot(values_of_x,values_of_relu)  
8个深度学习中常用的激活函数

Leaky ReLU

ReLU的问题:当给ReLU一个负值时,它立即变成零,这降低了模型合适地拟合或从数据训练的能力。这意味着ReLU激活函数的任何负输入都会在图中立即将该值转换为零,这反过来又会通过不适当地映射负值而影响结果图。

为了克服这个问题,Leaky ReLU被引入。

  1. def leaky_ReLU(x):  
  2. return max(0.1*x,x)values_of_L_relu = []  
  3. values_of_x = []  
  4. for i in range(-500,500,1):  
  5. i = i*0.01  
  6. values_of_x.append(i)  
  7. values_of_L_relu.append(leaky_ReLU(i))plt.plot(values_of_x,values_of_L_relu)  
8个深度学习中常用的激活函数

下面几个函数都是RELU的变体基本上都是与Leaky 类似优化了激活函数负值时的返回

ELU

  1. activation_elu = layers.Activation(‘elu’)x = tf.linspace(-3.0, 3.0, 100)  
  2. y = activation_elu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)  
  3. plt.plot(x, y)  
  4. plt.xlim(-3, 3)  
  5. plt.xlabel(“Input”)  
  6. plt.ylabel(“Output”)  
  7. plt.show()  
8个深度学习中常用的激活函数

SELU

  1. activation_selu = layers.Activation('selu')x = tf.linspace(-3.0, 3.0, 100)  
  2. y = activation_selu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)  
  3. plt.plot(x, y)  
  4. plt.xlim(-3, 3)  
  5. plt.xlabel("Input")  
  6. plt.ylabel("Output")  
  7. plt.show()  
8个深度学习中常用的激活函数

Swish

  1. activation_swish = layers.Activation(‘swish’)x = tf.linspace(-3.0, 3.0, 100)  
  2. y = activation_swish(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)  
  3. plt.plot(x, y)  
  4. plt.xlim(-3, 3)  
  5. plt.xlabel(“Input”)  
  6. plt.ylabel(“Output”)  
  7. plt.show()  
8个深度学习中常用的激活函数

总结

常用于隐藏层激活函数:

一般递归神经网络使用Tanh或sigmoid激活函数,甚至两者都使用。例如,LSTM通常对循环连接使用Sigmoid激活,对输出使用Tanh激活。

1.多层感知器(MLP): ReLU激活函数。

2.卷积神经网络(CNN): ReLU激活函数。

3.递归神经网络:Tanh和/或Sigmoid激活函数。

如果你不确定使用哪个激活函数,你肯定可以尝试不同的组合,并寻找最适合的,但是可以从RELU开始

输出层激活功能:

输出层激活函数必须根据你要解决的问题类型来选择。例如,如果你有一个线性回归问题,那么线性激活函数将是有用的。下面是您可能面临的一些常见问题和使用的激活函数。

二进制分类:一个节点,sigmoid激活。

多类分类:每个类一个节点,softmax激活。

多标签分类:每个类一个节点,sigmoid激活。

以下是一些常用激活函数的公式和可视化显示,希望对你有帮助

8个深度学习中常用的激活函数
深度学习 函数 算法
上一篇:下一代网络威胁来自AI 下一篇:这不是全息投影!真正允许多角度围观的3D图像
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI时代,需要发挥知识图谱+知识管理的双轮价值

AI时代,需要发挥知识图谱+知识管理的双轮价值,才能真正实现从流程驱动、数据驱动走向知识驱动。

东方林语 ·  2021-05-31 09:15:14
中国人开始反算法:不登录、不点赞、不关注、不评论

“算法不讲武德!”越来越多年轻人发觉,生活正在被算法控制。

深燃团队 ·  2021-05-31 09:03:12
人工智能是如何改变日常商业运作的?

人工智能的使用也改变了我们如今开展业务的方式。从平凡的任务到数据分析,该技术使公司能够保持竞争优势。此外,使用AI可以改善个性化的客户体验以及改善风险管理。

佚名 ·  2021-05-28 17:24:32
数据分析技术:边缘人工智能的应用

为了避免不必要的非关键数据移动,AI正在向边缘设备返回计算能力,从而影响开发人员利用人工智能和数据分析技术。

Cassie ·  2021-05-27 15:22:19
Few-shot Learning(1)—机器学习中的任务优化空间

今天深度学习之所以成功,大量的数据是不可缺少的必要条件。我们训练的模型都是吃过见过后才有现在这样良好的表现。不过实际情况要收集到足够多的数据并非易事,今天我们就这个问题来学习 Few-shot Learning。

zidea ·  2021-05-27 08:38:47
人工智能促进企业实现端到端的智能自动化

对于正在从事或已经致力于此类现代化工作的IT主管们来说,人工智能(主要体现为机器学习技术)有望对自动化产生革命性影响,使他们更接近端到端过程自动化的梦想。

Maria Korolov ·  2021-05-26 10:04:09
光明面与黑暗面:人工智能与人类的未来

随着技术创新步伐的不断提高,重要的是要意识到即将到来的中断,而不仅仅是盲目地享受AI带来的好处。计算机超级智能可能会威胁到我们的生存,即使不是这样,如果我们能够负责任地发动第四次工业革命,仍然有很多大问题需要解决。

Mark Lippett ·  2021-05-26 09:48:12
融合创新,降低门槛,飞桨推动人工智能走通工业大生产之路

5月20日,由深度学习技术及应用国家工程实验室与百度联合主办的WAVE SUMMIT 2021深度学习开发者峰会在北京召开。

佚名 ·  2021-05-21 10:26:39
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载