机器学习之神经网络及Python实现

作者: Python开发学习 2018-10-18 10:27:15

神经网络在机器学习中有很大的应用,甚至涉及到方方面面。本文主要是简单介绍一下神经网络的基本理论概念和推算。同时也会介绍一下神经网络在数据分类方面的应用。

首先,当我们建立一个回归和分类模型的时候,无论是用最小二乘法(OLS)还是最大似然值(MLE)都用来使得残差达到最小。因此我们在建立模型的时候,都会有一个loss function。

而在神经网络里也不例外,也有个类似的loss function。

对回归而言:

对分类而言:

然后同样方法,对于W开始求导,求导为零就可以求出极值来。

关于式子中的W。我们在这里以三层的神经网络为例。先介绍一下神经网络的相关参数。

神经网络的相关参数

第一层是输入层,第二层是隐藏层,第三层是输出层。

在X1,X2经过W1的加权后,达到隐藏层,然后经过W2的加权,到达输出层

其中,

我们有:

至此,我们建立了一个初级的三层神经网络。

当我们要求其的loss function最小时,我们需要逆向来求,也就是所谓的backpropagation。

我们要分别对W1和W2进行求导,然后求出其极值。

从右手边开始逆推,首先对W2进行求导。

代入损失函数公式:

然后,我们进行化简:

化简到这里,我们同理再对W1进行求导。

我们可以发现当我们在做bp网络时候,有一个逆推回去的误差项,其决定了loss function 的最终大小。

在实际的运算当中,我们会用到梯度求解,来求出极值点。

总结一下来说,我们使用向前推进来理顺神经网络做到回归分类等模型。而向后推进来计算他的损失函数,使得参数W有一个最优解。

当然,和线性回归等模型相类似的是,我们也可以加上正则化的项来对W参数进行约束,以免使得模型的偏差太小,而导致在测试集的表现不佳。

Python 的实现:

使用了KERAS的库

解决线性回归:

  1. model.add(Dense(1, input_dim=n_featuresactivation='linear'use_bias=True)) 
  2. # Use mean squared error for the loss metric and use the ADAM backprop algorithm 
  3. model.compile(loss='mean_squared_error'optimizer='adam'
  4. # Train the network (learn the weights) 
  5. # We need to convert from DataFrame to NumpyArray 
  6. history = model.fit(X_train.values, y_train.values, epochs=100,  
  7.  batch_size=1verbose=2validation_split=0

解决多重分类问题:

  1. # create model 
  2. model = Sequential() 
  3. model.add(Dense(64, activation='relu'input_dim=n_features)) 
  4. model.add(Dropout(0.5)) 
  5. model.add(Dense(64, activation='relu')) 
  6. model.add(Dropout(0.5)) 
  7. # Softmax output layer 
  8. model.add(Dense(7, activation='softmax')) 
  9. model.compile(loss='categorical_crossentropy'optimizer='adam'metrics=['accuracy']) 
  10. model.fit(X_train.values, y_train.values, epochs=20batch_size=16
  11. y_pred = model.predict(X_test.values) 
  12. y_te = np.argmax(y_test.values, axis = 1
  13. y_pr = np.argmax(y_pred, axis = 1
  14. print(np.unique(y_pr)) 
  15. print(classification_report(y_te, y_pr)) 
  16. print(confusion_matrix(y_te, y_pr)) 

当我们选取最优参数时候,有很多种解决的途径。这里就介绍一种是gridsearchcv的方法,这是一种暴力检索的方法,遍历所有的设定参数来求得最优参数。

  1. from sklearn.model_selection import GridSearchCV 
  2. def create_model(optimizer='rmsprop'): 
  3.  model = Sequential() 
  4.  model.add(Dense(64, activation='relu'input_dim=n_features)) 
  5.  model.add(Dropout(0.5)) 
  6.  model.add(Dense(64, activation='relu')) 
  7.  model.add(Dropout(0.5)) 
  8.  model.add(Dense(7, activation='softmax')) 
  9.  model.compile(loss='categorical_crossentropy'optimizeroptimizer=optimizer, metrics=['accuracy']) 
  10.   
  11.  return model 
  12. model = KerasClassifier(build_fn=create_modelverbose=0
  13. optimizers = ['rmsprop'] 
  14. epochs = [5, 10, 15] 
  15. batches = [128] 
  16. param_grid = dict(optimizer=optimizersepochsepochs=epochs, batch_size=batchesverbose=['2']) 
  17. grid = GridSearchCV(estimator=modelparam_gridparam_grid=param_grid) 
  18. grid.fit(X_train.values, y_train.values) 
机器学习 神经网络 python
上一篇:该怎么消除人工智能与生俱来的“歧视” 下一篇:一文读懂机器学习中的模型偏差
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器学习转化为生产力,警惕这4个常见陷阱!

几乎每个人都想在他们的业务中引入机器学习,但是这些人也遇到了一个大问题:让模型可持续发展十分困难,尤其是在云架构的基础上。medium上一位博主也指出了这个问题,并提出了将机器学习模型投入生产的4个常见陷阱。

大数据文摘 ·  19h前
500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种的翻译一直是一大难题。来自谷歌的研究者提出了一种能够翻译 103 种语言的大规模多语言神经机器翻译模型,在数据丰富和匮乏的语种翻译中都实现了显著的性能提升。

机器之心 ·  1天前
机器学习免费跑分神器:集成各大数据集,连接GitHub就能用

搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。现在,Papers with Code (那个以论文搜代码的神器) 团队,推出了自动跑分服务,名叫sotabench,以跑遍所有开源模型为己任。

栗子 鱼羊 ·  2天前
大数据为什么不够聪明?机器要如何走向强人工智能

大数据为什么不够聪明?比概率语言更强大的思考工具是什么?科幻电影中的强人工智能到底怎样实现?如何让智能机器像人一样思考?搞清楚因果关系才能拨云见日。

明日情报 ·  2天前
2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

大数据文摘 ·  2天前
机器学习帮你预测电池寿命:精确了解电池还能充几次

电池寿命的确定,是移动硬件发展的重要一环,但是由于电池电化学反应的不确定性以及不同的使用环境和习惯,电池寿命变成了一门玄学。不过柏林的三位小伙伴,利用Tensorflow,在原有的预测体系基础上。更近一步,完成了电池的全寿命预测。

靓科技解读 ·  2天前
PyTorch横扫顶会,TensorFlow退守业界:机器学习框架一年变天

机器学习框架的世界,局势变化过于迅猛,稍不注意就会被抢了地盘。一年前,TensorFlow还是各大顶会论文选择的主流框架,如今顶会几乎成了PyTorch的天下。

鱼羊 栗子 ·  2天前
Nature发文:深度学习系统为什么这么好骗?

今天的人工智能系统经常会出现莫名其妙的 bug。最新一期《自然》杂志上的这篇文章向我们介绍了深度学习为什么如此容易出错,以及解决这些问题的研究方向。

机器之心 ·  3天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载