一元线性回归梯度下降算法的Octave仿真

作者: 佚名 2017-05-08 08:39:12

在梯度下降算法理论篇中,曾经感叹推导过程如此苍白,如此期待仿真来给我更加直观的感觉。当我昨晚Octave仿真后,那种成就感着实难以抑制。分享一下仿真的过程和结果,并且将上篇中未理解透澈的内容补上。

在Gradient Descent Algorithm中,我们利用不断推导得到两个对此算法非常重要的公式,一个是J(θ)的求解公式,另一个是θ的求解公式:

我们在仿真中,直接使用这两个公式,来绘制J(θ)的分布曲面,以及θ的求解路径。

命题为:我们为一家连锁餐饮企业新店开张的选址进行利润估算,手中掌握了该连锁集团所辖店铺当地人口数据,及利润金额,需要使用线性回归算法来建立人口与利润的关系,进而为新店进行利润估算,以评估店铺运营前景。

首先我们将该企业的数据绘制在坐标图上,如下图所示,我们需要建立的模型是一条直线,能够在最佳程度上,拟合population与profit之间的关系。其模型为:

在逼近θ的过程中,我们如下实现梯度下降:进行了1500次的迭代(相当于朝着最佳拟合点行走1500步),我们在1500步后,得到θ=[-3.630291,1.166362];在3000次迭代后,其值为[-3.878051,1.191253];而如果运行10万次,其值为[-3.895781,1.193034]。可见,最初的步子走的是非常大的,而后,由于距离最佳拟合点越来越近,梯度越来越小,所以步子也会越来越小。为了节约运算时间,1500步是一个完全够用的迭代次数。之后,我们绘制出拟合好的曲线,可以看得出,拟合程度还是不错的。

下图是J(θ)的分布曲面:

接来下是我们求得的最佳θ值在等高线图上所在的位置,和上一张图其实可以重合在一起:

关键代码如下:

1、计算j(theta)

  1. function J = computeCost(X, y, theta) 
  2. %COMPUTECOST Compute cost for linear regression 
  3. %   J = COMPUTECOST(X, y, theta) computes the cost of using theta as the 
  4. %   parameter for linear regression to fit the data points in X and y 
  5.   
  6. % Initialize some useful values 
  7. m = length(y); % number of training examples 
  8.   
  9. % You need to return the following variables correctly 
  10. J = 0; 
  11.   
  12. % ====================== YOUR CODE HERE ====================== 
  13. % Instructions: Compute the cost of a particular choice of theta 
  14. %               You should set J to the cost. 
  15.     h = X*theta; 
  16.     e = h-y; 
  17.     J = e'*e/(2*m) 
  18. % ========================================================================= 
  19.   
  20. end 

2、梯度下降算法:

  1. function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters) 
  2. %GRADIENTDESCENT Performs gradient descent to learn theta 
  3. %   theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by 
  4. %   taking num_iters gradient steps with learning rate alpha 
  5.   
  6. % Initialize some useful values 
  7. m = length(y); % number of training examples 
  8. J_history = zeros(num_iters, 1); 
  9.   
  10. for iter = 1:num_iters 
  11.   
  12.     % ====================== YOUR CODE HERE ====================== 
  13.     % Instructions: Perform a single gradient step on the parameter vector 
  14.     %               theta. 
  15.     % 
  16.     % Hint: While debugging, it can be useful to print out the values 
  17.     %       of the cost function (computeCost) and gradient here. 
  18.     % 
  19.       
  20.     h=X*theta; 
  21.     e=h-y; 
  22.     theta = theta-alpha*(X'*e)/m; 
  23.   
  24.     % ============================================================ 
  25.   
  26.     % Save the cost J in every iteration    
  27.     J_history(iter) = computeCost(X, y, theta); 
  28.   
  29. end 
  30.   
  31. end 
梯度算法 Octave 机器学习
上一篇:人工智能与自然语言处理概述:AI三大阶段、NLP关键应用领域 下一篇:TensorFlow上手要点都总结在这儿了,你还有理由偷懒吗?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

高位截瘫患者重新行走:靠意念指挥外骨骼,法国脑机接口新突破

依靠介入头部的 2 个传感器,法国里昂的一名瘫痪男子 Thibault 实现了操控外骨骼装备来助力行走。

孙滔 ·  23h前
2008 年预测 2020 年生活方式:基本都实现了

美国皮尤研究中心曾在 2008 年预测 2020 年的生活方式,目前来看,该研究的预测基本已经实现。而对于未来 10 年,也就是 2030 年左右人们的生活,在 2017 年底的世界经济论坛上,800 多名信息和通讯技术领域的技术高管和专家给出了如下预测。

佚名 ·  1天前
机器学习的正则化是什么意思?

正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;所以说,使用正则化的目的就是为了防止过拟合。

佚名 ·  1天前
为什么我的CV模型不好用?没想到原因竟如此简单……

机器学习专家 Adam Geitgey 近日发布了一篇文章探讨了这一简单却又让很多人头痛的问题,并分享了他为解决这一问题编写的自动图像旋转程序。

机器之心 ·  1天前
机器学习与预测分析的区别在何处? 精选

如今,认知学习的应用比以往更为普遍。通常意义上讲,认知学习与认知计算就是涉及AI技术与信号处理的操作过程或技术平台。

读芯术 ·  1天前
大盘点:8月Github上7个值得关注的数据科学项目

本文带你来看看GitHub上创建于2019年8月的7个数据科学项目。笔者所选项目的范围十分广泛,涉及从机器学习到强化学习的诸多领域。

读芯术 ·  1天前
非监督学习最强攻略

本次主要讲解的内容是机器学习里的非监督学习经典原理与算法,非监督,也就是没有target(标签)的算法模型。

SAMshare ·  1天前
PyTorch终于能用上谷歌云TPU,推理性能提升4倍,该如何薅羊毛?

Facebook在PyTorch开发者大会上正式推出了PyTorch 1.3,并宣布了对谷歌云TPU的全面支持,而且还可以在Colab中调用云TPU。

晓查 ·  2天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载