机器学习进阶笔记之一 | TensorFlow安装与入门

作者: 大U的技术课堂 2017-03-16 08:46:43

引言

TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统,被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow代表着张量从图象的一端流动到另一端计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。

TensorFlow完全开源,任何人都可以使用。可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。

『机器学习进阶笔记』系列是将深入解析TensorFlow系统的技术实践,从零开始,由浅入深,与大家一起走上机器学习的进阶之路。

CUDA与TensorFlow安装

按以往经验,TensorFlow安装一条pip命令就可以解决,前提是有fq工具,没有的话去找找墙内别人分享的地址。而坑多在安装支持gpu,需预先安装英伟达的cuda,这里坑比较多,推荐使用ubuntu deb的安装方式来安装cuda,run.sh的方式总感觉有很多问题,cuda的安装具体可以参考。 注意链接里面的tensorflow版本是以前的,tensorflow 现在官方上的要求是cuda7.5+cudnnV4,请在安装的时候注意下。

Hello World

  1. import tensorflow as tf 
  2.  hello = tf.constant('Hello, TensorFlow!'
  3.  sess = tf.Session() 
  4.  print sess.run(hello) 

首先,通过tf.constant创建一个常量,然后启动Tensorflow的Session,调用sess的run方法来启动整个graph。

接下来我们做下简单的数学的方法:

  1. import tensorflow as tf 
  2.  a = tf.constant(2) 
  3.  b = tf.constant(3) 
  4.  with tf.Session() as sess: 
  5.      print "a=2, b=3" 
  6.      print "Addition with constants: %i" % sess.run(a+b) 
  7.      print "Multiplication with constants: %i" % sess.run(a*b) 
  8.  # output 
  9.  a=2, b=3 
  10.  Addition with constants: 5 
  11.  Multiplication with constants: 6 

接下来用tensorflow的placeholder来定义变量做类似计算:

placeholder的使用见https://www.tensorflow.org/versions/r0.8/api_docs/python/io_ops.html#placeholder

  1. import tensorflow as tf 
  2. a = tf.placeholder(tf.int16) 
  3. b = tf.placeholder(tf.int16) 
  4. add = tf.add(a, b) 
  5. mul = tf.mul(a, b) 
  6. with tf.Session() as sess: 
  7.     # Run every operation with variable input 
  8.     print "Addition with variables: %i" % sess.run(add, feed_dict={a: 2, b: 3}) 
  9.     print "Multiplication with variables: %i" % sess.run(mul, feed_dict={a: 2, b: 3}) 
  10. output
  11. Addition with variables: 5 
  12. Multiplication with variables: 6 
  13. matrix1 = tf.constant([[3., 3.]]) 
  14. matrix2 = tf.constant([[2.],[2.]]) 
  15. with tf.Session() as sess: 
  16.     result = sess.run(product) 
  17.     print result 

线性回归

以下代码来自GitHub - aymericdamien/TensorFlow-Examples: TensorFlow Tutorial and Examples for beginners,仅作学习用

  1. activation = tf.add(tf.mul(X, W), b) 
  2.  
  3. # Minimize the squared errors 
  4. cost = tf.reduce_sum(tf.pow(activation-Y, 2))/(2*n_samples) #L2 loss 
  5. optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) #Gradient descent 
  6.  
  7. # Initializing the variables 
  8. init = tf.initialize_all_variables() 
  9.  
  10. # Launch the graph 
  11. with tf.Session() as sess: 
  12.     sess.run(init) 
  13.  
  14.     # Fit all training data 
  15.     for epoch in range(training_epochs): 
  16.         for (x, y) in zip(train_X, train_Y): 
  17.             sess.run(optimizer, feed_dict={X: x, Y: y}) 
  18.  
  19.         #Display logs per epoch step 
  20.         if epoch % display_step == 0: 
  21.             print "Epoch:"'%04d' % (epoch+1), "cost=", \ 
  22.                 "{:.9f}".format(sess.run(cost, feed_dict={X: train_X, Y:train_Y})), \ 
  23.                 "W=", sess.run(W), "b=", sess.run(b) 
  24.  
  25.     print "Optimization Finished!" 
  26.     print "cost=", sess.run(cost, feed_dict={X: train_X, Y: train_Y}), \ 
  27.           "W=", sess.run(W), "b=", sess.run(b) 
  28.  
  29.     #Graphic display 
  30.     plt.plot(train_X, train_Y, 'ro', label='Original data'
  31.     plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label='Fitted line'
  32.     plt.legend() 
  33.     plt.show() 

逻辑回归

  1. import tensorflow as tf 
  2.  # Import MINST data 
  3.  from tensorflow.examples.tutorials.mnist import input_data 
  4.  mnist = input_data.read_data_sets("/tmp/data/", one_hot=True
  5.  
  6.  # Parameters 
  7.  learning_rate = 0.01 
  8.  training_epochs = 25 
  9.  batch_size = 100 
  10.  display_step = 1 
  11.  
  12.  # tf Graph Input 
  13.  x = tf.placeholder(tf.float32, [None, 784]) # mnist data image of shape 28*28=784 
  14.  y = tf.placeholder(tf.float32, [None, 10]) # 0-9 digits recognition => 10 classes 
  15.  
  16.  # Set model weights 
  17.  W = tf.Variable(tf.zeros([784, 10])) 
  18.  b = tf.Variable(tf.zeros([10])) 
  19.  
  20.  # Construct model 
  21.  pred = tf.nn.softmax(tf.matmul(x, W) + b) # Softmax 
  22.  
  23.  # Minimize error using cross entropy 
  24.  cost = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1)) 
  25.  # Gradient Descent 
  26.  optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) 
  27.  
  28.  # Initializing the variables 
  29.  init = tf.initialize_all_variables() 
  30.  
  31.  # Launch the graph 
  32.  with tf.Session() as sess: 
  33.      sess.run(init) 
  34.  
  35.      # Training cycle 
  36.      for epoch in range(training_epochs): 
  37.          avg_cost = 0. 
  38.          total_batch = int(mnist.train.num_examples/batch_size) 
  39.          # Loop over all batches 
  40.          for i in range(total_batch): 
  41.              batch_xs, batch_ys = mnist.train.next_batch(batch_size) 
  42.              # Run optimization op (backprop) and cost op (to get loss value) 
  43.              _, c = sess.run([optimizer, cost], feed_dict={x: batch_xs, 
  44.                                                            y: batch_ys}) 
  45.              # Compute average loss 
  46.              avg_cost += c / total_batch 
  47.          # Display logs per epoch step 
  48.          if (epoch+1) % display_step == 0: 
  49.              print "Epoch:"'%04d' % (epoch+1), "cost=""{:.9f}".format(avg_cost) 
  50.  
  51.      print "Optimization Finished!" 
  52.  
  53.      # Test model 
  54.      correct_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1)) 
  55.      # Calculate accuracy 
  56.      accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
  57.      print "Accuracy:", accuracy.eval({x: mnist.test.images, y: mnist.test.labels}) 
  58.  
  59.      # result : 
  60.      Epoch: 0001 cost= 29.860467369 
  61.      Epoch: 0002 cost= 22.001451784 
  62.      Epoch: 0003 cost= 21.019925554 
  63.      Epoch: 0004 cost= 20.561320320 
  64.      Epoch: 0005 cost= 20.109135756 
  65.      Epoch: 0006 cost= 19.927862290 
  66.      Epoch: 0007 cost= 19.548687116 
  67.      Epoch: 0008 cost= 19.429119071 
  68.      Epoch: 0009 cost= 19.397068211 
  69.      Epoch: 0010 cost= 19.180813479 
  70.      Epoch: 0011 cost= 19.026808132 
  71.      Epoch: 0012 cost= 19.057875510 
  72.      Epoch: 0013 cost= 19.009575057 
  73.      Epoch: 0014 cost= 18.873240641 
  74.      Epoch: 0015 cost= 18.718575359 
  75.      Epoch: 0016 cost= 18.718761925 
  76.      Epoch: 0017 cost= 18.673640560 
  77.      Epoch: 0018 cost= 18.562128253 
  78.      Epoch: 0019 cost= 18.458205289 
  79.      Epoch: 0020 cost= 18.538211225 
  80.      Epoch: 0021 cost= 18.443384213 
  81.      Epoch: 0022 cost= 18.428727668 
  82.      Epoch: 0023 cost= 18.304270616 
  83.      Epoch: 0024 cost= 18.323529782 
  84.      Epoch: 0025 cost= 18.247192113 
  85.      Optimization Finished! 
  86.      (10000, 784) 
  87.      Accuracy 0.9206 

这里有个小插曲,ipython notebook在一个notebook打开时,一直在占用GPU资源,可能是之前有一个notebook一直打开着,然后占用着GPU资源,然后在计算Accuracy的”InternalError: Dst tensor is not initialized.” 然后找了github上面也有这个问题InternalError: Dst tensor is not initialized.,可以肯定是GPU的memory相关的问题,所以就尝试加上tf.device(‘/cpu:0’),将Accuracy这步拉到cpu上计算,但是又出现OOM的问题,最后nvidia-smi时,发现有一个python脚本一直占用3g多的显存,把它kill之后恢复了,之前还比较吐槽怎么可能10000*784个float就把显存撑爆呢,原来是自己的问题。

这里逻辑回归,model是一个softmax函数用来做多元分类,大概意思是选择10当中最后预测概率最高作为最终的分类。

其实基本的tensorflow没有特别好讲的,语法的课程什么可以去看看基本的文档,之后我会找一点经典有趣的tensorflow的代码应用来看看,毕竟『show me the code 』才是程序猿应有的态度。

【本文是51CTO专栏机构作者“大U的技术课堂”的原创文章,转载请通过微信公众号(ucloud2012)联系作者】

戳这里,看该作者更多好文

TensorFlow 安装 入门
上一篇:电子邮件从AI中受益变聪明 自动提示数据并报错 下一篇:机器学习自主解决安全威胁离我们还有多远?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

大数据文摘 ·  2天前
TensorFlow与PyTorch之争,哪个框架最适合深度学习

谷歌的 Tensorflow 与 Facebook 的 PyTorch 一直是颇受社区欢迎的两种深度学习框架。那么究竟哪种框架最适宜自己手边的深度学习项目呢?本文作者从这两种框架各自的功能效果、优缺点以及安装、版本更新等诸多方面给出了自己的建议。

机器之心 ·  2019-09-01 19:19:04
最后一批被AI替代的人,也要失业了

开发机器学习应用程序的最大瓶颈之一,是对培训现代机器学习模型的大型标记数据集的海量需求。即使是头部的AI创业公司,最关键的一环依然是从数据标注员开始的。目前手工标记的培训集即昂贵又耗时,而数据的组装、清理和调试是机器学习模型能否成功构建的源头。

读芯术 ·  2019-04-16 14:12:29
在数据采集器中用TensorFlow进行实时机器学习

本文学习如何通过发布的最新TensorFlow Evaluator版本使用TensorFlow(TF)模型进行预测和分类。

云栖社区 ·  2019-01-24 15:30:09
Kubeflow 公布 1.0 路线图:2019 年实现 API 稳定

Kubeflow,名字取自 Kubernetes + Tensorflow ,是 Google 为了支持 Tensorflow 的部署而推出的开源平台。

王练 ·  2019-01-07 09:16:04
机器学习容器化:TensorFlow、Kubernetes和Kubeflow

机器学习(ML)是一种用于识别模式和预测未来概率的数据分析方法,它是人工智能(AI)研究的一部分。通过将答案预确定的数据输入到数学模型中,计算机可以训练自己、预测将来未知的输入集。

布加迪 ·  2018-12-29 08:00:00
创建一个容器化的机器学习模型

数据科学家在创建机器学习模型后,必须将其部署到生产中。要在不同的基础架构上运行它,使用容器并通过 REST API 公开模型是部署机器学习模型的常用方法。本文演示了如何在 Podman 容器中使用 Connexion 推出使用 REST API 的 TensorFlow 机器学习模型。

Sven Bösiger ·  2018-12-17 09:10:52
树莓派上利用Tensorflow实现小车的自动驾驶

本文介绍基于树莓派的人工智能自动驾驶小车,整体流程包括电机控制、摄像头调试、道路数据采集、搭建深度学习模型,参数调试等等。

Timthony ·  2018-11-30 17:53:51
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载