Spark for python developers —Spark与数据的机器学习

作者: 佚名 2017-04-13 13:30:56

Spark for python developers —Spark与数据的机器学习

机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib,采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache
Spark相关的tweets . 初始输入是混合在一起的tweets。 首先提取相关特性, 然后在数据集中使用机器学习算法 , 最后评估结果和性能.

本章重点如下:

  • 了解 Spark MLlib 模块及其算法,还有典型的机器学习流程 .
  • 预处理 所采集的Twitter 数据集提取相关特性, 应用非监督集群算法识别Apache Spark-
相关的tweets. 然后, 评估得到的模型和结果.
  • 描述Spark 机器学习的流水线.

Spark MLlib 在应用架构中的位置

先看一下数据学习在数据密集型应用架构中的位置,集中关注分析层,准确一点说是机器学习。这是批处理和流处理数据学习的基础,它们只是推测的规则不同。

下图指出了重点, 分析层处理的探索式数据分析工具 Spark SQL和Pandas外 还有机器学习模块. 

Spark MLlib 算法分类

Spark MLlib 是一个更新很快的模块,新的算法不断地引入到 Spark中.

下图提供了 Spark MLlib 算法的高层通览,并根据传统机器学习技术的体系或数据的连续性进行了分组: 

根据数据的类型,将 Spark MLlib 算法分成两栏, 性质无序或者数量连续的 . 我们将数据区分为无序的性质数据和数量连续的数据。一个性质数据的例子:在给定大气压,温度,云的类型和呈现, 天气是晴朗,干燥,多雨,或者阴天时
时,预测她是否穿着男性上装,这是离散的值。 另一方面, 给定了位置,住房面积,房间数,想预测房屋的价格 , 房地产可以通过线性回归预测。 
本例中,讨论数量连续的数据。

水平分组反映了所使用的机器学习算法的类型。监督和非监督机器学习取决于训练的数据是否标注。非监督学习的挑战是对非标注数据使用学习算法。目标是发现输入中隐含的结构。
而监督式学习的数据是标注过的。 重点是对连续数据的回归预测以及离散数据的分类.

机器学习的一个重要门类是推荐系统,主要是利用了协同过滤技术。 Amazon 和 Netflix 有自己非常强大的 推荐系统.

 随机梯度下降是适合于Spark分布计算的机器学习优化技术之一。对于处理大量的文本,Spark提供了特性提取和转换的重要的库例如: TF-IDF , Word2Vec, standard scaler, 和normalizer.

监督和非监督式学习

深入研究一下Spark MLlib 提供的传统的机器学习算法 . 监督和非监督机器学习取决于训练的数据是否标注. 区别无序和连续取决于数据的离散或连续.

下图解释了 Spark MLlib 监督和非监督时算法及预处理技术 : 

下面时Spakr MLlib中的监督和非监督算法以及与预处理技术:

  • Clustering 聚类: 一个非监督式机器学习技术,数据是没有标注的,目的是数据中提取结构:


∞ K-Means: 从 K个不同聚类中进行数据分片



∞ Gaussian Mixture: 基于组件的最大化后验概率聚类




∞ Power Iteration Clustering(PIC): 根据图顶点的两两边的相似程度聚类





∞ Latent Dirichlet Allocation (LDA): 用于将文本文档聚类成话题





∞ Streaming K-Means: 使用窗口函数将进入的数据流动态的进行K-Means聚类


  • Dimensionality Reduction: 目的在减少特性的数量. 基本上, 用于削减数据噪音并关注关键特性:

∞ Singular Value Decomposition (SVD): 将矩阵中的数据分割成简单的有意义的小片,把初始矩阵生成3个矩阵.

∞ Principal Component Analysis (PCA): 以子空间的低维数据逼近高维数据集..

  •  Regression and Classification: 当分类器将结果分成类时,回归使用标注过的训练数据来预测输出结果。分类的变量是离散无序的,回归的变量是连续而有序的
:

∞ Linear Regression Models (linear regression, logistic regression,
and support vector machines): 线性回归算法可以表达为凸优化问题,目的是基于有权重变量的向量使目标函数最小化.

目标函数通过函数的正则部分控制函数的复杂性,通过函数的损失部分控制函数的误差.


∞ Naive Bayes: 基于给定标签的条件概率来预测,基本假设是变量的相互独立性。


∞ Decision Trees: 它执行了特性空间的递归二元划分,为了最好的划分分割需要将树状节点的信息增益最大化。



∞ Ensembles of trees (Random Forests and Gradient-Boosted Trees):
树集成算法结合了多种决策树模型来构建一个高性能的模型,它们对分类和回归是非常直观和成功的。


  •  Isotonic Regression保序回归: 最小化所给数据和可观测响应的均方根误差.

其他学习算法

Spark MLlib 还提供了很多其它的算法,广泛地说有三种其它的机器学习算法:

推荐系统, 优化算法, 和特征提取. 

下面当前是 MLlib 中的其它算法:

  • Collaborative filtering: 是推荐系统的基础,创建用户-物品关联矩阵,目标是填充差异。基于其它用户与物品的关联评分,为没有评分的目标用户推荐物品。在分布式计算中, ALS (Alternating Least Square)是最成功的算法之一:


∞ Alternating Least Squares交替最小二乘法: 矩阵分解技术采用了隐性反馈,时间效应和置信水平,把大规模的用户物品矩阵分解成低维的用户物品因子,通过替换因子最小化二次损失函数。

  •  Feature extraction and transformation: 这些是大规模文档处理的基础,包括如下技术:

∞ Term Frequency: 搜素引擎使用Search engines use TF-IDF 对语料库中的文档进行等级评分。机器学习中用它来判断一个词在文档或语料库中的重要性. 词频统计所确定的权重取决于它在语料库中出现的频率。

词频本身可能存在错误导向比如过分强调了类似 the, of, or and 等这样无意义的信息词汇. 逆文档频率提供了特异性或者信息量的度量,词汇在语料库中所有文档是否常见。

∞ Word2Vec: 包括了两个模型 Skip-Gram 和Continuous
 Bag of Word. Skip-Gram 预测了一个给定词汇的邻近词, 基于词汇的滑动窗口; Continuous Bag of
Words 预测了所给定邻近词汇的当前词是什么.


∞ Standard Scaler: 作为预处理的一部分,数据集经常通过平均去除和方差缩放来标准化. 我们在训练数据上计算平均和标准偏差,并应用同样的变形来测试数据.



∞ Normalizer: 在缩放样本时需要规范化. 对于点积或核心方法这样的二次型非常有用。


∞ Feature selection: 通过选择模型中最相关的特征来降低向量空间的维度。



∞ Chi-Square Selector: 一个统计方法来测量两个事件的独立性。

  • Optimization: 这些 Spark MLlib 优化算法聚焦在各种梯度下降的技术。 Spark 在分布式集群上提供了非常有效的梯度下降的实现,通过本地极小的迭代完成梯度的快速下降。迭代所有的数据变量是计算密集型的:

∞ Stochastic Gradient Descent: 最小化目标函数即
微分函数的和. 随机梯度下降仅使用了一个训练数据的抽样来更新一个特殊迭代的参数,用来解决大规模稀疏机器学习问题例如文本分类.


  • Limited-memory BFGS (L-BFGS): 文如其名,L-BFGS使用了有限内存,适合于Spark MLlib 实现的分布式优化算法。

Spark MLlib data types

MLlib 支持4种数据类型: local vector, labeled point, local matrix,
and distributed matrix. Spark MLlib 算法广泛地使用了这些数据类型:

  •  Local vector: 位于单机,可以是紧密或稀疏的:



∞ Dense vector 是传统的 doubles 数组. 例如[5.0, 0.0, 1.0, 7.0].




∞ Sparse vector 使用整数和double值. 稀疏向量 [5.0, 0.0, 1.0, 7.0] 应该是 (4,
[0, 2, 3], [5.0, 1.0, 7.0]),表明了向量的维数.

这是 PySpark中一个使用本地向量的例子:

  1. import  numpy  as  np 
  2. import  scipy.sparse  as  sps 
  3. from  pyspark.mllib.linalg  import  Vectors 
  4.  
  5. #  NumPy  array  for  dense  vector. 
  6. dvect1  =  np.array([5.0,  0.0,  1.0,  7.0]) 
  7. #  Python  list  for  dense  vector. 
  8. dvect2  =  [5.0,  0.0,  1.0,  7.0] 
  9. #  SparseVector  creation 
  10. svect1  =  Vectors.sparse(4,  [0,  2,  3],  [5.0,  1.0,  7.0]) 
  11. #  Sparse  vector  using  a  single-column  SciPy  csc_matrix 
  12. svect2  =  sps.csc_matrix((np.array([5.0,  1.0,  7.0]),  np.array([0, 
  13. 2,  3])),  shape  =  (4,  1))  
  • Labeled point. 一个标注点是监督式学习中的一个有标签的紧密或稀疏向量. 在二元标签中, 0.0 代表负值, 1.0 代表正值.

这有一个PySpark中标注点的例子:

  1. from  pyspark.mllib.linalg  import  SparseVector 
  2. from  pyspark.mllib.regression  import  LabeledPoint 
  3.  
  4. #  Labeled point with a positive label and a dense feature  vector. 
  5. lp_pos  =  LabeledPoint(1.0,  [5.0,  0.0,  1.0,  7.0]) 
  6.  
  7. #  Labeled  point  with  a  negative  label  and  a  sparse  feature  vector. 
  8. lp_neg  =  LabeledPoint(0.0,  SparseVector(4,  [0,  2,  3],  [5.0,  1.0, 
  9. 7.0]))  
  • Local Matrix: 本地矩阵位于单机上,拥有整型索引和double的值.

这是一个 PySpark中本地矩阵的例子:

  1. from  pyspark.mllib.linalg  import  Matrix,  Matrices 
  2.  
  3. #  Dense  matrix  ((1.0,  2.0,  3.0),  (4.0,  5.0,  6.0)) 
  4. dMatrix  =  Matrices.dense(2,  3,  [1,  2,  3,  4,  5,  6]) 
  5.  
  6. #  Sparse  matrix  ((9.0,  0.0),  (0.0,  8.0),  (0.0,  6.0)) 
  7. sMatrix  =  Matrices.sparse(3,  2,  [0,  1,  3],  [0,  2,  1],  [9,  6,  8])  
  • Distributed Matrix: 充分利用 RDD的成熟性,分布式矩阵可以在集群中共享
. 有4种分布式矩阵类型: RowMatrix, IndexedRowMatrix,
CoordinateMatrix, 和 BlockMatrix:


∞ RowMatrix: 使用多个向量的一个 RDD,创建无意义索引的行分布式矩阵叫做 RowMatrix.



∞ IndexedRowMatrix: 行索引是有意义的. 首先使用IndexedRow 类创建一个 带索引行的RDDFirst,
再创建一个 IndexedRowMatrix.




∞ CoordinateMatrix: 对于表达巨大而稀疏的矩阵非常有用。CoordinateMatrix 从MatrixEntry的RDD创建,用类型元组 (long, long, or float)来表示。





∞ BlockMatrix: 从 子矩阵块的RDDs创建,
子矩阵块形如 ((blockRowIndex, blockColIndex),
sub-matrix).


机器学习的工作流和数据流

除了算法, 机器学习还需要处理过程,我们将讨论监督和非监督学习的典型流程和数据流.

监督式学习工作流程

在监督式学习中, 输入的训练数据集是标注过的. 一个重要的话数据实践是分割输入来训练和测试, 以及严重相应的模式.完成监督式学习有6个步骤:

  • Collect the data: 这个步骤依赖于前面的章节,保证数据正确的容量和颗粒度,使机器学习算法能够提供可靠的答案.
  • Preprocess the data: 通过抽样检查数据质量,添补遗漏的数据值,缩放和规范化数据。同时,定义特征提取处理。典型地,在大文本数据集中,分词,移除停词,词干提取 和 TF-IDF. 在监督式学习中,分别将数据放入训练和测试集。我门也实现了抽样的各种策略, 为交叉检验分割数据集。
  • Ready the data: 准备格式化的数据和算法所需的数据类型。在 Spark MLlib中, 包括 local vector, dense 或 sparse vectors, labeled points, local matrix, distributed matrix with row matrix, indexed row matrix, coordinate matrix, 和 block matrix.
  • Model: 针对问题使用算法以及获得最适合算法的评估结果,可能有多种算法适合同一问题; 它们的性能存储在评估步骤中以便选择性能最好的一个。 我门可以实现一个综合方案或者模型组合来得到最好的结果。 Optimize: 为了一些算法的参数优化,需要运行网格搜索。这些9参数取决于训练,测试和产品调优的阶段。
  • Evaluate: 最终给模型打分,并综合准确率,性能,可靠性,伸缩性 选择最好的一个模型。 用性能最好的模型来测试数据来探明模型预测的准确性。一旦对调优模型满意,就可以到生产环境处理真正的数据了

监督式机器学习的工作流程和数据流如下图所示:

非监督式学习工作流程

与监督式学习相对,非监督式学习的初始数据使没有标注的,这是真实生活的情形。通过聚类或降维算法提取数据中的结构, 在非监督式学习中,不用分割数据到训练和测试中,因为数据没有标注,我们不能做任何预测。训练数据的6个步骤与监督式学习中的那些步骤相似。一旦模型训练过了,将评估结果和调优模型,然后发布到生产环境。

非监督式学习是监督式学习的初始步骤。 也即是说, 数据降维先于进入学习阶段。

非监督式机器学习的工作流程和数据流表达如下:

Twitter 数据集聚类

感受一下从Twitter提取到的数据,理解数据结构,然后运行 K-Means 聚类算法 . 使用非监督式的处理和数据流程,步骤如下:

1. 组合所有的 tweet文件成一个 dataframe.

2. 
解析 tweets, 移除停词,提取表情符号,提取URL, 并最终规范化词 (如,转化为小写,移除标点符号和数字).

3. 特征提取包括以下步骤:


∞ Tokenization: 将tweet的文本解析成单个的单词或tokens



∞ TF-IDF: 应用 TF-IDF 算法从文本分词中创建特征向量




∞ Hash TF-IDF: 应用哈希函数的TF-IDF


4.运行 K-Means 聚类算法.

5.评估 K-Means聚类的结果:

∞ 界定 tweet 的成员关系 和聚类结果


∞ 通过多维缩放和PCA算法执行降维分析到两维



∞ 绘制聚类


6.流水线:

∞ 调优相关聚类K值数目


∞ 测量模型成本


∞ 选择优化的模型

在 Twitter数据集上应用Scikit-Learn

Python 有自己的 Scikit-Learn 机器学习库,是最可靠直观和健壮的工具之一 。 使用Pandas 和 Scikit-Learn运行预处理和非监督式学习。 在用Spark MLlib 完成聚类之前,使用Scikit-Learn来探索数据的抽样是非常有益的。这里混合了
7,540 tweets, 它包含了与Apache Spark,Python相关的tweets, 即将到来的总统选举: 希拉里克林顿 和 唐纳德 ,一些时尚相关的 tweets , Lady Gaga 和Justin Bieber的音乐. 在Twitter 数据集上使用
Scikit-Learn 并运行K-Means 聚类算法。

先将样本数据加载到 一个 Pandas dataframe:

  1. import  pandas  as  pd
 
  2. csv_in  =  'C:\\Users\\Amit\\Documents\\IPython  Notebooks\\AN00_Data\\
unq_tweetstxt.csv'
 
  3. twts_df01  =  pd.read_csv(csv_in,  sep  =';',  encoding='utf-8')
 
  4. In  [24]: 
  5. csv(csv_in,  sep  =';',  encoding='utf-8'
  6. In  [24]:
 
  7. twts_df01.count() 
  8. Out[24]: 
  9. Unnamed:  0 7540 
  10. id  7540 
  11. created_at  7540 
  12. user_id 7540 
  13. user_name   7538 
  14. tweet_text  7540 
  15. dtype:  int64 
  16.  
  17. #  Introspecting  the  tweets  text 
  18. In  [82]: 
  19.  
  20. twtstxt_ls01[6910:6920] 
  21. Out[82]: 
  22. ['RT  @deroach_Ismoke:  I  am  NOT  voting  for  #hilaryclinton  https://t.co/jaZZpcHkkJ'
  23. 'RT  @AnimalRightsJen:  #HilaryClinton  What  do  Bernie  Sanders  and Donald  Trump  Have  in  Common?:  He  has  so  far  been  th...  https://t.co/t2YRcGCh6…'
  24. 'I  understand  why  Bill  was  out  banging  other  chicks.......      I mean 
  25. look  at  what  he  is  married  to.....\n@HilaryClinton', 
  26. '#HilaryClinton  What  do  Bernie  Sanders  and  Donald  Trump  Have  in Common?:  He  has  so  far  been  th...  https://t.co/t2YRcGCh67  #Tcot #UniteBlue' 

先从Tweets 的文本中做一个特征提取,使用一个有10000特征和英文停词的TF-IDF 矢量器将数据集向量化:

  1. In  [37]: 
  2.  
  3. print("Extracting  features  from  the  training  dataset  using  a  sparse vectorizer"
  4. t0  =  time() 
  5. Extracting  features  from  the  training  dataset  using  a  sparse 
  6. vectorizer 
  7. In  [38]: 
  8.  
  9. vectorizer  =  TfidfVectorizer(max_df=0.5,  max_features=10000, 
  10. min_df=2,  stop_words='english',use_idf=True
  11. X  =  vectorizer.fit_transform(twtstxt_ls01) 
  12. #  Output  of  the  TFIDF  Feature  vectorizer 
  13. print("done  in  %fs"  %  (time()  -  t0)) 
  14. print("n_samples:  %d,  n_features:  %d"  %  X.shape) 
  15. print() 
  16. done  in  5.232165s 
  17. n_samples:  7540,  n_features:  6638  

数据集被分成拥有6638特征的7540个抽样, 形成稀疏矩阵给 K-Means 聚类算法 ,初始选择7个聚类和最多100次迭代:

  1. In  [47]: 
  2.  
  3. km  =  KMeans(n_clusters=7,  init='k-means++',  max_iter=100,  n_init=1, 
  4. verbose=1) 
  5.  
  6. print("Clustering  sparse  data  with  %s"  %  km) 
  7. t0  =  time() 
  8. km.fit(X) 
  9. print("done  in  %0.3fs"  %  (time()  -  t0)) 
  10.  
  11. Clustering  sparse  data  with  KMeans(copy_x=True,  init='k-means++',  max_iter=100,  n_clusters=7,  n_init=1, 
  12. n_jobs=1,  precompute_distances='auto',  random_state=None, 
  13. tol=0.0001,verbose=1) 
  14. Initialization  complete 
  15. Iteration   0,  inertia  13635.141 
  16. Iteration   1,  inertia  6943.485 
  17. Iteration   2,  inertia  6924.093 
  18. Iteration   3,  inertia  6915.004 
  19. Iteration   4,  inertia  6909.212 
  20. Iteration   5,  inertia  6903.848 
  21. Iteration   6,  inertia  6888.606 
  22. Iteration   7,  inertia  6863.226 
  23. Iteration   8,  inertia  6860.026 
  24. Iteration   9,  inertia  6859.338 
  25. Iteration  10,  inertia  6859.213 
  26. Iteration  11,  inertia  6859.102 
  27. Iteration  12,  inertia  6859.080 
  28. Iteration  13,  inertia  6859.060 
  29. Iteration  14,  inertia  6859.047 
  30. Iteration  15,  inertia  6859.039 
  31. Iteration  16,  inertia  6859.032 
  32. Iteration  17,  inertia  6859.031 
  33. Iteration  18,  inertia  6859.029 
  34. Converged  at  iteration  18 
  35. done  in  1.701s  

在18次迭代后 K-Means聚类算法收敛,根据相应的关键词看一下7个聚类的结果 . Clusters 0 和6 是关于音乐和时尚的 Justin Bieber 和Lady Gaga 相关的tweets.

Clusters 1 和5 是与美国总统大选 Donald Trump和 Hilary Clinton相关的tweets. Clusters 2 和3 是我们感兴趣的Apache Spark 和Python. Cluster 4 包含了 Thailand相关的 tweets:

  1. #  Introspect  top  terms  per  cluster 
  2.  
  3. In  [49]: 
  4.  
  5. print("Top  terms  per  cluster:"
  6. order_centroids  =  km.cluster_centers_.argsort()[:,  ::-1] 
  7. terms  =  vectorizer.get_feature_names() 
  8. for  i  in  range(7): 
  9.     print("Cluster  %d:"  %  i,  end=''
  10.     for  ind  in  order_centroids[i,  :20]: 
  11.         print('  %s'  %  terms[ind],  end=''
  12.         print() 
  13.  
  14. Top  terms  per  cluster: 
  15. Cluster  0:  justinbieber  love  mean  rt  follow  thank  hi https 
  16. whatdoyoumean  video  wanna  hear  whatdoyoumeanviral  rorykramer  happy  lol making  person  dream  justin 
  17. Cluster  1:  donaldtrump  hilaryclinton  rt  https  trump2016 
  18. realdonaldtrump  trump  gop  amp  justinbieber  president  clinton  emails oy8ltkstze  tcot  like  berniesanders  hilary  people  email 
  19. Cluster  2:  bigdata  apachespark  hadoop  analytics  rt  spark  training chennai  ibm  datascience  apache  processing  cloudera  mapreduce  data  sap https  vora  transforming  development 
  20. Cluster  3:  apachespark  python  https  rt  spark  data  amp  databricks  using new  learn  hadoop  ibm  big  apache  continuumio  bluemix  learning  join  open 
  21. Cluster  4:  ernestsgantt  simbata3  jdhm2015  elsahel12  phuketdailynews dreamintentions  beyhiveinfrance  almtorta18  civipartnership  9_a_6 
  22. 25whu72ep0  k7erhvu7wn  fdmxxxcm3h  osxuh2fxnt  5o5rmb0xhp  jnbgkqn0dj ovap57ujdh  dtzsz3lb6x  sunnysai12345  sdcvulih6g 
  23. Cluster  5:  trump  donald  donaldtrump  starbucks  trumpquote 
  24. trumpforpresident  oy8ltkstze  https  zfns7pxysx  silly  goy  stump trump2016  news  jeremy  coffee  corbyn  ok7vc8aetz  rt  tonight 
  25. Cluster  6:  ladygaga  gaga  lady  rt  https  love  follow  horror  cd  story ahshotel  american  japan  hotel  human  trafficking  music  fashion  diet queen  ahs  

我们将通过画图来可视化结果。由于我们有6638个特征的7540个抽样,很难多维可视化,所以通过MDS算法来降维描绘 :

  1. import  matplotlib.pyplot  as  plt 
  2. import  matplotlib  as  mpl 
  3. from  sklearn.manifold  import  MDS 
  4.  
  5. MDS() 
  6.  
  7. #  Bring  down  the  MDS  to  two  dimensions  (components)  as  we  will  plot the  clusters 
  8. mds  =  MDS(n_components=2,  dissimilarity="precomputed",  random_state=1) 
  9.  
  10. pos  =  mds.fit_transform(dist) #  shape  (n_components,  n_samples) 
  11.  
  12. xs,  ys  =  pos[:,  0],  pos[:,  1] 
  13.  
  14. In  [67]: 
  15.  
  16. #  Set  up  colors  per  clusters  using  a  dict 
  17. cluster_colors  =  {0:  '#1b9e77',  1:  '#d95f02',  2: '#7570b3',  3:'#e7298a',  4:  '#66a61e',  5:  '#9990b3',  6:  '#e8888a'
  18.  
  19. #set  up  cluster  names  using  a  dict 
  20. cluster_names  =  {0:  'Music,  Pop'
  21. 1:  'USA  Politics,  Election'
  22. 2:  'BigData,  Spark'
  23. 3:  'Spark,  Python'
  24. 4:  'Thailand'
  25. 5:  'USA  Politics,  Election'
  26. 6:  'Music,  Pop'
  27. In  [115]: 
  28. #  ipython  magic  to  show  the  matplotlib  plots  inline 
  29. %matplotlib  inline 
  30.  
  31. #  Create  data  frame  which  includes  MDS  results,  cluster  numbers  and 
  32. tweet  texts  to  be  displayed 
  33. df  =  pd.DataFrame(dict(x=xs,  y=ys,  label=clusters,  txt=twtstxt_ls02_ 
  34. utf8)) 
  35. ix_start  =  2000 
  36. ix_stop =  2050 
  37. df01  =  df[ix_start:ix_stop] 
  38.  
  39. print(df01[['label','txt']]) 
  40. print(len(df01)) 
  41. print() 
  42.  
  43. #  Group  by  cluster 
  44.  
  45. groups  =  df.groupby('label'
  46. groups01  =  df01.groupby('label'
  47.  
  48. #  Set  up  the  plot 
  49.  
  50. fig,  ax  =  plt.subplots(figsize=(17,  10)) 
  51. ax.margins(0.05) 
  52.  
  53. #  Build  the  plot  object 
  54. for  name,  group  in  groups01: 
  55. ax.plot(group.x,  group.y,  marker='o',  linestyle='',  ms=12, 
  56. label=cluster_names[name],  color=cluster_colors[name], 
  57. mec='none'
  58. ax.set_aspect('auto'
  59. ax.tick_params(\ 
  60. axis=  'x', #  settings  for  x-axis 
  61. which='both',   # 
  62. bottom='off',   # 
  63. top='off',  # 
  64. labelbottom='off'
  65. ax.tick_params(\ 
  66. axis=  'y', #  settings  for  y-axis 
  67. which='both',   # 
  68. left='off', # 
  69. top='off',  # 
  70. labelleft='off'
  71.  
  72. ax.legend(numpoints=1)  # 
  73. #  Add  label  in  x,y  position  with  tweet  text 
  74. for  i  in  range(ix_start,  ix_stop): 
  75. ax.text(df01.ix[i]['x'],  df01.ix[i]['y'],  df01.ix[i]['txt'], 
  76. size=10) 
  77.  
  78. plt.show()  #  Display  the  plot 
  79.  
  80.  
  81. label   text 
  82. 2000    2   b'RT  @BigDataTechCon:  ' 
  83. 2001    3   b"@4Quant  's  presentat" 
  84. 2002    2   b'Cassandra  Summit  201'  

这是Cluster 2的图, 由蓝点表示Big Data 和 Spark; Cluster 3, 由红点表示Spark 和Python,以及相关的 tweets 内容抽样 :

利用 Scikit-Learn 的处理结果,已经探索到数据的一些好的见解,现在关注在Twitter数据集上执行 Spark MLlib。

预处理数据集

为了准备在数据集上运行聚类算法,现在聚焦特征提取和工程化。我们实例化Spark Context,读取 Twitter 数据集到一个 Spark dataframe. 然后,对tweet文本数据连续分词,应用哈希词频算法到 tokens, 并最终应用 Inverse Document Frequency 算法,重新缩放数据 。代码如下:

  1. In  [3]: 
  2. #  Read  csv  in  a  Panda  DF 
  3. import  pandas  as  pd 
  4. csv_in  =  '/home/an/spark/spark-1.5.0-bin-hadoop2.6/examples/AN_Spark/data/unq_tweetstxt.csv' 
  5. pddf_in  =  pd.read_csv(csv_in,  index_col=None,  header=0,  sep=';',encoding='utf-8'
  6.  
  7. In  [4]: 
  8.  
  9. sqlContext  =  SQLContext(sc) 
  10.  
  11. In  [5]: 
  12.  
  13. #  Convert  a  Panda  DF  to  a  Spark  DF 
  14.  
  15. spdf_02  =  sqlContext.createDataFrame(pddf_in[['id',  'user_id',  'user_name',  'tweet_text']]) 
  16.  
  17. In  [8]: 
  18.  
  19. spdf_02.show() 
  20.  
  21. In  [7]:  
  22. spdf_02.take(3) 
  23.  
  24. Out[7]: 
  25.  
  26. [Row(id=638830426971181057,  user_id=3276255125,  user_name=u'True Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance:  9_A_6:dreamintentions:  elsahel12:  simbata3:  JDHM2015:  almtorta18:dreamintentions:\u2026  https://t.co/VpD7FoqMr0'), 
  27. Row(id=638830426727911424,  user_id=3276255125,  user_name=u'True 
  28. Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance: 
  29. PhuketDailyNews:  dreamintentions:  elsahel12:  simbata3:  JDHM2015:almtorta18:  CiviPa\u2026  https://t.co/VpD7FoqMr0'), 
  30. Row(id=638830425402556417,  user_id=3276255125,  user_name=u'True 
  31. Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance:  9_A_6: 
  32. ernestsgantt:  elsahel12:  simbata3:  JDHM2015:  almtorta18: 
  33. CiviPartnership:  dr\u2026  https://t.co/EMDOn8chPK')] 
  34.  
  35. In  [9]: 
  36.  
  37. from  pyspark.ml.feature  import  HashingTF,  IDF,  Tokenizer 
  38.  
  39. In  [10]: 
  40.  
  41. #  Tokenize  the  tweet_text 
  42. tokenizer  =  Tokenizer(inputCol="tweet_text",outputCol="tokens"
  43. tokensData  =  tokenizer.transform(spdf_02) 
  44.  
  45. In  [11]: 
  46.  
  47. tokensData.take(1) 
  48.  
  49. Out[11]: 
  50.  
  51. [Row(id=638830426971181057,  user_id=3276255125,  user_name=u'True Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance:9_A_6:  dreamintentions:  elsahel12:  simbata3:  JDHM2015:almtorta18:  dreamintentions:\u2026  https://t.co/VpD7FoqMr0'
  52. tokens=[u'ernestsgantt:',  u'beyhiveinfrance:',  u'9_a_6:'
  53. u'dreamintentions:',  u'elsahel12:',  u'simbata3:',  u'jdhm2015:',u'almtorta18:',  u'dreamintentions:\u2026',  u'https://t.co/vpd7foqmr0'])] 
  54.  
  55. In  [14]: 
  56. #  Apply  Hashing  TF  to  the  tokens 
  57. hashingTF  =  HashingTF(inputCol="tokens", outputCol="rawFeatures",numFeatures=2000) 
  58. featuresData  =  hashingTF.transform(tokensData) 
  59.  
  60. In  [15]: 
  61.  
  62. featuresData.take(1) 
  63.  
  64. Out[15]: 
  65.  
  66. [Row(id=638830426971181057,  user_id=3276255125,  user_name=u'True Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance:9_A_6:  dreamintentions:  elsahel12:  simbata3:  JDHM2015:almtorta18:  dreamintentions:\u2026  https://t.co/VpD7FoqMr0'
  67. tokens=[u'ernestsgantt:',  u'beyhiveinfrance:',  u'9_a_6:'
  68. u'dreamintentions:',  u'elsahel12:',  u'simbata3:',  u'jdhm2015:',u'almtorta18:',  u'dreamintentions:\u2026',  u'https://t.co/vpd7foqmr0'], 
  69. rawFeatures=SparseVector(2000,  {74:  1.0,  97:  1.0,  100:  1.0,  160:  1.0,185:  1.0,  742:  1.0,  856:  1.0,  991:  1.0,  1383:  1.0,  1620:  1.0}))] 
  70.  
  71. In  [16]: 
  72.  
  73. #  Apply  IDF  to  the  raw  features  and  rescale  the  data 
  74. idf  =  IDF(inputCol="rawFeatures",  outputCol="features"
  75. idfModel  =  idf.fit(featuresData) 
  76. rescaledData  =  idfModel.transform(featuresData) 
  77.  
  78. for  features  in  rescaledData.select("features").take(3): 
  79.     print(features) 
  80.  
  81. In  [17]: 
  82.  
  83. rescaledData.take(2) 
  84.  
  85. Out[17]: 
  86.  
  87. [Row(id=638830426971181057,  user_id=3276255125,  user_name=u'True Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance:9_A_6:  dreamintentions:  elsahel12:  simbata3:  JDHM2015:almtorta18:  dreamintentions:\u2026  https://t.co/VpD7FoqMr0'
  88. tokens=[u'ernestsgantt:',  u'beyhiveinfrance:',  u'9_a_6:'
  89. u'dreamintentions:',  u'elsahel12:',  u'simbata3:',  u'jdhm2015:',u'almtorta18:',  u'dreamintentions:\u2026',  u'https://t.co/vpd7foqmr0'], 
  90. rawFeatures=SparseVector(2000,  {74:  1.0,  97:  1.0,  100:  1.0,  160:1.0,  185:  1.0,  742:  1.0,  856:  1.0,  991:  1.0,  1383:  1.0,  1620:  1.0}), 
  91. features=SparseVector(2000,  {74:  2.6762,  97:  1.8625,  100:  2.6384,  160:2.9985,  185:  2.7481,  742:  5.5269,  856:  4.1406,  991:  2.9518,  1383:4.694,  1620:  3.073})), 
  92. Row(id=638830426727911424,  user_id=3276255125,  user_name=u'True 
  93. Equality',  tweet_text=u'ernestsgantt:  BeyHiveInFrance: 
  94. PhuketDailyNews:  dreamintentions:  elsahel12:  simbata3: 
  95. JDHM2015:  almtorta18:  CiviPa\u2026  https://t.co/VpD7FoqMr0', 
  96. tokens=[u'ernestsgantt:',  u'beyhiveinfrance:',  u'phuketdailynews:',u'dreamintentions:',  u'elsahel12:',  u'simbata3:',  u'jdhm2015:',u'almtorta18:',  u'civipa\u2026',  u'https://t.co/vpd7foqmr0'], 
  97. rawFeatures=SparseVector(2000,  {74:  1.0,  97:  1.0,  100:  1.0,  160:1.0,  185:  1.0,  460:  1.0,  987:  1.0,  991:  1.0,  1383:  1.0,  1620:  1.0}), 
  98. features=SparseVector(2000,  {74:  2.6762,  97:  1.8625,  100:  2.6384,160:  2.9985,  185:  2.7481,  460:  6.4432,  987:  2.9959,  991:  2.9518,  1383:4.694,  1620:  3.073}))] 
  99.  
  100. In  [21]: 
  101.  
  102. rs_pddf  =  rescaledData.toPandas() 
  103.  
  104. In  [22]: 
  105.  
  106. rs_pddf.count() 
  107.  
  108. Out[22]: 
  109.  
  110. id  7540 
  111. user_id 7540 
  112. user_name   7540 
  113. tweet_text  7540 
  114. tokens  7540 
  115. rawFeatures 7540 
  116. features    7540 
  117. dtype:  int64 
  118.  
  119.  
  120. In  [27]: 
  121.  
  122. feat_lst  =  rs_pddf.features.tolist() 
  123.  
  124. In  [28]: 
  125. feat_lst[:2] 
  126.  
  127. Out[28]: 
  128.  
  129. [SparseVector(2000,  {74:  2.6762,  97:  1.8625,  100:  2.6384, 160:  2.9985,185:  2.7481,  742:  5.5269,  856:  4.1406,  991:  2.9518,  1383: 4.694,  1620: 
  130. 3.073}), 
  131. SparseVector(2000,  {74:  2.6762,  97:  1.8625,  100:  2.6384, 160:  2.9985,185:  2.7481,  460:  6.4432,  987:  2.9959,  991:  2.9518,  1383: 4.694,  1620:3.073})] 

运行聚类算法

在Twitter数据集上运行 K-Means 算法, 作为非标签的tweets, 希望看到Apache Spark tweets 形成一个聚类。 遵从以前的步骤, 特征的 TF-IDF 稀疏向量转化为一个 RDD 将被输入到 Spark MLlib 程序。初始化 K-Means 模型为 5 聚类, 10 次迭代:

  1. In  [32]: 
  2.  
  3. from  pyspark.mllib.clustering  import  KMeans,  KMeansModel 
  4. from  numpy  import  array 
  5. from  math  import  sqrt 
  6.  
  7. In  [34]: 
  8.  
  9. #  Load  and  parse  the  data 
  10.  
  11.  
  12. in_Data  =  sc.parallelize(feat_lst) 
  13.  
  14. In  [35]: 
  15.  
  16. in_Data.take(3) 
  17.  
  18. Out[35]: 
  19.  
  20. [SparseVector(2000,  {74:  2.6762,  97:  1.8625,  100:  2.6384, 160:  2.9985,185:  2.7481,  742:  5.5269,  856:  4.1406,  991:  2.9518,  1383: 4.694,  1620:3.073}), 
  21. SparseVector(2000,  {74:  2.6762,  97:  1.8625,  100:  2.6384, 160:  2.9985,185:  2.7481,  460:  6.4432,  987:  2.9959,  991:  2.9518,  1383: 4.694,  1620:3.073}),   
  22. SparseVector(2000,  {20:  4.3534,  74:  2.6762,  97:  1.8625,  100:  5.2768,185:  2.7481,  856:  4.1406,  991:  2.9518,  1039:  3.073,  1620:  3.073,  1864:4.6377})] 
  23.  
  24. In  [37]: 
  25.  
  26. in_Data.count() 
  27.  
  28. Out[37]: 
  29.  
  30. 7540 
  31.  
  32. In  [38]: 
  33.  
  34. #  Build  the  model  (cluster  the  data) 
  35.  
  36. clusters  =  KMeans.train(in_Data,  5,  maxIterations=10, 
  37. runs=10,  initializationMode="random"
  38.  
  39. In  [53]: 
  40.  
  41. #  Evaluate  clustering  by  computing  Within  Set  Sum  of  Squared  Errors 
  42.  
  43. def  error(point): 
  44.     center  =  clusters.centers[clusters.predict(point)] 
  45.     return  sqrt(sum([x**2  for  x  in  (point  -  center)])) 
  46.  
  47. WSSSE  =  in_Data.map(lambda  point:  error(point)).reduce(lambda  x,  y:  x +  y) 
  48. print("Within  Set  Sum  of  Squared  Error  =  "  +  str(WSSSE))  

评估模型和结果

聚类算法调优的一个方式是改变聚类的个数并验证输出. 检查这些聚类,感受一下目前的聚类结果:

  1. In  [43]: 
  2.  
  3. cluster_membership  =  in_Data.map(lambda  x:clusters.predict(x)) 
  4.  
  5. In  [54]:   
  6. cluster_idx  =  cluster_membership.zipWithIndex() 
  7.  
  8. In  [55]: 
  9.  
  10. type(cluster_idx) 
  11.  
  12. Out[55]: 
  13.  
  14. pyspark.rdd.PipelinedRDD 
  15.  
  16. In  [58]: 
  17.  
  18. cluster_idx.take(20) 
  19.  
  20. Out[58]: 
  21.  
  22. [(3, 0), 
  23. (3, 1), 
  24. (3, 2), 
  25. (3, 3), 
  26. (3, 4), 
  27. (3, 5), 
  28. (1, 6), 
  29. (3, 7), 
  30. (3, 8), 
  31. (3, 9), 
  32. (3, 10), 
  33. (3, 11), 
  34. (3, 12), 
  35. (3, 13), 
  36. (3, 14), 
  37. (1, 15), 
  38. (3, 16), 
  39. (3, 17), 
  40. (1, 18), 
  41. (1, 19)] 
  42.  
  43. In  [59]: 
  44.  
  45. cluster_df  =  cluster_idx.toDF() 
  46.  
  47. In  [65]: 
  48. pddf_with_cluster  =  pd.concat([pddf_in,  cluster_pddf],axis=1) 
  49.  
  50. In  [76]: 
  51.  
  52. pddf_with_cluster._1.unique() 
  53.  
  54. Out[76]: 
  55.  
  56. array([3,  1,  4,  0,  2]) 
  57.  
  58. In  [79]: 
  59.  
  60. pddf_with_cluster[pddf_with_cluster['_1']  ==  0].head(10) 
  61.  
  62. Out[79]: 
  63. Unnamed:  0 id  created_at  user_id user_name   tweet_text  _1 _2 
  64. 6227    3   642418116819988480  Fri  Sep  11  19:23:09  +0000  2015 
  65. 49693598    Ajinkya  Kale   RT  @bigdata:  Distributed  Matrix  Computations 
  66. i...    0   6227 
  67. 6257    45  642391207205859328  Fri  Sep  11  17:36:13  +0000  2015 
  68. 937467860   Angela  Bassa   [Auto]  I'm  reading  ""Distributed  Matrix 
  69. Comput...   0   6257 
  70. 6297    119 642348577147064320  Fri  Sep  11  14:46:49  +0000 
  71. 2015    18318677    Ben  Lorica Distributed  Matrix  Computations  in  @ 
  72. ApacheSpar...   0   6297 
  73. In  [80]: 
  74.  
  75. pddf_with_cluster[pddf_with_cluster['_1']  ==  1].head(10) 
  76.  
  77. Out[80]: 
  78. Unnamed:  0 id  created_at  user_id user_name   tweet_text  _1 
  79. _2 
  80. 6   6   638830419090079746  Tue  Sep  01  21:46:55  +0000  2015 
  81. 2241040634  Massimo  Carrisi    Python:Python:  Removing  \xa0  from 
  82. string?  -  I  ...  16 
  83. 15  17  638830380578045953  Tue  Sep  01  21:46:46  +0000  2015 
  84. 57699376    Rafael  Monnerat    RT  @ramalhoorg:  Noite  de  autógrafos  do 
  85. Fluent  ... 115 
  86. 18  41  638830280988426250  Tue  Sep  01  21:46:22  +0000  2015 
  87. 951081582   Jack  Baldwin   RT  @cloudaus:  We  are  3/4  full!  2-day  @ 
  88. swcarpen... 1   18 
  89. 19  42  638830276626399232  Tue  Sep  01  21:46:21  +0000  2015 
  90. 6525302 Masayoshi  Nakamura PynamoDB  #AWS  #DynamoDB  #Python 
  91. https://...  1   19 
  92. 20  43  638830213288235008  Tue  Sep  01  21:46:06  +0000  2015 
  93. 3153874869  Baltimore  Python   Flexx:  Python  UI  tookit  based  on  web 
  94. technolog...    1   20 
  95. 21  44  638830117645516800  Tue  Sep  01  21:45:43  +0000  2015 
  96. 48474625    Radio  Free  Denali Hmm,  emerge  --depclean  wants  to  remove 
  97. somethi...  1   21 
  98. 22  46  638829977014636544  Tue  Sep  01  21:45:10  +0000  2015 
  99. 154915461   Luciano  Ramalho    Noite  de  autógrafos  do  Fluent  Python  no 
  100. Garoa  ...  122 
  101. 23  47  638829882928070656  Tue  Sep  01  21:44:47  +0000  2015 
  102. 917320920   bsbafflesbrains @DanSWright  Harper  channeling  Monty 
  103. Python.  "...   1   23 
  104. 24  48  638829868679954432  Tue  Sep  01  21:44:44  +0000  2015 
  105. 134280898   Lannick  Technology RT  @SergeyKalnish:  I  am  #hiring: 
  106. Senior  Back  e...  1   24 
  107. 25  49  638829707484508161  Tue  Sep  01  21:44:05  +0000  2015 
  108. 2839203454  Joshua  Jones   RT  @LindseyPelas:  Surviving  Monty  Python 
  109. in  Fl...   1   25 
  110. In  [81]: 
  111.  
  112. pddf_with_cluster[pddf_with_cluster['_1']  ==  2].head(10) 
  113.  
  114. Out[81]: 
  115. Unnamed:  0 id  created_at  user_id user_name   tweet_text  _1 
  116. _2 
  117. 7280    688 639056941592014848  Wed  Sep  02  12:47:02  +0000  2015 
  118. 2735137484  Chris   A  true  gay  icon  when  will  @ladygaga  @Madonna  @... 
  119. 2   7280 
  120. In  [82]: 
  121.  
  122. pddf_with_cluster[pddf_with_cluster['_1']  ==  3].head(10) 
  123.  
  124. Out[82]: 
  125. Unnamed:  0 id  created_at  user_id user_name   tweet_text  _1 
  126. _2 
  127. 0   0   638830426971181057  Tue  Sep  01  21:46:57  +0000  2015 
  128. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance:  9_A_6: 
  129. dreamint... 3   0 
  130. 1   1   638830426727911424  Tue  Sep  01  21:46:57  +0000  2015 
  131. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance: 
  132. PhuketDailyNews...  3   1 
  133. 2   2   638830425402556417  Tue  Sep  01  21:46:56  +0000  2015 
  134. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance:  9_A_6: 
  135. ernestsg... 3   2 
  136. 3   3   638830424563716097  Tue  Sep  01  21:46:56  +0000  2015 
  137. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance: 
  138. PhuketDailyNews...  3   3 
  139. 4   4   638830422256816132  Tue  Sep  01  21:46:56  +0000  2015 
  140. 3276255125  True  Equality  ernestsgantt:  elsahel12:  9_A_6: 
  141. dreamintention...   3   4 
  142. 5   5   638830420159655936  Tue  Sep  01  21:46:55  +0000  2015 
  143. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance: 
  144. PhuketDailyNews...  3   5 
  145. 7   7   638830418330980352  Tue  Sep  01  21:46:55  +0000  2015 
  146. 3276255125  True  Equality  ernestsgantt:  elsahel12:  9_A_6: 
  147. dreamintention...   3   7 
  148. 8   8   638830397648822272  Tue  Sep  01  21:46:50  +0000  2015 
  149. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance: 
  150. PhuketDailyNews...  3   8 
  151. 9   9   638830395375529984  Tue  Sep  01  21:46:49  +0000  2015 
  152. 3276255125  True  Equality  ernestsgantt:  elsahel12:  9_A_6: 
  153. dreamintention...   3   9 
  154. 10  10  638830392389177344  Tue  Sep  01  21:46:49  +0000  2015 
  155. 3276255125  True  Equality  ernestsgantt:  BeyHiveInFrance: 
  156. PhuketDailyNews...  3   10 
  157. In  [83]: 
  158.  
  159. pddf_with_cluster[pddf_with_cluster['_1']  ==  4].head(10) 
  160.  
  161. Out[83]: 
  162. Unnamed:  0 id  created_at  user_id user_name   tweet_text  _1 
  163. _2 
  164. 1361    882 642648214454317056  Sat  Sep  12  10:37:28  +0000  2015 
  165. 27415756    Raymond  Enisuoh    LA  Chosen  For  US  2024  Olympic  Bid  - 
  166. LA2016  See...  4   1361 
  167. 1363    885 642647848744583168  Sat  Sep  12  10:36:01  +0000  2015 
  168. 27415756    Raymond  Enisuoh    Prison  See:  https://t.co/x3EKAExeFi  …  …  … 
  169. …  …  ...   41363 
  170. 5412    11  640480770369286144  Sun  Sep  06  11:04:49  +0000  2015 
  171. 3242403023  Donald  Trump  2016 "  igiboooy!  @  Starbucks  https://t. 
  172. co/97wdL... 4   5412 
  173. 5428    27  640477140660518912  Sun  Sep  06  10:50:24  +0000  2015 
  174. 3242403023  Donald  Trump  2016 "   @  Starbucks  https://t.co/ 
  175. wsEYFIefk7  "  -  D...  4   5428 
  176. 5455    61  640469542272110592  Sun  Sep  06  10:20:12  +0000  2015 
  177. 3242403023  Donald  Trump  2016 "  starbucks  @  Starbucks  Mam  Plaza 
  178. https://t.co... 4   5455 
  179. 5456    62  640469541370372096  Sun  Sep  06  10:20:12  +0000  2015 
  180. 3242403023  Donald  Trump  2016 "  Aaahhh  the  pumpkin  spice  latte  is 
  181. back,  fall...  4   5456 
  182. 5457    63  640469539524898817  Sun  Sep  06  10:20:12  +0000  2015 
  183. 3242403023  Donald  Trump  2016 "  RT  kayyleighferry:  Oh  my  goddd 
  184. Harry  Potter  ...  45457 
  185. 5458    64  640469537176031232  Sun  Sep  06  10:20:11  +0000  2015 
  186. 3242403023  Donald  Trump  2016 "  Starbucks  https://t.co/3xYYXlwNkf 
  187. "  -  Donald... 4   5458  

我们以部分样本tweet映射成5个聚类. Cluster 0 关于 Spark. Cluster 1

关于 Python。 Cluster 2 关于 Lady Gaga。 Cluster 3 关于Thailand’s Phuket

新闻。 Cluster 4 关于 Donald Trump.

构建机器学习流水线

我们希望当优化最佳参数来获得最好执行模型时,能够组合特征提取,准备活动,训练,测试,和预测活动。

在 Spark MLlib 中实现了强大的机器学习流水线,以5行代码准确地捕获了下面的tweet:

Spark ML 流水线是从 Python’s Scikit-Learn 中得到了灵感,创建了简洁数据连续转换的声明式语句可以快速地发布可调的模型。

Spark2.1.0入门:Spark的安装和使用

是英雄还是狗熊?大数据那些事之SparkSQL

Apache Spark 内存管理详解

Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势

Spark Spark MLlib 机器学习
上一篇:吴思楠机器学习之路:Numpy里多维数组的创建 下一篇:机器学习研究与开发平台的选择
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

刷脸取件被小学生“破解”!丰巢紧急下线 精选

近日,#小学生发现刷脸取件bug#的话题引发关注!这是真的吗?都市快报《好奇实验室》进行了验证。

好奇实验室 ·  4天前
4 分钟!OpenAI 的机器手学会单手解魔方了,完全自学无需编程 精选

OpenAI 的机器手学会单手解魔方了,而且还原一个三阶魔方全程只花了 4 分钟,其灵巧程度让人自叹不如。

佚名 ·  2019-10-16 13:52:13
MIT新研究表明机器学习不能标记假新闻

麻省理工学院研究人员发表的两篇新论文显示,当前的机器学习模型还不能完成区分虚假新闻报道的任务。在不同的研究人员表明计算机可以令人信服地生成虚构新闻故事而无需太多人为监督之后,一些专家希望可以训练基于相同机器学习的系统来检测此类新闻。

佚名 ·  2019-10-16 11:52:15
高位截瘫患者重新行走:靠意念指挥外骨骼,法国脑机接口新突破 精选

依靠介入头部的 2 个传感器,法国里昂的一名瘫痪男子 Thibault 实现了操控外骨骼装备来助力行走。

孙滔 ·  2019-10-15 10:10:00
2008 年预测 2020 年生活方式:基本都实现了

美国皮尤研究中心曾在 2008 年预测 2020 年的生活方式,目前来看,该研究的预测基本已经实现。而对于未来 10 年,也就是 2030 年左右人们的生活,在 2017 年底的世界经济论坛上,800 多名信息和通讯技术领域的技术高管和专家给出了如下预测。

佚名 ·  2019-10-15 10:03:43
机器学习的正则化是什么意思?

正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;所以说,使用正则化的目的就是为了防止过拟合。

佚名 ·  2019-10-15 10:01:43
机器学习的正则化是什么意思?

正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;所以说,使用正则化的目的就是为了防止过拟合。

佚名 ·  2019-10-15 10:01:43
为什么我的CV模型不好用?没想到原因竟如此简单……

机器学习专家 Adam Geitgey 近日发布了一篇文章探讨了这一简单却又让很多人头痛的问题,并分享了他为解决这一问题编写的自动图像旋转程序。

机器之心 ·  2019-10-15 09:46:46
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载