用Madlib学习『机器学习』之KNN

作者: 孙辉 2017-11-24 10:43:43

前言

机器学习(ML)分为:监督学习,无监督学习,半监督学习等。

1.1 监督学习(supervised learning)

监督学习是训练神经网络和决策树的常见技术,高度依赖事先确定的分类系统给出的信息,对于神经网络,分类系统利用信息判断网络的错误,然后不断调整网络参数。对于决策树,分类系统用它来判断哪些属性提供了最多的信息。

从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。

监督学习的训练集要求包括输入输出,也可以说是特征和目标,训练集中的目标是由人标注的。

常见的有监督学习算法:回归分析和统计分类,最典型的算法是KNN和SVM。

有监督学习最常见的就是:regression & classification

Regression:Y是实数向量,回归问题,就是拟合(x,y)的一条曲线,使得价值函数(cost function) L最小。

Classification:Y是一个有穷数(finite number),可以看做类标号,分类问题首先要给定有label的数据训练分类器,故属于有监督学习过程,分类过程中cost function l(X,Y)是X属于类Y的概率的负对数。

其中fi(X)=P(Y=i/X)。

有监督学习方法必须要有训练集与测试样本,在训练集中找规律,而对测试样本使用这种规律。

有监督学习的方法就是识别事物,识别的结果表现在给待识别数据加上了标签,因此训练样本集必须由带标签的样本组成。

1.2 名词KNN

k-Nearest Neighbors

在一个给定的数据点上找出k个最近的数据点,在分类的情况下输出输出类的多数投票值,以及在回归情况下目标值的平均值。

撸袖子

2.1 新新相映

软件是基于***的postgresql 10.0加上***的madlib 1.12。

为了操作方便,我这里使用基于docker的ubuntu 16.04安装madlib,这样以后就可以拿着这个镜像到处嗨了,以下操作就是在MAC里面进行的。

2.2 查看madlib版本

  1. #select madlib.version();

2.3 导入训练数据

  1. DROP TABLE IF EXISTS knn_train_data; 
  2. CREATE TABLE knn_train_data ( 
  3.                     id integer,  
  4.                     data integer[],  
  5.                     label float 
  6.                     ); 
  1. INSERT INTO knn_train_data VALUES 
  2. (1, '{1,1}', 1.0), 
  3. (2, '{2,2}', 1.0), 
  4. (3, '{3,3}', 1.0), 
  5. (4, '{4,4}', 1.0), 
  6. (5, '{4,5}', 1.0), 
  7. (6, '{20,50}', 0.0), 
  8. (7, '{10,31}', 0.0), 
  9. (8, '{81,13}', 0.0), 
  10. (9, '{1,111}', 0.0);
  1. SELECT * from knn_train_data ORDER BY id; 

2.4 导入测试数据

  1. DROP TABLE IF EXISTS knn_test_data; 
  2. CREATE TABLE knn_test_data ( 
  3.                     id integer,  
  4.                     data integer[] 
  5.                     ); 
  1. INSERT INTO knn_test_data VALUES 
  2. (1'{2,1}'), 
  3. (2'{2,6}'), 
  4. (3'{15,40}'), 
  5. (4'{12,1}'), 
  6. (5'{2,90}'), 
  7. (6'{50,45}');
  1. SELECT * from knn_test_data ORDER BY id; 

2.5 分类训练

  1. SELECT * FROM madlib.knn( 
  2.                 'knn_train_data',      -- 训练数据表名 
  3.                 'data',                -- 训练数据所在列 
  4.                 'label',               -- 训练标签 
  5.                 'knn_test_data',       -- 测试数据表名 
  6.                 'data',                -- 测试数据所在列 
  7.                 'id',                  -- 测试数据列名id 
  8.                 'madlib_knn_result_classification',  -- 结果输出 
  9.                 'c',                   -- 分类 
  10.                  3                     -- 最近相邻数 
  11.                 );               

2.6 查看分类输出结果

  1. SELECT * from madlib_knn_result_classification ORDER BY id; 

图形化示例:

2.7 进行回归

  1. DROP TABLE IF EXISTS madlib_knn_result_regression; 
  2. SELECT * FROM madlib.knn( 
  3.                 'knn_train_data',      -- 训练数据表名 
  4.                 'data',                -- 训练数据所在列 
  5.                 'label',               -- 训练标签 
  6.                 'knn_test_data',       -- 测试数据表名 
  7.                 'data',                -- 测试数据所在列 
  8.                 'id',                  -- 测试数据列名id 
  9.                 'madlib_knn_result_regression',  --结果输出 
  10.                 'r',                   -- 回归 
  11.                  3                     -- 最近相邻数 
  12.                 ); 

2.8 查看回归输出结果

  1. SELECT * from madlib_knn_result_regression ORDER BY id; 

图形化示例:

小结

postgresql提供了对结构化数据的存储和加工的便捷,madlib提供了ML算法的支持,强强联手,相得益彰。

【作者简介】孙辉,DataHunter技术总监。曾在索尼等知名公司任职,先后担任过系统架构、技术总监等职位,负责过尚邮,索爱中文输入法,快牙,mPush(魔推)等知名产品研发。拥有15年深厚IT技术行业经验,熟悉掌控产品研发各个环节,有丰富的后端、前端、运维、DBA、测试经验。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

Madlib 机器学习
上一篇:黑箱难题仍在阻碍深度学习的普及 下一篇:深入浅出解读卷积神经网络
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

数据机器学习在故障检测中的应用

本文将简要介绍几种在故障诊断领域广泛应用的机器学习技术及其各自的应用方向,并对每种技术的优缺点进行简单分析。包括:贝叶斯网络(BN),人工神经网络(ANN),支持向量机(SVM)和隐马尔可夫模型(HMM)技术。

交能网 ·  1天前
人工智能如何改造旅游业

旅游业正在慢慢地将人工智能融入到行业当中,并为游客提供个性化定制体验。在人工智能的帮助下,旅游业的业务流程和客户服务都发生了改变。

佚名 ·  1天前
治愈大脑,人机共生,马斯克为“脑机接口”辩护

随着今年年初特斯拉中国工厂正式开始交付特斯拉 model3 型号电动汽车,特斯拉的股值不断飙升,与此同时特斯拉和马斯克也在新闻媒体上赚足了眼球。

学术君 ·  2天前
如何在Kaggle上打比赛,带你进行一次完整流程体验

Kaggle是一个磨练您的机器学习和数据科学技能的好地方,您可以将自己与他人进行比较,并学习新的技术。在这篇文章中,我们利用一个典型的例子,来给大家演示如何参加Kaggle竞赛。

机器学习与数据分析 ·  3天前
一文读懂即将引爆的TinyML:在边缘侧实现超低功耗机器学习

人工智能AI正在加快速度从“云端”走向“边缘”,进入到越来越小的物联网设备中。在终端和边缘侧的微处理器上,实现的机器学习过程,被称为微型机器学习,即TinyML。

物女王 ·  3天前
谷歌发布TyDi QA语料库,涵盖11种不同类型语言

为了鼓励对多语言问答技术的研究,谷歌发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。

Jonathan Clark ·  4天前
机器学习所需的工程量未来会大大减少 精选

未来,构建 ML 产品将更加有趣,并且这些系统会工作得更好。随着 ML 自动化工具的不断改进,数据科学家和 ML 工程师将把更多的时间花在构建优秀的模型上,而花在与生产级 ML 系统相关的繁琐但必要的任务上的时间会更少。

David LiCause ·  4天前
意料之外 情理之中:解读Gartner 2020年数据科学和机器学习平台魔力象限

最近Gartner发布了数据科学和机器学习(DSML)平台魔力象限报告。数据科学、机器学习和人工智能的市场格局极为分散,竞争激烈且难以理解。Gartner尝试根据明确定义的标准对厂商进行了排名。

佚名 ·  2020-02-21 17:23:21
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载