编程和数学基础不佳如何入门人工智能?

作者: 赵宁 2017-12-14 10:25:32

一、人工智能的发展现状

1.1 概念

根据维基百科的解释,人工智能是被机器展示的智力,与人类和其他动物的自然智能相反,在计算机科学中 AI 研究被定义为 “代理人软件程序”:任何能够感受周围环境并且能最大化它成功机会的设备。

1.2 重大事件

  • 2016 年 3 月 ,AlphaGo 与当时世界排名第四、职业九段棋手李世石,进行围棋人机大战,以 4:1 总比分获胜。
  • 2016 年 10 月 ,美国白宫发布了《为未来人工智能做好准备》和《美国国家人工智能研究与发展策略规划》两份重磅报告,详细阐述了美国未来的人工智能发展规划以及人工智能给政府工作带来的挑战与机遇。

VentureBeat 对这两份报告进行了总结,得出了 7 个浅显易懂的要点:

1. 人工智能应当被用于造福人类;

2. 政府应该拥抱人工智能;

3. 需要对自动汽车和无人机进行管制;

4. 要让所有孩子都跟上技术的发展;

5. 使用人工智能补充而非取代人类工作者;

6. 消除数据中的偏见或不要使用有偏见的数据;

7. 考虑安全和全球影响。

  • 2016 年双十一 ,鲁班首次服务双十一,制作了 1.7 亿章商品展示广告,提升商品点击率 100%。如果全靠设计师人手来完成,假设每张图需要耗时 20 分钟,满打满算需要 100 个设计师连续做 300 年。

2017 年,鲁班的设计水平显著提升,目前已经学习百万级的设计师创意内容,拥有演变出上亿级的设计能力。此外,鲁班已经实现一天制作 4000 万张海报能力,没有一张会完全一样。

  • 2017 年 5 月 ,AlphaGo Master 战胜世界冠军柯洁。
  • 2017 年 10 月 18 日 ,DeepMind 团队公布了最强版本 AlphaGo, 代号 AlphaGo Zero。
  • 2017 年 10 月 25 日 ,在沙特举行的未来投资计划大会上,沙特阿拉伯授予美国汉森机器人公司生产的 “女性” 机器人索菲亚公民身份。

作为世界上首个获得公民身份的机器人,索菲亚当天说,“她” 希望用人工智能 “帮助人类过上更好的生活”,同时对支持 “AI 威胁论” 的马斯克说 “人不犯我,我不犯人”!

会后,马斯克在推特上说:“把电影《教父》输入了人工智能系统,还能有什么比这个更糟的?” 教父是好莱坞经典电影,剧情充满了背叛和谋杀。

索菲亚被授予公民身份后所产生的伦理问题也是人们不得不考虑的

近几年人工智能领域的大新闻太多,这里不一一列举

二、人工智能、深度学习、机器学习、增强学习之间的关系是怎样的

如图所示,人工智能是一个大类,包括专家系统、知识表示、机器学习等等,其中机器学习是目前最火也是发展最好的一个分支,机器学习中又包括监督学习、非监督学习、深度学习,增强学习等等。

监督学习 ,就是人们常说的分类,通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优则表示在某个评价准则下是最佳的)。

再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就具有了对未知数据进行分类的能力。

举例来说,我们上幼儿园的时候经常做的一个活动叫 看图识字 ,如上图所示,老师会给我们看很多图片,下面配了文字,时间长了之后,我们大脑中会形成抽象的概念,两个犄角,一条短尾巴,胖胖的(特征)…

这样的动物是牛;圆的,黄的,发光的,挂在天上的 … 是太阳;人长这样。等再看到类似的东西时我们便能认出来,即使跟以前看到的不完全一样,但是符合在我们大脑中形成的概念,如下图所示。

非监督学学习 则是另一种研究的比较多的学习方法,它与监督学习的不同之处,在于我们事先没有任何训练样本,而需要直接对数据进行建模。

举个例子,如图所示,在没有任何提示(无训练集)的情况下,需要把下列六个图形分成两类,你会怎么分呢,当然是第一排一类,第二排一类,因为第一排形状更接近,第二排形状更接近。

非监督学习就是在实现不知道数据集分类的情况下在数据中寻找特征。

深度学习 是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的算法。

深度学习概念由著名科学家 Geoffrey Hinton 等人在 2006 年和 2007 年在《Sciences》等上发表的文章被提出和兴起。

深度学习,作为机器学习中延伸出来的一个领域,被应用在图像处理与计算机视觉,自然语言处理以及语音识别等领域。

自 2006 年至今,学术界和工业界合作在深度学习方面的研究与应用在以上领域取得了突破性的进展。以 ImageNet 为数据库的经典图像中的物体识别竞赛为例,击败了所有传统算法,取得了前所未有的精确度。

增强学习 也是机器学习一个重要的分支,是通过观察来学习做成如何的动作。每个动作都会对环境有所影响,学习对象根据观察到的周围环境的反馈来做出判断。

三、数学基础有多重要

对于数学基础知识,需要高中数学知识加上高数、线性代数、统计学、概率论,即使掌握的不是很完善,但是至少要知道概念,在用到的时候知道去哪查。

如果基础不好,可以先看看吴军的《数学之美》,讲的比较通俗易懂。也可以边做边学,实践是检验真理的唯一标准,毕竟大多数人还是以工程实践为主,如果你想做研究理论的科学家,并不适合看本文。

四、入门级机器学习算法

4.1 决策树

判定树是一个类似于流程图的树结构:其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布。树的最顶层是根结点。

例:现有一个数据集,表示一些的人的年龄、收入、是否是学生、信用、是否会买电脑。年龄有年轻,中年,老年三种;收入有高中低;信用有一般和很好。数据及保存在 AllElectronics.csv 中。

现在在有一个新的人(数据),要判断这个人是否会买电脑。

  1. allElectronicsData = open(r'D:\deeplearning\AllElectronics.csv''rb'
  2.  
  3. reader = csv.reader(allElectronicsData)    
  4.  
  5. headers = reader.next()  
  6.  
  7.  
  8. print(headers) 
  9.  
  10. featureList = [] 
  11.  
  12. labelList = [] #最后一列  
  13.  
  14.  
  15. for row in reader: 
  16.  
  17.     #print(row) 
  18.  
  19.     labelList.append(row[len(row)-1])  #在元祖末尾添加元素 
  20.  
  21.     rowDict = {} 
  22.  
  23.     for i in range(1,len(row)-1): 
  24.  
  25.         rowDict[headers[i]] = row[i] 
  26.  
  27.     featureList.append(rowDict) 
  28.  
  29. print(featureList) 
  30.  
  31. print(labelList)  
  32.  
  33.  
  34. vec = DictVectorizer() 
  35.  
  36. dummyX = vec.fit_transform(featureList).toarray()   
  37.  
  38. print("dummyX:" + str(dummyX)) 
  39.  
  40. print(vec.get_feature_names())  
  41.  
  42.  
  43. lb = preprocessing.LabelBinarizer() 
  44.  
  45. dummyY = lb.fit_transform(labelList) 
  46.  
  47. print("dummyY:" + str(dummyY))   
  48.  
  49.  
  50.  
  51. clf = tree.DecisionTreeClassifier(criterion='entropy')  
  52.  
  53. clf = clf.fit(dummyX,dummyY) 
  54.  
  55. print("clf: "+ str(clf))   
  56.  
  57.  
  58. with open("allElectronicInformationGainDri.dot",'w'as f: 
  59.  
  60.     f = tree.export_graphviz(clf,feature_names=vec.get_feature_names(),out_file = f)  #在当前工作目录生成  .dot 文件  
  61.  
  62.  
  63. oneRowX = dummyX[0, :] 
  64.  
  65. print("oneRowx: " + str(oneRowX))   
  66.  
  67.  
  68. newRowX = oneRowX  
  69.  
  70.  
  71.  
  72. newRowX[0] = 1 
  73.  
  74. newRowX[2] = 0 
  75.  
  76. print("newRowX: " + str(newRowX))  
  77.  
  78.  
  79. predictedY = clf.predict(newRowX) 
  80.  
  81. print("predictedY:" + str(predictedY))   

4.2 最临近取样

最临近取样就是把已有数据分成几类,对新输入的数据计算与已知数据的距离,距离哪一个近,就把新数据分到哪一类,例如下图所示的电影分类,对于最后一行未知电影类型的电影,根据打斗次数和接吻次数,距离浪漫型更近,应该被归类为浪漫型电影。

例:irisdata.txt 实在网上下载的鸢尾属植物数据集,根据数据集合,对新的数据进行分类

  1. # coding:utf-8  
  2.  
  3.  
  4.   #不调用库,自己实现 knn 算法 
  5.  
  6.   import csv   #读取 CSV 文件用的模块,读取数据用的 
  7.  
  8.   import random #随机数计算 
  9.  
  10.   import math  #数学计算 
  11.  
  12.   import operator 
  13.  
  14.   from bokeh.util.session_id import random 
  15.  
  16.   from boto.beanstalk import response 
  17.  
  18.   from dask.array.learn import predict  
  19.  
  20.  
  21.  
  22.   # 装载数据集  filename:数据集文件名 split:以数据集中某个位置为结点,把数据集分为 trainingSet 和 testSet 
  23.  
  24.   def loadDataSet(filename, split, trainingSet=[], testSet=[]): 
  25.  
  26.       with open(filename, 'rb'as csvfile: 
  27.  
  28.           lines = csv.reader(csvfile)  #把所有行存入 lines 
  29.  
  30.           dataset = list(lines) #把数据转换为 list 格式 
  31.  
  32.           for x in range(len(dataset)-1): 
  33.  
  34.               for y in range(4): 
  35.  
  36.                   dataset[x][y] = float(dataset[x][y]) 
  37.  
  38.               if random.random() < split:   #如果随机值小于 split 
  39.  
  40.                   trainingSet.append(dataset[x])  #则加到 trainingSet 
  41.  
  42.               else
  43.  
  44.                   testSet.append(dataset[x])  
  45.  
  46.  
  47.   #欧几里德距离 :坐标差的平方的和再开根号    还有曼哈顿距离 
  48.  
  49.   def euclideanDistance(instance1, instance2, length):    
  50.  
  51.       distance = 0 
  52.  
  53.       for x in range(length): 
  54.  
  55.           distance += pow((instance1[x] -instance2[x]), 2) 
  56.  
  57.       return math.sqrt(distance)  
  58.  
  59.  
  60.   #返回距离 testInstance 最近 trainingSet 的 K 个邻居 
  61.  
  62.   def getNeighbours(trainingSet, testInstance, k): 
  63.  
  64.       distances = [] 
  65.  
  66.       length =len(testInstance) - 1 
  67.  
  68.       for x in range(len(trainingSet)): 
  69.  
  70.           dist = euclideanDistance(testInstance, trainingSet[x], length)  #每一个训练集数据和实例数据之间的距离 
  71.  
  72.           distances.append((trainingSet[x],dist)) 
  73.  
  74.       distances.sort(key=operator.itemgetter(1)) #sort 排序为从小到大 
  75.  
  76.   #取前 k 个最近的 neighbors     
  77.  
  78.       neighbors = [] 
  79.  
  80.       for x in range(k):   
  81.  
  82.           neighbors.append(distances[x][0])   
  83.  
  84.       return neighbors  
  85.  
  86.  
  87.   #根据少数服从多数的原则判断要预测实例属于哪一类。计算 testInstance 到 trainingSet 距离最近的个数,返回最多的那一类 
  88.  
  89.   def getResponse(neighbors): 
  90.  
  91.       classVotes = {} 
  92.  
  93.       for x in range(len(neighbors)): 
  94.  
  95.           response = neighbors[x][-1] 
  96.  
  97.           if response in classVotes: 
  98.  
  99.               classVotes[response] += 1 
  100.  
  101.           else
  102.  
  103.               classVotes[response] = 1 
  104.  
  105.       sortedVotes = sorted(classVotes.iteritems(), key=operator.itemgetter(1), reverse=True
  106.  
  107.       return sortedVotes[0][0]  
  108.  
  109.  
  110.   #获取预测的准确率 testSet:测试数据集  predictions:用代码预测的类别集合 
  111.  
  112.   def getAccuracy(testSet, predictions): 
  113.  
  114.       correct = 0 
  115.  
  116.       for x in range(len(testSet)): 
  117.  
  118.           if testSet[x][-1] == predictions[x]:  #-1 表示数组的最后一个值。  
  119.  
  120.               correct += 1 
  121.  
  122.       return(correct/float(len(testSet))) * 100.0  
  123.  
  124.  
  125.   def main(): 
  126.  
  127.       trainingSet=[] 
  128.  
  129.       testSet=[] 
  130.  
  131.       split = 0.67  #三分之二为训练集 , 三分之一为数据集 
  132.  
  133.       loadDataSet(r'C:\Users\ning\workspace\KNNdata\irisdata.txt', split, trainingSet, testSet) 
  134.  
  135.       print 'Train Set: ' + repr(len(trainingSet)) #repr 转化为字符串 
  136.  
  137.       print 'Test Set: ' + repr(len(testSet))  
  138.  
  139.  
  140.       predictions = [] 
  141.  
  142.       k = 3 
  143.  
  144.       for x in range(len(testSet)): 
  145.  
  146.           neighbors = getNeighbours(trainingSet, testSet[x], k) 
  147.  
  148.           result = getResponse(neighbors) 
  149.  
  150.           predictions.append(result) 
  151.  
  152.           print("> predicted=" + repr(result) + ', actual=' + repr(testSet[x][-1])) 
  153.  
  154.       accuarcy = getAccuracy(testSet, predictions) 
  155.  
  156.       print('Accuracy: ' + repr(accuarcy) + '%'
  157.  
  158.   main() 

4.3 支持向量机

支持向量机(SVM)是从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开 (训练错误率为 0), 且使分类间隔最大。

SVM 考虑寻找一个满足分类要求的超平面 , 并且使训练集中的点距离分类面尽可能的远 , 也就是寻找一个分类面使它两侧的空白区域 (margin) 最大。

这两类样本中离分类面最近的点且平行于最优分类面的超平面上 H1,H2 的训练样本就叫做支持向量。

例:使用 sklearn 库实现 svm 算法, 俗称调库,实际上调库是一个很简单的过程,初级阶段甚至都不需要知道原理。 

  1. # coding:utf-8 
  2.  
  3.     from sklearn import svm 
  4.  
  5.     X = [[2,0], [1,1], [2,3]] 
  6.  
  7.     y = [0,0,1] 
  8.  
  9.     clf = svm.SVC(kernel = 'linear'
  10.  
  11.     clf.fit(X,y)  #ͨ通过 .fit 函数已经可以算出支持向量机的所有参数并保存在 clf 中   
  12.  
  13.     print clf  
  14.  
  15.  
  16.     # get support vectors  
  17.  
  18.     print clf.support_vectors_  
  19.  
  20.  
  21.     #get index of support vectors 
  22.  
  23.     print clf.support_  
  24.  
  25.  
  26.     #get number of support vectors for each class 
  27.  
  28.     print clf.n_support_  
  29.  
  30.  
  31.     #predict data , 参数是二维数组 
  32.  
  33.     print clf.predict([[2, 0], [10,10]]) 

五、书单推荐

  • 《数学之美》吴军
  • 《机器学习》  周志华
  • 《漫谈人工智能》 集智俱乐部
  • 《机器学习实战》  Peter Harrington
  • 《TensorFlow 技术解析与实战》  李嘉璇
  • 《统计学习方法》  李航 
人工智能 编程 数学
上一篇:人工智能进军风控,血肉之躯会不会失业? 下一篇:AI校招程序员最高薪酬曝光!腾讯80万年薪领跑,还送北京户口
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种的翻译一直是一大难题。来自谷歌的研究者提出了一种能够翻译 103 种语言的大规模多语言神经机器翻译模型,在数据丰富和匮乏的语种翻译中都实现了显著的性能提升。

机器之心 ·  2天前
对于人工智能的恐惧及其5个解决方法

实施人工智能技术的IT领导人可能会感到一些恐惧,这有着充分的理由。人工智能在拥有数十年发展和应用历史的同时却有着奇怪的定位,但对于许多人来说,人工智能仍然是一种未来主义的感觉。

Kevin Casey ·  2天前
机器学习免费跑分神器:集成各大数据集,连接GitHub就能用

搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。现在,Papers with Code (那个以论文搜代码的神器) 团队,推出了自动跑分服务,名叫sotabench,以跑遍所有开源模型为己任。

栗子 鱼羊 ·  2天前
用AI实现动画角色的姿势迁移,Adobe等提出新型「木偶动画」

近日,Adobe 和康奈尔大学的研究人员提出一种基于学习的动画制作方法——基于卡通角色的少量图像样本就可生成新动画。

机器之心 ·  2天前
AI新贵登上胡润百富榜:“CV四小龙”三家创始人上榜

AI造福人类,也造富了一些创业者。最近公布的2019胡润百富榜就是窥探老板们身价的好机会。

郭一璞 ·  2天前
大数据为什么不够聪明?机器要如何走向强人工智能

大数据为什么不够聪明?比概率语言更强大的思考工具是什么?科幻电影中的强人工智能到底怎样实现?如何让智能机器像人一样思考?搞清楚因果关系才能拨云见日。

明日情报 ·  2天前
2019 AIIA开发者大会新闻发布会在京召开

10月10日,2019 AIIA人工智能开发者大会新闻发布会在北京成功召开。据悉,2019 AIIA人工智能开发者大会暨第四届中国(杭州)人工智能产业发展论坛将于11月1日-2日在杭州召开。

佚名 ·  3天前
人工智能统计调查:86%的消费者更喜欢人工客服

美国消费者越来越不愿意与聊天机器人聊天,人们对人工智能作为关键业务组成部分的期望越来越高,由于部署这项新技术导致员工技能差距越来越大。

佚名 ·  3天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载