从零开始:你也能创建随时可用神经网络

作者: 李佳惠 2018-01-09 10:05:55

 无论是开始接受还是从事一些新事物,总是不容易的。机器学习是可能需要尽快学习新项目的编程技能之一,但你或许并不知道从哪里开始。当然,在这个大社交媒体、门户网站经常出现的这个词,或许真的是出现在你简历上的一个很好的证明。

本文将使用Clojure和Cortex进行机器学习。你将学习如何从头开始创建易于理解和随时可用的神经网络,以及使用经过训练的网络REPL与LISP获得即时结果。

Cortex可能会是比较新的概念,但它是现有机器学习框架的一个非常有力的替代方案。它基于Clojure,消除了培养和运行自己的网络所需的大部分代码。

为了突出如何训练和使用网络,本文将介绍一个创建简单的秘密函数(即网络的秘密),训练网络以便能够计算以前从未见过的输入,并迅速获得好的结果。

Cortex本身就是一个Clojure库,它提供API来创建和训练自己的网络,包括自定义输入、输出和隐藏层,并估计当前训练的网络的好坏。

最小的Clojure项目设置是一个相当标准的Leiningen设置,Leiningen成为Clojure的实际构建工具,安装起来很轻松。

 从零开始:你也可以创建随时可用的神经网络!

我们还将使用REPL之一的Gorilla REPL来绘制Web REPL来绘制函数,稍后会看到。从零开始:你也可以创建随时可用的神经网络!

从零开始:你也可以创建随时可用的神经网络!

Gorilla插件允许运行Web REPL,并可以使用上述project.clj文件中提供的笔记本别名来启动它。 以下是它看起来像一个简单的终端或控制台命令:

从零开始:你也可以创建随时可用的神经网络!

在Clojure命名空间中,将定义以下三件事情:

·网络应该正确映射的秘密功能

·一个随机输入序列的生成器

·数据集生成器,提供网络进行训练。 这将调用secret-fn来产生训练网络所需的输入和输出。

在这个项目中,包含代码的Clojure命名空间在src / tutorial.clj中定义,并将被两个Gorilla笔记本使用。

从零开始:你也可以创建随时可用的神经网络!

在Gorilla REPL启动后,前往以下本地网址:

 从零开始:你也可以创建随时可用的神经网络!

这是REPL所在的地方,你可以在那里跟随笔记本,直接在浏览器中输入Clojure代码和命令。

准备

第一个任务是导入一些Cortex命名空间。

从零开始:你也可以创建随时可用的神经网络!

网络和图层名称空间将被用来定义网络的内部。 train命名空间采用网络定义和数据集来产生训练有素的网络。 最后,execute命名空间将训练好的网络和一个额外的仅用于输入的数据集与所提供的输入一起运行网络。 tutorial名称空间包含上面编写的代码,带有隐藏函数和数据集生成器。

创建和测试输入生成器将是第一步。 输入生成器会生成许多由两个元素组成的元组。

从零开始:你也可以创建随时可用的神经网络!

随机序列生成器可以提供输入和输出数据集,内部使用隐藏函数。

现在生成数据的样子已经很清楚了,我们来创建两个数据集:都是20000个元素。 教数据集将被用来告诉网络什么是已知的,应该记住什么是真的,而测试数据集将被用来测试网络的正确性并计算它的分数。 有两个完全不同的集合通常会更好。

从零开始:你也可以创建随时可用的神经网络!

现在有两个强大的、奇妙的数据集,就可以编写网络,网络被定义为由四层组成的共同线性网络。

两层将用于预期的输入和输出,而另外两层将定义内部结构。 定义神经网络的层次本身就是一门艺术。 在这里,我们把双曲正切作为激活函数。实际上一个经过良好训练的网络,它有两个激活层。

看到这里,有一个很好的介绍它的话题。

第一层定义了网络入口和输入,并且有两个元素作为一个输入,并且输入的标签被命名为:x

最后一层定义了网络的输出,只有一个元素,其ID将是:y

使用Cortex API提供了下面的小型网络代码:

从零开始:你也可以创建随时可用的神经网络!

所有需要训练网络的模块都被定义了,就像女王曾说过的一句话:

这一切都和训练有关:如果你训练有素的话,你可以做很多事情。——英国女王伊丽莎白二世

训练

训练的目标是拥有自己的训练网络,你可以立即使用或者提供给其他用户,以便他们可以完全独立使用你的网络。

训练是分步完成的。每个步骤都采用批处理中的教学数据集的元素,并用一些系数缓慢地拟合每个图层的块,以便整个图层组可以给出接近期望输出的结果。我们正在使用的激活功能在某种意义上就是模仿人类的记忆过程。

在每个示教步骤之后,使用提供的测试数据集对网络进行准确性测试。在这个阶段,网络与现有的内部部门一起运行,并与之前的版本进行比较,以了解它是否执行得更好,从而计算出一种被称为网络丢失的情况。

如果发现网络比上一次更好,Cortex会将网络保存为一个NIPPY文件,该文件是网络的一个压缩版本,以地图的形式表示。说够了;让我们最后开始那个训练。

从零开始:你也可以创建随时可用的神经网络!

训练的输出将在日志文件中,如果你看,你可以在日志中看到的第一件事就是网络是如何在内部表示的。 以下是不同的图层,每个图层的输入和输出尺寸以及要适合的参数数量。

从零开始:你也可以创建随时可用的神经网络!

然后,每个步骤/时代都会获得新的分数,以及网络是否更好,并在这种情况下,保存。

每个步骤的得分都会给出网络的有效性,并且损失越接近零,网络执行得越好。 所以,在训练你的网络的同时,你的目标应该是尽可能地将损失值尽可能接近零。

3000次的全面训练只需要几分钟,一旦完成,就可以立即了解训练的网络是如何运作的。 如果时间比较紧张,1,500-2,000是一个很好的时间范围,可以让你在速度和已经相当精确的训练好的网络之间做出妥协。

培训完成后,将在当前文件夹中找到新的my-fn.nippy文件。 这是一个基于训练的Cortex网络版本的压缩文件。

伴随项目中包含了训练有素的网络mynetwork.nippy的副本。 网络的损失方面让人比较满意,值接近于零,如下所示。

从零开始:你也可以创建随时可用的神经网络!

让我们用手动定义的自定义输入来给新训练的网络一个镜头。

从零开始:你也可以创建随时可用的神经网络!

这非常接近预期的0 * 1 = 0输出。

现在,让我们尝试一下网络从来没有见过的双值元组。

从零开始:你也可以创建随时可用的神经网络!

7.42比预期的结果相当好,5 * 1.5 = 7.5。

使用网络

正如你所见,训练有素的网络被保存在一个NIPPY文件中。 该文件可以被网络的外部“用户”加载和使用。 从现在开始,如果你看看提供的笔记本,你可以加载下面的注释:注释:

从零开始:你也可以创建随时可用的神经网络!

用户需要一些名称空间。 本教将执行命名空间(即util)用于从文件中加载网络,并且由Gorilla插件提供绘图来绘制值。

之后,我们计划绘制预期的结果与网络提供的结果。

从零开始:你也可以创建随时可用的神经网络!

加载训练好的网络是使用Cortex提供的read-nippy-file功能的简单方法。

从零开始:你也可以创建随时可用的神经网络!

我们以前没有看过,但是网络确实是一个地图,你可以检查它的顶级密钥。

从零开始:你也可以创建随时可用的神经网络!

检查网络经历的历元数量以及当前的损失值是一个好主意。

 从零开始:你也可以创建随时可用的神经网络!

你可以确认载入网络的结果与上一节中刚刚接受训练的版本相同。

从零开始:你也可以创建随时可用的神经网络!

现在,让我们用加载的网络生成一堆结果并绘制它们。 (在新的输入集上运行网络对于你来说现在可能是微不足道的!)

从零开始:你也可以创建随时可用的神经网络!

当然,我们可以检查网络产生的一些结果值。

 从零开始:你也可以创建随时可用的神经网络!

可以使用Gorilla提供的来自 Gorilla-plot.core命名空间的绘图功能进行绘图。 在这里,我们将只关注输出,将使用Clojure的平坦函数来创建一个输出值的平集合,而不是在结果中找到的向量序列。

从零开始:你也可以创建随时可用的神经网络!

在指定颜色后,知道图应该使用线条而不是点,可以在浏览器REPL中直接看到下面的图形。

从零开始:你也可以创建随时可用的神经网络!

你也可以生成一个由已知或未隐藏函数直接产生的预期结果与训练网络产生的结果组成的“组合”图。

从零开始:你也可以创建随时可用的神经网络!

这两条线实际上太靠近了,完全相互重叠。

从零开始:你也可以创建随时可用的神经网络!

重新训练

从那里,一个有趣的进展路径将是采取目前训练的网络,并通过使用更多的数据集,并再次运行皮层训练n功能使其更好。

从零开始:你也可以创建随时可用的神经网络!

注意:通过指定一个新的网络文件,可以保留一个独立版本的更新网络。

而且,对于新的数据集和一个新的训练周期,仍然有一个很好的机会来实现一个更好的网络,在这种情况下,使用新的文件名再次保存网络。

从零开始:你也可以创建随时可用的神经网络!

结论

在这篇文章中你已经看到了如何训练自己的神经网络来模拟已知函数的输出。 了解了如何生成并提供用于训练的所需数据集,以及Cortex如何保存最佳网络的文件版本。

现在有一些想法是:

尝试相同的一个不同的隐藏你自己的功能。

更改网络元数据中功能和网络的输入和输出参数的数量。

如果网络性能不尽如人意,可在网络的不同层面上花费一些时间,找到更好的配置。

神经网络 Clojure Cortex
上一篇:中国AI黑科技征战2018CES,准儿翻译机惊艳全球消费电子“奥斯卡” 下一篇:Splunk预测2018年人工智能和机器学习的三大趋势
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

预测分析:重新考虑组织中的时间和数据

时间序列是一种标准的分析方法,但是较为先进的机器学习工具引入了统计技术,来建立更精确的预测模型。时间是无法倒流的,但是使用现有的工具,您有更多的机会预测时间,更准确地说,是可以预测时间序列样本中的事件是否会继续影响决策趋势。

IT168 ·  2019-09-27 09:57:09
微众银行AI首席科学家NeurIPS论文揭示“神经网络防盗最新技术”

随着深度神经网络(DNN)的快速发展,机器学习服务(MLaaS)等有潜力的商业模式迅速崛起,AI产业化进入发展快车道。然而,保护训练好的DNN模型免于被非法复制,重新分发或滥用(即知识产权侵权)是AI产业化进程中必须要面临和解决的问题。尤其是当下各国企业在深度学习模型和平台方面进行巨额研发投入,对知识产权的保护刻不容缓。

屈鑫 ·  2019-09-26 15:27:09
2019年较热门的5大深度学习课程

今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

猿哥 ·  2019-09-26 05:16:24
脆弱的神经网络:UC Berkeley详解对抗样本生成机制!

用于「欺骗」神经网络的对抗样本(adversarial example)是近期计算机视觉,以及机器学习领域的热门研究方向。只有了解对抗样本,我们才能找到构建稳固机器学习算法的思路。本文中,UC Berkeley 的研究者们展示了两种对抗样本的制作方法,并对其背后的原理进行了解读。

机器之心 ·  2019-09-18 19:20:28
NLP模型超越人类水平?你可能碰到了大忽悠

要明确的是,这也不是说像BERT这样的大型模型或深度学习都是无用的。但是,对于深度学习模型在高级自然语言理解任务中表现出的近乎人类表现的报告,我们应该持怀疑态度。

大数据文摘 ·  2019-09-10 13:48:12
一文看尽26种神经网络激活函数(从ReLU到Sinc)

在本文中,作者对包括 Relu、Sigmoid 在内的 26 种激活函数做了可视化,并附上了神经网络的相关属性,为大家了解激活函数提供了很好的资源。

机器之心 ·  2019-08-29 10:10:52
生产环境中轻松部署深度学习模型

将经过训练的神经网络部署到应用程序和服务中可能会给基础设施经理带来挑战。多个框架、未充分利用的基础设施和缺乏标准实施,这些挑战甚至可能导致AI项目失败。本文探讨了如何应对这些挑战。

布加迪 ·  2019-08-08 08:00:00
60行代码徒手实现深度神经网络

针对当前数据数据集,选择ReLu激活函数,采用双隐藏层,每个隐藏层节点数设置为3是一个不错的选择,AUC得分为0.99979。

佚名 ·  2019-07-25 08:20:37
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载