关注 | 有助于机器学习的7个云计算服务

作者: Peter Wayner 2018-10-25 14:14:52

数据分析是很多组织在云计算平台进行的一项主要计算工作,也许是因为IT技术人员擅长编程,或者也许是因为科学家的实验室设备需要直接连接到计算机记录数据,或者也许是因为数据集太大迁移它们非常耗时。

机器学习   云计算

无论是什么原因,科学家和数据分析师都逐渐地接受了远程计算。用于机器学习、人工智能、数据分析的基于云计算的工具日前增多。其中的一些应用是在基于云计算的文档编辑和电子邮件,技术人员可以通过各种设备登录中央存储库,并在远程位置,甚至在路上或海滩上进行工作。云计算可以处理文件备份和同步,简化工作流程。

实际上,数据分析更适合采用云计算。当数据集很大时,云计算用户可以在租用的硬件设施上运行大型作业,从而更快、更好地完成工作。用户没有必要启动电脑花费大量时间进行处理。而采用云计算,只需启动数十个装有大量内存的云计算实例,并在几分钟内观察处理结果,因此可以节省时间和成本。

组织采用云计算也存在一定的风险,而***的风险是对用户隐私的担忧。一些数据分析涉及用户的个人信息。人们已经习惯了在实验室中处理数据的安全问题,很难知道云中发生了什么。

人们对云计算提供商使用的***实践感到满意之前还需要一段时间。人们已经认识到,云计算提供商可能会聘请更多的安全顾问。如果个人电脑连接到全球互联网,那么人们可能会说它已经是云计算的一部分。

幸运的是还有一些解决方法。最简单的方法是使用随机ID替换个人信息等技术来匿名化数据。这种方法并不***,但是它可以在很大程度上缓解黑客在突破云计算的防御之后可能造成的麻烦。

还有一些其他的优点。一些提供商可以向公众共享或开放源数据集,这可能生成更多的组合。一些云计算提供商正在策划自己的数据集,并减少存储成本以吸引用户。如果用户愿意,可以尝试将产品销售与天气或太阳黑子等公共数据集中的任何其他信息相关联。谁知道呢?这里有很多奇怪的相关性。

以下是七种不同的基于云计算的机器学习服务,可帮助人们理解数据集中的相关性和信号。

1. Amazon SageMaker

亚马逊公司创建了SageMaker,以简化使用其机器学习工具的工作。Amazon SageMaker将不同的AWS存储选项(S3、Dynamo、Redshift等)组合在一起,并将数据传输到流行的机器学习库(TensorFlow、MXNet、Chainer等)的Docker容器中。在最终模型作为自己的API部署之前,可以使用Jupyter记事本跟踪所有工作。SageMaker将用户的数据移动到亚马逊公共云的服务器中,因此用户可以专注于思考算法而不是过程。如果要在本地运行算法,可以随时下载Docker镜像以简化操作。

2. 微软Azure机器学习

微软公司已经看到了机器学习的未来,并全力投入到Machine.ingStudio中,这是一种用于在数据中查找信号的复杂图形工具。这就像人工智能的电子表格。有一个拖放界面,用于构建流程图以理解数字。文档上表明“不需要编码”,这在技术上是正确的,但用户仍然需要像程序员一样思考才能有效地使用它,而不会陷入构建代码的困境。但如果错过了语法错误、数据类型以及编程的其他乐趣,用户可以导入用Python、R或其他一些选项编写的模块。

最有趣的选择是,微软公司已添加基础设施,以便从人工智能中学到的内容,并将预测模型转换为在Azure公共云中运行的Web服务。因此,用户可以构建训练集,创建模型,然后只需点击键盘和鼠标,就可以从Azure服务中提供JSON数据包的答案。

3. BigML

BigML是一种用于数据分析的混合仪表板,可以在BigML云平台中使用,也可以在本地安装。其主界面是一个仪表板,列出了所有等待由几十台机器学习分类器、集群器、回归器和异常检测器分析的所有文件。单击并显示结果。

最近,该公司专注于新算法,增强了堆栈提供有用答案的能力。新的Fusion代码可以集成多种算法的结果,以提高准确性。

通过在BigML自己的服务器上采用大量免费套餐。用户还可以在AWS,Azure或谷歌云平台上构建私有部署。如果这仍然比较公开的话,他们会将其部署在用户的私人服务器上。

4. Databricks

Databricks工具集由Apache Spark的一些开发人员构建,他们采用了开源分析平台,并增加了一些显著的速度增强功能,通过一些巧妙的压缩和索引来提高吞吐量。名为Delta的混合数据存储是可以存储大量数据然后快速分析的地方。当新数据到达时,它可以压缩到原有的存储器中以进行快速重新分析。

Apache Spark的所有标准化分析程序都可以在这些数据上运行,但对Spark基础结构进行了一些急需的改进,例如用于分析代码的集成记事本。

Databricks与AWS和Azure集成,并根据消费和性能定价。每个计算引擎都在Databrick Units中测量。企业需要为更快的型号支付更多费用。

5. DataRobot

这里的许多方法都让用户只需点击键盘即可构建机器学习模型。DataRobot宣称能够同时构建数百个模型,只需单击一下键盘即可。在完成模型后,用户可以通过它们进行挑选,找出能够做得更好的模型,并继续进行预测。其秘密是采用一个大规模的并行处理引擎,换句话说就是采用多台机器进行分析。

DataRobot正在通过实施新算法和扩展当前算法来扩展。该公司最近收购了Nutonian,其Eureqa引擎应该增强自动化机器学习平台创建时间序列和分类模型的能力。该系统还为更高级的用户提供了Python API。

DataRobot可通过DataRobot Cloud或嵌入式工程师随附的企业软件版本获得。

6. 谷歌云机器学习引擎

谷歌公司在TensorFlow上投入了大量资金,TensorFlow是用于在数据中查找信号的标准开源库之一,现在用户可以在谷歌云平台中尝试采用TensorFlow。谷歌云机器学习引擎中的一些工具是开源的,对于任何下载它们的用户来说都是免费的,有些工具是谷歌云平台中商业选项的一部分。这使用户可以自由地探索,并避免一些锁定,因为大部分代码都是开源的,并且可以在任何Mac,Windows或Linux机器上运行。

还有几个不同的工具。采用最容易的工具可能是Colaboratory,它将Jupyter记事本连接到谷歌的TensorFlow后端,因此用户可以编写出代码并查看它的运行情况。谷歌公司还为希望进行实验的科学家提供TensorFlow研究云。在合适的情况下,用户可以使用GPU或TPU在谷歌公司的加速硬件上运行机器学习模型。

7. IBM Watson Studio

现在Watson将IBM公司的大部分资源都投入了人工智能。IBM Watson Studio是一种用于在云端或本地中探索数据和训练模型的工具。在数据传入时,其结果在公司的仪表板上显示漂亮的图表。

***的区别可能是桌面版的Watson Studio。用户可以使用基于云计算的版本来研究数据,并享受弹性资源和集中式存储库带来的所有功能。或者用户可以通过防火墙的隐私和桌面的便利做同样的事情。

每个云平台中的机器学习模型

虽然很多人都希望为他们的人工智能研究选择一个仪表板,但是没有理由不采用更多的选择。一旦完成所有预处理和数据清理,用户可以将相同的CSV格式数据提供给所有这些服务,并比较结果以找到***选择。其中一些服务已经提供了算法之间的自动比较。为什么不使用多个呢?

用户还可以利用一些不断发展的开放标准。例如,Jupyter记事本通常无需太多修改即可运行。用户可以在一个平台上进行开发,然后将大部分代码与数据一起移动,以测试不同平台上的任何新算法或不同算法。

人们距离标准化还有很长的路要走,很多算法之间存在着诡异和无法解释的差异。因此,用户不要仅仅考虑一种算法或一种训练方法,而是需要尝试使用尽可能多的不同建模工具。

云计算 机器学习 数据分析
上一篇:川大优秀毕业生在GitHub上建了一个项目,还未完结就获赞无数 下一篇:IBM推出开放式平台:加速AI采用步伐 提高AI透明度
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

数据机器学习在故障检测中的应用

本文将简要介绍几种在故障诊断领域广泛应用的机器学习技术及其各自的应用方向,并对每种技术的优缺点进行简单分析。包括:贝叶斯网络(BN),人工神经网络(ANN),支持向量机(SVM)和隐马尔可夫模型(HMM)技术。

交能网 ·  1天前
人工智能如何改造旅游业

旅游业正在慢慢地将人工智能融入到行业当中,并为游客提供个性化定制体验。在人工智能的帮助下,旅游业的业务流程和客户服务都发生了改变。

佚名 ·  1天前
治愈大脑,人机共生,马斯克为“脑机接口”辩护

随着今年年初特斯拉中国工厂正式开始交付特斯拉 model3 型号电动汽车,特斯拉的股值不断飙升,与此同时特斯拉和马斯克也在新闻媒体上赚足了眼球。

学术君 ·  2天前
如何在Kaggle上打比赛,带你进行一次完整流程体验

Kaggle是一个磨练您的机器学习和数据科学技能的好地方,您可以将自己与他人进行比较,并学习新的技术。在这篇文章中,我们利用一个典型的例子,来给大家演示如何参加Kaggle竞赛。

机器学习与数据分析 ·  3天前
一文读懂即将引爆的TinyML:在边缘侧实现超低功耗机器学习

人工智能AI正在加快速度从“云端”走向“边缘”,进入到越来越小的物联网设备中。在终端和边缘侧的微处理器上,实现的机器学习过程,被称为微型机器学习,即TinyML。

物女王 ·  3天前
谷歌发布TyDi QA语料库,涵盖11种不同类型语言

为了鼓励对多语言问答技术的研究,谷歌发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。

Jonathan Clark ·  4天前
机器学习所需的工程量未来会大大减少 精选

未来,构建 ML 产品将更加有趣,并且这些系统会工作得更好。随着 ML 自动化工具的不断改进,数据科学家和 ML 工程师将把更多的时间花在构建优秀的模型上,而花在与生产级 ML 系统相关的繁琐但必要的任务上的时间会更少。

David LiCause ·  4天前
意料之外 情理之中:解读Gartner 2020年数据科学和机器学习平台魔力象限

最近Gartner发布了数据科学和机器学习(DSML)平台魔力象限报告。数据科学、机器学习和人工智能的市场格局极为分散,竞争激烈且难以理解。Gartner尝试根据明确定义的标准对厂商进行了排名。

佚名 ·  2020-02-21 17:23:21
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载