民主化与自动化:降低机器学习门槛的六大工具

作者: CashCat 2019-09-06 09:00:33

过去,机器学习这个名词的头上曾经笼着科学的光环,只有少数高薪数据科学家才懂得如何用数据“喂养”复杂的算法,得出有用的分析结果。但如今随着自动化工具的快速发展,数据的采集、结构化和分析已经变得更加容易,机器学习的使用门槛已经大幅降低,即使那些不懂编程的业务人员,只要能提出正确的问题,同样也能用机器学习工具得到想要的结果。

机器学习

机器学习的民主化进程正在加速,标志之一就是AutoML最近成了热门词汇,所谓AutoML就是给机器学习算法增加了一个自动化的meta层。过去,机器学习算法的复杂之处在于需要进行大量选项和参数设置来“微调”,而数据科学家们的精力80-99%都花在这上面。AutoML能够自动测试并调优大量参数,不但大大降低算法使用门槛,也加快了算法调优过程。

AutoML是云计算的天作之合,因为在云端AutoML可以调用足够的机器算力来并行处理并返回结果,同时,AutoML也非常适合机器学习的新手循序渐进自行探索机器学习应用。

6种工具让机器学习不再难

以下介绍的六种机器学习工具为那些使用数字、电子表格和数据的人们打开了通向机器学习世界的大门,而且不需要他们成为编程和数据科学方面的专家。

1. Splunk的

Splunk最初是作为一种搜索工具,对Web应用程序创建的大量日志文件进行搜索(或“窥探”)。如今它已经发展成为能够分析所有形式数据的工具,特别是时间序列和其他按顺序生成的数据。Splunk能够将将数据分析结果显示在一个复杂的可视化仪表板中。

最新的Splunk版本包括将数据源与TensorFlow等机器学习工具和一些优秀Python开源工具集成的应用程序。它们提供快速解决方案,用于检测异常值,标记异常并生成对未来值的预测。它们经过优化,可以在非常大的数据集中海底捞针。

2. DataRobot

DataRobot内部的堆栈是一些用R、Python或其他几个平台编写的好用的开源机器库的集合。DataRobot有一个Web界面,显示用于设置管道的类似流程图的工具。DataRobot连接到所有主要数据源,包括本地数据库,云数据存储和下载的文件或电子表格。您构建的管道可以清理数据,填充缺失值,然后生成标记异常值并预测未来值的模型。

DataRobot还可以尝试提供关于为什么进行某些预测的“人性化解释”,这是了解AI如何工作的有用功能。

它可以部署在云和本地解决方案的混合方案中。云端实施可以通过共享资源提供最大的并行性和吞吐量,而本地安装提供更多的隐私和控制。

3. H2O

H2O对自己的定位是“无人驾驶AI”,这个自动化堆栈可以用来探索各种机器学习解决方案。它将数据源(数据库,Hadoop,Spark等)连接在一起,并将它们提供给具有各种参数的各种算法。您可以控制分配给特定任务的时间量和计算资源,并在预算内测试各种参数组合。你也可以通过仪表板或Jupyter笔记本来探索和审核结果。

H2O的核心机器学习算法以及与Spark等工具的集成是开源的,但所谓的“无人驾驶”选项是销售给企业客户的专有软件包之一,提供技术支持。

4. RapidMiner

RapidMiner生态系统的核心是一个基于可视图标进行数据分析的工作室软件。用户只需拖放图标来生成一个管道,进行数据清理,然后通过各种统计算法运行它。如果您想使用机器学习而不是更传统的数据科学,自动模型将从多种分类算法中进行选择,并搜索各种参数,直到找到最佳拟合。该工具的目标是生成数百个模型,然后确定最佳模型。

创建模型后,该工具可以部署它们,同时测试它们的成功率并解释模型如何做出决策。可以使用可视化工作流编辑器测试和调整对不同数据字段的敏感度。

最近的增强功能包括更好的文本分析,用于构建可视化仪表板的更多种类的图表以及用于分析时间序列数据的更复杂的算法。

5. BigML

BigML仪表板提供了数据科学的常用基本工具用于识别数据相关性,这是更复杂的机器学习工作的基础。例如,他们的Deepnets提供了用于测试和优化更精细的神经网络的复杂机制。可以将模型的质量与其他算法进行比较,并使用标准化的比较框架,帮助您在经典数据科学和更复杂的机器学习之间进行选择。

BigML的仪表板在浏览器中运行,其分析可以在BigML云中运行,也可以在服务器机房中运行。云版本的价格设置较低,以鼓励早期测试; 甚至还有一个免费图层。成本主要取决于数据集大小的限制以及可以调用的计算资源量。免费套餐将使用不超过两个并行运行的进程分析最多16MB的数据。较小的付费账户的定价非常合理,每月只需30美元,但随着资源需求的增加,成本会上升。

6. R Studio

R对于非程序员用户来说并不友好,但它仍然是复杂统计分析最重要的工具之一,因为它非常受核心数据科学家的欢迎。R Studio是一个工具,为用户提供一组菜单和点击选项,使其更容易与内部运行的R层交互。

通过R Studio,那些能够处理电子表格的高级管理人员可以使用最简单的选项来运行基本分析,甚至是一些复杂的分析。虽然R Studio的有些部分依然让普通用户感到困惑,但R Studio正处于开放的边缘,每个愿意投入一些时间的人都可以访问使用,对于想要探索尖端工具的人来说,R Studio值得一试。

机器学习 算法 数据科学
上一篇:基于 AI 篡改的网络攻击来了 下一篇:人工智能在医疗保健行业应用面临的5个障碍
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

算法攻破人脸识别「口罩」难题,两天落地千人小区准确率达97% | AI 战疫

日益成熟的人工智能,正成为抗击新冠肺炎疫情战线上一群特别的「逆行者」。

Synced ·  1天前
高效的机器学习研究者,应该具备这 6 个习惯

一名优秀的机器学习研究员有哪些特质?是码力超强?还是理论功底一骑绝尘?码力和理论固然重要,但是良好的习惯才应该是检验是否优秀的唯一标准。

AI科技评论 ·  1天前
机器学习第一步,这是一篇手把手的随机森林入门实战

到了 2020 年,我们已经能找到很多好玩的机器学习教程。本文则从最流行的随机森林出发,手把手教你构建一个模型,它的完整流程到底是什么样的。

机器之心 ·  2天前
精心整理,机器学习的3大学习资源

机器学习有无尽可能性,该领域薪资高,工作者在工作上能享受到极大乐趣,这让他们大多数时候感觉不像工作。然而,零经验者如何在合理时间内掌握机器学习?本文会给出答案。

读芯术 ·  3天前
欺诈不可怕,机器学习算法分分钟拿下! 精选

根据一项调查,采用基于AI的解决方案的防欺诈专家中有80%认为AI对打击欺诈者有效。但是,仍然存在的问题是弄清楚哪种机器学习算法可以有效地检测未知的欺诈模式。监督学习和无监督学习算法哪一个更有效?

读芯术 ·  4天前
为什么用Go编写机器学习的基础架构,而不是Python?

虽然Python是使用广泛的语言,并用于每个主要的机器学习框架中。然而,你能想象?在Cortex(将机器学习模型部署为API的开放源代码平台之一)代码库中,87.5%的代码都是使用GO编写。

读芯术 ·  2020-02-14 13:13:04
人工智能“捷径”将模拟速度提高数十亿倍

即使用最快的超级计算机模拟复杂的自然现象也要花上几个小时,如大气雾霾如何影响气候。

辛雨 ·  2020-02-14 09:40:14
2020年了,深度学习接下来到底该怎么走?

机器学习资深从业者 Ajit Rajasekharan 在本文中汇集了深度学习领域各路大佬的想法,并分享了他本人的一些思考。

亚希伯恩•菲 ·  2020-02-13 16:50:19
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载