对象存储适合人工智能和机器学习的三个原因

作者: Gary Ogasawara 2020-06-02 11:19:39

 

如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。以下是对象存储(而不是文件或块存储)适用在加强人工智能和机器学习工作负载的三个主要原因:

1.可扩展性

当有大量不同的数据源可供学习时,采用人工智能和机器学习技术最有效。数据科学家利用这些丰富的数据来训练领域模型。在“大数据的五个V”(数量、类型、速度、准确性和价值)中,前两个(数量和类型)最为重要。简而言之,人工智能和机器学习依赖于大量不同的数据(图像、文本、结构化和半结构化数据)来构建有用的模型,提供准确的结果,并最终提供业务价值。

对象存储是很具扩展性的存储架构,特别适合支持人工智能和机器学习所需的大量数据。对象存储旨在通过水平扩展方法实现无限增长,从而使企业可以通过在需要的位置和时间添加节点来增加部署。由于对象存储使用单个全局名称空间,因此也可以一次在多个地理位置上进行这种扩展。另一方面,文件和块系统通常采用扩展方法。这意味着这些平台通过向单个节点添加更多计算资源来实现垂直扩展,这最终会受到限制。他们无法通过部署其他节点来增加计算资源,从而无法有效地水平扩展。

2. API

健壮灵活的数据API对于人工智能和机器学习非常重要,如上所述,它们使用了多种数据类型。存储平台需要支持API来容纳各种数据。此外,人工智能和机器学习的创新越来越多地在公共云上进行,但是仍然有相当一部分人工智能和机器学习在内部部署数据中心或私有云中发生,这取决于用例的具体情况(例如,科学研究和医疗保健等领域通常最适合私有云)。这意味着组织需要一个存储API,以支持公共云和本地/私有云中的工作负载。

文件和块存储平台所支持的API受限制,部分原因是它们是较旧的架构。相比之下,对象存储使用云平台中固有的高级API,该API设计为以应用程序为中心,与文件和块存储相比,它支持范围更广的API,其中包括版本控制、生命周期管理、加密、对象锁定和元数据。此外,支持人工智能和机器学习用例的新对象存储API(例如对流数据的支持和对海量数据集的查询的支持)也是可能的。

通过围绕Amazon S3的对象存储API的标准化,可以更轻松地在内部部署和公共云中集成软件。企业可以轻松地将人工智能和机器学习部署从内部部署/私有云环境扩展到公共云,或者将云原生的人工智能和机器学习工作负载迁移到内部部署环境,而不会损失功能。这种双模式方法使组织可以合作且可互换地利用内部部署/私有云和公共云资源。

由于S3 API已成为对象存储的事实上的标准,因此许多软件工具和库都可以利用该API。这允许共享代码、软件和工具,以促进人工智能和机器学习社区中更快的开发。示例包括流行的机器学习平台,例如具有内置S3 API的TensorFlow和Apache Spark。

3.元数据

与API一样,使用人工智能和机器学习的组织必须利用无限的可自定义的元数据,这一点至关重要。元数据只是关于数据的数据,在最基本的层面上,是在何时何地创建的数据,以及是谁创建的数据。但是元数据可以描述更多内容:用户可以创建任意的元数据标记来描述他们想要的任何属性。

数据科学家需要丰富的元数据来查找特定数据以构建和使用其人工智能和机器学习模型。随着更多信息添加到数据中,元数据注释可逐步积累知识。

文件和块存储仅支持有限的元数据,例如上述基本属性。这在很大程度上可以归结为可扩展性,因为文件和块系统未配备快速无缝的增长功能,如果存储系统支持依赖大量数据集的人工智能和机器学习应用程序的丰富元数据,则自然会发生这种情况。但是,对象存储支持无限的、完全可自定义的元数据,从而使查找用于人工智能和机器学习算法的数据更加容易,并从中获得更好的见解。

以一家医院在X光图像上使用图像识别应用程序为例:使用元数据,可以使用TensorFlow模型分析添加到对象存储系统中的每个图像,然后为每个图像分配更加精细的元数据标签(例如,损伤类型、基于骨骼大小或生长的患者年龄或性别等)。TensorFlow模型可以在元数据上进行训练,并对其进行分析,得出新的患者见解(例如与五年前相比,如今20岁到30岁的妇女患上的骨科疾病更多)。

几乎每一家财富500强公司都在考虑采用人工智能和机器学习,可以想象这些技术将在可预见的将来成为最重要的企业IT计划。然而,要使人工智能和机器学习计划获得回报,企业必须利用正确的存储基础设施。对象存储由于其可扩展性、对各种API(特别是S3)的支持以及丰富的元数据,是人工智能和机器学习的优秀支柱。

存储 人工智能 机器学习
上一篇:机器学习:有监督和无监督之间有什么区别 下一篇:新老问题叠加,个人信息保护面临新挑战
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

高通公司总裁安蒙:5G+AI开启智能互联未来

7月9日,2020世界人工智能大会(WAIC)云端峰会正式开幕,高通公司总裁安蒙(Cristiano Amon)在产业发展全体会议上发表了主题为“5G+AI开启智能互联未来”的演讲。

佚名 ·  1天前
人工智能中常见的误区

在一个大数据、自动化和神经网络已经成为日常用语的世界里,对人工智能及其背后过程的误解正在像野火一样蔓延。

Cassie ·  1天前
李开复:从“AI+”到“+AI”,技术正在重构中国经济

 在 2020 世界人工智能大会上,创新工场创始人兼 CEO 李开复以《从“AI+”到“+AI”:以技术重构中国经济》为题发表演讲。

芦依 ·  1天前
世界人工智能大会开幕,马云、李彦宏、马斯克等都说了啥?

话说,疫情迫使本届世界人工智能大会改在云端举办,改变得了办会形式,但改变不了大会全程高能、让人受益匪浅的固有属性。我整理了这些有头有脸的大人物的演讲精华,干货满满,与君共享。

龚进辉 ·  1天前
5G+AI共赢共生 人工智能大有可为!

不论是唱衰还是看好,关于人工智能的讨论从来就没有间断过,并且在各种争议声中,利用人工智能技术的行业新应用不断涌现,尽管离预期的效果还有很大差距,但不得不承认人工智能已经开始在各行各业发挥价值。

易欢 ·  1天前
5G+AI:影响未来的新趋势

7月9日,2020世界人工智能大会云端峰会正式开幕。AI,这个带有科幻色彩的名词,总能在行业大会上激起各界的思考、争论。在AI产业起起伏伏的过程中,有期待有失落,但前行需要循序渐进,回头看,我们会发现AI一直在波浪式上升,尤其是进入到2020年,以自动驾驶为首的AI大业正在升温。

21世纪经济报道 ·  1天前
这些“黑科技”让防汛更智慧

  当前,我国南北方全面进入主汛期,强降雨天气频发,防汛抗洪已到关键阶段。在防汛抗洪中,创新科技成为利器。从气象和水情预报到防汛监测与预警;从上天入地的科技设备到大数据、人工智能等前沿技术,多种“黑科技”的应用让防汛抗洪更智慧。

刘峣 ·  1天前
经济寒冬之后,是人工智能的春天

一家公司选择的经济发展道路往往是依照时代背景来决定的,在不同的经济时局之下选择正确的经济策略, 往往可以成为公司逆转腾飞的转折点。

学术头条 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载