对象存储适合人工智能和机器学习的三个原因

作者: Gary Ogasawara 2020-06-02 11:19:39

 

如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。以下是对象存储(而不是文件或块存储)适用在加强人工智能和机器学习工作负载的三个主要原因:

1.可扩展性

当有大量不同的数据源可供学习时,采用人工智能和机器学习技术最有效。数据科学家利用这些丰富的数据来训练领域模型。在“大数据的五个V”(数量、类型、速度、准确性和价值)中,前两个(数量和类型)最为重要。简而言之,人工智能和机器学习依赖于大量不同的数据(图像、文本、结构化和半结构化数据)来构建有用的模型,提供准确的结果,并最终提供业务价值。

对象存储是很具扩展性的存储架构,特别适合支持人工智能和机器学习所需的大量数据。对象存储旨在通过水平扩展方法实现无限增长,从而使企业可以通过在需要的位置和时间添加节点来增加部署。由于对象存储使用单个全局名称空间,因此也可以一次在多个地理位置上进行这种扩展。另一方面,文件和块系统通常采用扩展方法。这意味着这些平台通过向单个节点添加更多计算资源来实现垂直扩展,这最终会受到限制。他们无法通过部署其他节点来增加计算资源,从而无法有效地水平扩展。

2. API

健壮灵活的数据API对于人工智能和机器学习非常重要,如上所述,它们使用了多种数据类型。存储平台需要支持API来容纳各种数据。此外,人工智能和机器学习的创新越来越多地在公共云上进行,但是仍然有相当一部分人工智能和机器学习在内部部署数据中心或私有云中发生,这取决于用例的具体情况(例如,科学研究和医疗保健等领域通常最适合私有云)。这意味着组织需要一个存储API,以支持公共云和本地/私有云中的工作负载。

文件和块存储平台所支持的API受限制,部分原因是它们是较旧的架构。相比之下,对象存储使用云平台中固有的高级API,该API设计为以应用程序为中心,与文件和块存储相比,它支持范围更广的API,其中包括版本控制、生命周期管理、加密、对象锁定和元数据。此外,支持人工智能和机器学习用例的新对象存储API(例如对流数据的支持和对海量数据集的查询的支持)也是可能的。

通过围绕Amazon S3的对象存储API的标准化,可以更轻松地在内部部署和公共云中集成软件。企业可以轻松地将人工智能和机器学习部署从内部部署/私有云环境扩展到公共云,或者将云原生的人工智能和机器学习工作负载迁移到内部部署环境,而不会损失功能。这种双模式方法使组织可以合作且可互换地利用内部部署/私有云和公共云资源。

由于S3 API已成为对象存储的事实上的标准,因此许多软件工具和库都可以利用该API。这允许共享代码、软件和工具,以促进人工智能和机器学习社区中更快的开发。示例包括流行的机器学习平台,例如具有内置S3 API的TensorFlow和Apache Spark。

3.元数据

与API一样,使用人工智能和机器学习的组织必须利用无限的可自定义的元数据,这一点至关重要。元数据只是关于数据的数据,在最基本的层面上,是在何时何地创建的数据,以及是谁创建的数据。但是元数据可以描述更多内容:用户可以创建任意的元数据标记来描述他们想要的任何属性。

数据科学家需要丰富的元数据来查找特定数据以构建和使用其人工智能和机器学习模型。随着更多信息添加到数据中,元数据注释可逐步积累知识。

文件和块存储仅支持有限的元数据,例如上述基本属性。这在很大程度上可以归结为可扩展性,因为文件和块系统未配备快速无缝的增长功能,如果存储系统支持依赖大量数据集的人工智能和机器学习应用程序的丰富元数据,则自然会发生这种情况。但是,对象存储支持无限的、完全可自定义的元数据,从而使查找用于人工智能和机器学习算法的数据更加容易,并从中获得更好的见解。

以一家医院在X光图像上使用图像识别应用程序为例:使用元数据,可以使用TensorFlow模型分析添加到对象存储系统中的每个图像,然后为每个图像分配更加精细的元数据标签(例如,损伤类型、基于骨骼大小或生长的患者年龄或性别等)。TensorFlow模型可以在元数据上进行训练,并对其进行分析,得出新的患者见解(例如与五年前相比,如今20岁到30岁的妇女患上的骨科疾病更多)。

几乎每一家财富500强公司都在考虑采用人工智能和机器学习,可以想象这些技术将在可预见的将来成为最重要的企业IT计划。然而,要使人工智能和机器学习计划获得回报,企业必须利用正确的存储基础设施。对象存储由于其可扩展性、对各种API(特别是S3)的支持以及丰富的元数据,是人工智能和机器学习的优秀支柱。

存储 人工智能 机器学习
上一篇:机器学习:有监督和无监督之间有什么区别 下一篇:新老问题叠加,个人信息保护面临新挑战
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

培养产业高端复合型AI人才 AICA首席AI架构师培养计划第五期开启

10月15日,深度学习技术及应用国家工程实验室与百度联合发起创办的AICA首席AI架构师培养计划第五期在京迎来开学典礼。

佚名 ·  1天前
自动驾驶存在不确定性的运动规划:基于强化学习的方法

存在不确定性的运动规划是开发自动驾驶车的主要挑战之一。本文专注于有限的视野、遮挡和传感距离限制导致的感知不确定性。

自动驾驶的挑战和发展 ·  1天前
中英文超大AI模型世界纪录产生,大模型竞赛新阶段来了

英伟达与微软联合发布了5300亿参数的“威震天-图灵”(Megatron-Turing),成为迄今为止全球最大AI单体模型。

边策 ·  1天前
AI即将拥有自我意识?Facebook推「Ego4D 」开启元宇宙大门

今年11月,Facebook将开源让AI拥有以第一人称视角与世界进行交互的能力的Ego4D(Egocentric 4D Perception)计划。

佚名 ·  1天前
AI技术再立功毕加索一副名画下隐藏的画作重见天日

据外媒报道,在成名之前,巴勃罗·毕加索并不总是有足够的资金来购买绘画材料,因此,像很多艺术家一样,他在现有的画布上创作新的作品,从而掩盖了早期的图像。目前研究人员利用AI对这幅隐藏画作进行了重建。

贾桂鹏 ·  1天前
2022年的AIOps趋势预测

将人工智能纳入IT活动可以使IT团队能够在复杂的IT条件下执行更复杂的任务。人工智能与IT运营的这种整合产生了AIOps这个术语,它利用大数据、数据分析和人工智能的能力进行IT运营管理。

arti ·  1天前
元学习热度不再!ICLR 2022投稿趋势:强化学习榜首,深度学习第二

ICLR 2022 论文投稿情况都是公开的,所以有研究者收集统计了ICLR 2022的3400篇论文,排出了前50个热门研究话题,发现深度学习、强化学习仍旧霸榜前两名,元学习的热度下降很多!

佚名 ·  1天前
当世界模型被用于sim2real:机器人通过视觉想象和交互尝试来学习

当机器人被置于一个新环境时,它必须能够利用其先前的知识来思考环境可能提供的潜在有用行为。

佚名 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载