87%的机器学习项目失败的十大原因

作者: Prajeen MV 2020-11-05 11:08:11

 如今人们总是能听到有关机器学习的新闻,而机器学习技术确实有更多发展潜力。调研机构Gartner公司预测,对于很多组织来说,80%的人工智能项目仍是一种难以获得成功的炼金术。根据VentureBeat公司发布的“Transform2019”研究报告,87%的人工智能项目将永远无法投入生产。

为什么会这样呢?为什么这么多项目失败?

1.没有足够的专业知识

其中一个原因是,机器学习技术对人们来说仍然是新技术。此外,大多数组织仍不熟悉软件工具和所需的硬件。

如今,从事数据分析或软件开发工作并完成了一些数据科学项目的一些人却将自己标榜为数据科学家。

事实上,组织需要经验丰富的真正数据科学家来处理大多数机器学习和人工智能项目,尤其是在定义成功标准、最终部署和模型的持续监控方面。

2.数据科学与传统软件开发之间的脱节

数据科学与传统软件开发之间的脱节是另一个主要因素。传统的软件开发往往更具可预测性和可衡量性。

数据科学研究通过多次迭代和试验而向前发展。有时,由于选择的度量标准不会驱动用户行为,因此整个项目将不得不从部署阶段返回到计划阶段。

传统的基于敏捷的项目交付可能不适用于数据科学项目。对于在常规软件开发项目的每个任务周期结束时一直在努力交付清晰结果的领导者来说,这将造成大规模的混乱。

3.数据量和质量

众所周知,数据集越大,采用人工智能系统进行的预测就越好。除了数据量增加的直接影响之外,随着数据量的增加,还会出现许多新的挑战。

在许多情况下,组织将不得不合并来自多个源的数据。一旦开始这样做,就会意识到它们同步的次数很少,这将导致很多混乱。有时,组织最终将合并不应该合并的数据,这将导致数据点具有相同的名称但含义不同。

错误的数据会带来无法采取行动或无法提供真知灼见的结果,也会导致误导性结果。

4. 标记数据

标记数据的不可用是另一个阻碍机器学习项目的挑战。《麻省理工学院斯隆管理评论》杂志指出,76%的人通过尝试自己标记和注释训练数据来应对这一挑战,而63%的人甚至尝试构建自己的标记和注释自动化技术。

这意味着数据科学家在标记过程中无法充分利用其专业知识。这是有效执行人工智能项目的主要挑战。

这就是许多公司将标记任务外包给其他公司的原因。但是,如果标记任务需要足够的领域知识,则将标记任务外包是一个挑战。如果组织需要保持数据集之间的质量和一致性,则必须投资于标记人员的标准化培训。

如果要标记的数据很复杂,则另一个选择是开发自己的数据标记工具。但是,与机器学习任务本身相比,这通常需要更多的成本。

5.组织孤立无援

数据是机器学习项目中最重要的实体。在大多数组织中,这些数据将以不同的安全约束和不同格式(例如结构化、非结构化、视频文件、音频文件、文本和图像)驻留在不同的位置。

在不同的地方以不同的格式保存这些数据本身就是一个挑战。然而,当组织孤立无援而却没有相互协作时,其挑战就会加倍。

6.缺乏合作

另一个主要挑战是不同团队之间缺乏协作,如数据科学家、数据工程师、数据管理员、商业智能(BI)专家、DevOps和工程。这对于物联网到数据科学的工程方案中的团队尤其重要,因为他们在工作方式和完成项目所使用的技术上有很多不同。

工程团队将实施机器学习模型并将其投入生产。因此,他们之间需要有适当的理解和强有力的协作。

7.技术上不可行的项目

由于机器学习项目的成本往往非常昂贵,因此大多数企业倾向于以雄心勃勃的“登月计划”为目标,这将完全改变组织或产品并带来超额回报或投资。

这样的项目将永远无法完成,并将推动数据科学团队达到极限。最终,企业领导者将对项目失去信心并停止投资。

8.技术团队和业务团队之间的协调问题

很多时候,机器学习项目在业务团队和数据科学团队之间在项目的期望、目标和成功标准上没有明确的一致性。

这些类型的项目将永远停留在研究阶段,因为他们永远不知道自己是否正在取得进展,因为至今还不清楚其目标是什么。

在这里,数据科学团队将主要专注于准确性,而业务团队将对诸如财务收益或业务洞察力之类的指标更感兴趣。最后,业务团队最终不接受数据科学团队的结果。

9.缺乏数据策略

根据《麻省理工学院斯隆管理评论》杂志的调查,员工人数超过10万名的大型组织将有50%可能采用数据策略。而组织在开始机器学习项目之前制定可靠的数据策略至关重要。

组织需要对以下内容有清晰的了解,这是数据策略的一部分:

  • 组织拥有的全部数据是多少?
  • 项目实际需要多少数据?
  • 所需的人员将如何访问这些数据,以及这些人员访问这些数据的容易程度?
  • 如何将来自不同来源的所有这些数据汇总在一起?
  • 如何清理和转换这些数据?

大多数组织一开始没有计划,或者根本没有想到自己没有数据。

10.缺乏领导支持

很多人认为,只需要投入一些资金和技术来解决问题,其结果就会自动出现。

但是他们没有看到组织领导者提供正确的支持来确保成功所需的条件,而组织领导者有时对数据科学家开发的模型没有信心。

这可能是由于组织的领导者对人工智能缺乏了解,以及数据科学家无法向他们传达模型具有业务利益的原因。

最终,组织的领导者需要了解机器学习的工作原理以及人工智能对组织的真正意义。

人工智能
上一篇:不要上手就学深度学习!超详细的人工智能专家路线图,GitHub数天获2.1k星 下一篇:计算机视觉如何改变建筑业?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

就算戴上口罩,AI也知道你在说啥

现在,检测面部肌肉变化的AI来了,只要你动了嘴,哪怕没出声,它也能知道你在说什么。

萧箫 ·  18h前
AI生成肖像画,精细到毛发!北大校友最新研究收割2.8k星标

这款AI工具叫U∧2-Net(U Square Net),最近火到不行!不仅登上了GitHub热榜,收割了2.8k星标,还被顶会ICPR 2020 选中。

贝爽 ·  19h前
AI改进建筑施工安全的十种方式

根据美国国家设备注册局公布的数据,建筑盗窃造成的损失每年往往超过10亿美元。最新型号的设备、工具与用品的被盗可能性最高,追回的几率也最小。

科技行者 ·  19h前
5G和AI:现在和未来的互补技术

围绕人工智能和5G以及它们的变革潜力,科技界有很多热议。这两种技术的有趣之处在于,它们普遍适用于许多行业,并可能改变其中许多技术的运作方式。

佚名 ·  21h前
放飞无人机并非想飞就能飞

自古以来,人们就梦想着能像鸟儿一样翱翔蓝天,无论是童年的纸飞机,还是如今的无人机,放飞的都是人们对天空的热爱。但是无人机放飞并非想飞就飞。这不,第三届进博会期间,上海公安机关便查处了一起多次违规施放无人机、扰乱公共秩序的案件,这也是上海首次出现因违规施放无人机被依法行政拘留的案例。

中国民航网 ·  21h前
AI的偏见:机器就是绝对理性的么?

人工智能已经遍布我们的日常生活。从YouTube的首页推荐到生产药物,它无所不在,它对我们生活的影响超出我们的想象。但人工智能一定公平吗?不,绝对不是。

读芯术 ·  22h前
机器学习的5个成功案例

如今人工智能和机器学习在企业界受到越来越热烈的追捧,企业组织日益利用这些技术更准确地预测客户的偏好,并加强业务运营。

计算机世界 ·  1天前
到2030年,人工智能会发展成什么样?

据麦肯锡全球研究院的研究,截至2030年,人工智能每年将额外创造13万亿美元的价值。其实在今天,人工智能已经在创造收益了,但主要集中在软件领域。然而当到了2030年,在软件行业之外,人工智能也将创造巨大收益,尤其是在零售、旅游、交通、汽车、材料、制造等行业。

读芯术 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载