文档分类太繁杂?MIT 和 IBM 联手,解决了这一难题

作者: Adios 2019-12-23 08:50:13

 【 图片来源:venturebeat 所有者:venturebeat 】

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

即使是最好的文本解析推荐算法也会受到一定大小的数据集的阻碍。为了提供比大多数现有方法更快,更好的分类性能,MIT-IBM Watson AI 实验室和 MIT 的 Geometric Data Processing Group 的团队设计了一种结合了嵌入式和最优传输等流行人工智能工具的技术。

他们认为,这个方法只需要考虑一个人的历史偏好,或一群人的偏好,就可以覆盖数百万的可能性。

这项研究的主要作者、麻省理工学院的助理教授 Justin Solomon 在一份声明中表示,互联网上有大量文字,任何有助于贯穿这些材料的东西都是非常有用的。

为此, Justin Solomon 和他的同事使用算法将文本集合归纳成基于集合中常用单词的主题。紧接着,它将每个文本分成 5 到 15 个最重要的主题,并通过排名显示每个主题对整个文本的重要性。

另外,嵌入(雷锋网按,在这种情况下为单词的数据表示形式)有助于使单词之间的相似性显而易见,而最佳传输则有助于计算在多个目的地之间移动对象(或数据点)的最有效方式。同时,嵌入能够让“利用两次最优传输”成为可能:首先是比较集合中的主题,然后度量公共主题重叠的程度。

研究人员称,这种方法在扫描大量书籍和文件时尤其有效。在 Gutenberg Project 数据集中的 1720 个标题的评估工作中,该算法成功地在一秒钟内比较完所有标题,比第二名快了近 800 倍。

此外,与其他方法相比,该算法在分类文档方面做得更好。例如,按作者对古腾堡数据集中的书籍进行分组;或是按部门对亚马逊上的产品评论进行分组。同时,该算法还提供了主题列表,能够向用户解释推荐给定文档的原因,便于用户理解。

不过,研究人员并未满足于现有的技术水平。他们还将继续开发一种端到端的培训技术,这种技术可以联合优化嵌入、主题模型和最优传输,而不是像当前实现那样单独优化。在应用方面,他们还希望将他们的方法应用于更大的数据集,并研究图像或三维数据建模的应用。

在论文总结工作报告中, Justin Solomon 表示,(我们的算法)捕捉差异的方式似乎与让一个人比较两个文档的方式相同:先将每个文档分解成容易理解的概念,然后比较概念······

对于更近一步的想法,Justin Solomon 说道:

让单词嵌入提供全局语义语言信息,主题模型提供特定于语料库的主题和主题分布。从经验上看,这些因素结合在一起,可以在各种基于度量的任务中提供优异的性能。

AI 数据 人工智能
上一篇:微软免费AI作文打分软件升级:雅思考研四六级都能用 下一篇:牛津中国小哥提出“3D-BoNet”,比3D点云实例分割算法快10倍!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI安全对抗中,只用一招轻松骗过五种神经网络

图像识别作为人工智能最成熟的应用领域,已经大规模落地并服务于人们的日常生活。但在大规模商业化的同时,也面临更多方面的威胁。

张鑫 ·  1天前
盘点人工智能十大经典应用领域、图解技术原理

本文通过案例分门别类地深入探讨人工智能的实际应用。案例甚多,此处所列举的仅是九牛一毛。本该按行业或业务对这些案例进行分类,但相反我选择按在行业或业务中最可能应用的顺序来分类。

Alex Castrounis ·  1天前
详解人工智能十大经典应用领域及其技术原理

本文通过案例分门别类地深入探讨人工智能的实际应用。案例甚多,此处所列举的仅是九牛一毛。本该按行业或业务对这些案例进行分类,但相反我选择按在行业或业务中最可能应用的顺序来分类。

华章科技 ·  2天前
目标驱动系统模式,能否成为实现人工通用智能(AGI)的关键?

组织开发AI方案时采取的一大核心模式,正是目标驱动型系统模式。与其他AI模式一样,这种形式的AI能够解决一系列原本需要人类认知能力才能处理的常见问题。

佚名 ·  2天前
后疫情时代的八大关键技术发展趋势

建立必要的基础架构以支持数字化世界并保持比较新的技术,这对于任何企业或国家在后疫情时代的世界中保持竞争力都至关重要。

Ahmed Banafa ·  2天前
从AI测温到安防机器人 智能安防会是新的“守门神”吗?

说起安防系统,很多人的脑海中会先冒出“监控摄像头”,“电子门禁”等字眼,而随着人工智能的加速发展,传统的安防系统短板也在逐渐暴露,越来越多的新功能开始被需要:人脸识别、车辆检测、夜间识别等等,而我们小时候幻想过的机器人站岗的场景,也正在逐渐变成现实……

王嘉陆 ·  2天前
疫情期间,如何借AI之力持续提升客户忠诚度?

无论是保险公司Farmers Insurance,保险公司Tryg,还是通用汽车金融公司GM Financial,现在纷纷转向聊天机器人与AI技术,借此在疫情时期稳定客户群体。

佚名 ·  3天前
了解有关符号人工智能,象征性AI的好处和局限性

如今,人工智能主要是关于人工神经网络和深度学习。但这并非总是如此。实际上,在过去的十年中,该领域大部分都由象征性人工智能主导,也被称为“经典AI”,“基于规则的AI”和“老式的AI”。

AI国际站 ·  3天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载