谷歌发布TyDi QA语料库,涵盖11种不同类型语言

作者: Jonathan Clark 2020-02-24 16:17:04

谷歌发布TyDi QA语料库,涵盖11种不同类型语言

为了鼓励对多语言问答技术的研究,谷歌发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。

问答技术帮助人们在日常生活中遇到问题时,如“乌贼的墨汁可以安全食用吗?”之类的问题,用户可以通过询问语音助理或键入搜索内容并期望 得到答案。去年,我们向研究社区发布了英语版的 自然问题 数据集,以提供反映真实用户需求的 挑战。然而,世界上还有成千上万不同的语言,其中许多语言使用非常不同的方法来构造语义。例如,在英语中,一个物体(“book”)和多个物体(“books”);而在阿拉伯语中,也有第三种形式表示,除了单数(“كتاب”,kitab)或复数(“كتب”, kutub)之外,还有表示两个物体 (“كتابان”,kitaban) 。此外,有一些语言,如日语,在单词之间并不使用空格。要创建这样一种机器学习系统,能够理解语言表达意义的多种方式,真不啻为一项挑战,而训练这样的系统,需要从它们将应用到的不同语言中获得样本。

为了鼓励对多语言问答技术的研究,今天,我们发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。在我们的论文《TyDi QA:不同类型语言中信息查询问答系统的基准》(TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages)中描述,我们的语料库的灵感来自于 类型多样性,这是一种概念,即不同的语言以不同的结构方式来表达意义。因为我们为这个语料库选择了一组在类型上彼此相距较远的语言,我们期望,在这个数据集上表现良好的模型,能够推广到世界上的大量语言。

类型多样的语言集

TyDi QA 包括了来自 11 种语言的超过 200000 个问答对,代表了一系列不同的语言现象和数据挑战。其中许多语言使用的是非拉丁字母,如阿拉伯语、孟加拉语、韩语、俄语、泰卢固语(Telugu)和泰语。还有一些单词的构成方式很复杂,如阿拉伯语、芬兰语、印尼语、斯瓦希里语(Kiswahili)、俄语等。日语使用四种字母,如:

谷歌发布TyDi QA语料库,涵盖11种不同类型语言

由四种颜色表示,而韩文字母本身具有很强的组合型。这些语言的范围也很广,从网上有很多可用数据(如英语和阿拉伯语)到只有很少的数据(如孟加拉语和斯瓦希里语)。我们期望,能够应对这些挑战的系统将在许多语言中取得成功。

创建真实数据

研究社区使用的许多早期 QA 数据集都是这样创建的:首先给人们一篇文章,然后要求他们根据阅读文章的内容写出问题来创建。然而,由于人们在写下每个问题时都能够看到答案,这种方法产生的问题往往包含与答案相同的单词。因此,针对这类数据进行训练的机器学习算法更倾向于单词匹配,而忽略了满足用户需求所需的更细微的答案。

为了构建一个更自然的数据集,我们从那些想要得到答案但还不知道答案的人那里收集了问题。为了激发问题的灵感,我们向人们展示了维基百科(Wikipedia)用他们的母语写成的一段有趣的内容。然后,我们让他们提一个问题,任何问题都可以,只要我给他们看的内容没有回答,并且他们实际上想知道答案。这类似于当你在大街上闲逛时,你的好奇心可能会引发关于你所看到的有趣事物的问题。我们鼓励他们在提出问题时发挥想象力。比如,一篇关于冰的文章,会让你想到夏天的冰棒吗?棒极了!问问是谁发明了冰棒。重要的是,问题是直接用某种语言写就的,而不是翻译,因此许多问题不同于那些在英语版语料库中看到的问题。孟加拉语中有一个问题:“সফেদা ফল খেতে কেমন?”(人心果(Sapodilla)是什么味道?)从来没听说过人心果吗?这可能是因为人心果在印度比美国更常见。

对于这些问题中的每一个,我们在 Google 上用适当的语言搜索最匹配的维基百科的文章,并要求提问者在文章中查找并高亮显示答案。虽然我们预料到当提问者没有找到答案时,问题和答案之间会有一些有趣的分歧,但结合世界语言中惊人的广泛语言现象,我们发现情况甚至更为复杂。

例如,在芬兰语中,有一些有趣的例子,在问题和回答中,day 和 week 这两个词的表达方式就非常不同。要成功从整个维基百科文章中选择这个答案句子,系统需要能够识别出芬兰语词汇 viikonpäivät、seitsenpäiväinen 和 viikko 之间的关系。

谷歌发布TyDi QA语料库,涵盖11种不同类型语言

作为研究社区共同取得进展

我们希望,这个数据集能够推动研究社区进行创新,为世界各地的用户创建更有用的问答系统。为了跟踪社区的进展,我们建立了一个 排行榜,参与者可以在其上评估他们的机器学习系统的质量,我们还开源了一个使用该数据集的 问答系统。要查看排行榜并了解更多信息,请访问挑战网站。

作者介绍:

Jonathan Clark,Google Research 研究科学家。

人工智能 机器学习 技术
上一篇:机器学习所需的工程量未来会大大减少 下一篇:过度防范?莫斯科公交司机接令人工识别中国乘客,人脸识别系统也被授权启用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI和Wi-Fi 6:推动家庭Wi-Fi的革命

机器学习和Wi-Fi 6结合最有效的一个领域是减少家庭Wi-Fi网络的延迟,从而实现云游戏和云VR服务之类的高价值服务。

lunar ·  1天前
AI批改英语作文行不行?雅思考研四六级,打分评语纠错都得有

如果AI真的能准确评分,甚至给出修改意见,那像我一样的同学们不就能随时随地把英语作文练到飞起了吗?

茕茕 ·  1天前
关于人工智能的十二条名人名言

我们将援引世界上众多最伟大思想家的名言,了解他们如何看待人工智能这一意义深远的主题。希望这些名言有助于阐明AI主旨、涵盖范围、潜在挑战以及蕴藏于其中的巨大能量。

佚名 ·  1天前
自我监督学习:AI技术的未来发展方向

尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项致命缺陷:需要大量数据的加持。

佚名 ·  1天前
李飞飞团队研发家用AI系统 可监测独居老人新冠症状

日前,在斯坦福大学以人为本人工智能学院(HAI)的一场直播上,斯坦福大学计算机学教授李飞飞向外界介绍了人工智能家用系统,它可以跟踪居民的健康状况,包括新冠肺炎的症状,同时还能确保隐私。

王心馨 ·  2天前
这项开源视频抠图技术火了!换背景的方法着实真假难辨

绿幕是影视剧中抠图、换背景的利器,但如果不在绿幕前拍摄,我们还能完美地转换背景吗?华盛顿大学的研究者最近就上传了这样一份论文,不在绿幕前拍摄也能完美转换视频背景,让整个世界都变成你的绿幕。

Racoon、张倩 ·  2天前
AI技术在医药行业中的作用越来越大

AI可以帮助科学家和生物技术专家简化药物发现和开发的过程,协助诊断,并使通常会浪费时间和人力资源的重复性工作任务自动化……

佚名 ·  2天前
2025年智慧城市AI软件市场将增长700%

分析师机构Omdia的最新分析显示,全球智能城市人工智能(AI)软件市场将从2019年的6.738亿美元增长到2025年的49亿美元,这意味着七倍的增长。

佚名 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载