百度技术委员会主席吴华:NLP技术要让机器具有人类语言交流能力

作者: 尹天琦 2017-11-29 15:47:58

百度技术委员会主席吴华:NLP技术要让机器具有人类语言交流能力

“要让人工智能走进人类的生活,就需要让它们具有与人类交流的语言能力。自然语言处理(NLP)是人工智能的核心领域之一,是解决这一问题的核心途径。研究好NLP就能让计算机理解和生成人类语言,以我们熟悉的方式服务人类。”百度技术委员会主席吴华在国际自然语言处理与中文计算会议(NLPCC)上诠释了NLP技术的重要意义。

NLPCC 2017由中国计算机协会(CCF)主办,是具有国际影响力的学术与创新交流平台。百度技术委员会主席、百度自然语言处理部门技术负责人吴华应邀出席,并在会上介绍了百度NLP技术的发展现状和产品应用能力。

吴华表示,百度NLP以大数据和知识图谱为立足点,基于机器学习和语言学方面的积累,拥有一流的文本理解与生成技术,由此构建起问答、机器翻译和对话系统,并以平台化的方式对更多产品进行支持,如NLPC(NLP Cloud)和百度AI开放平台。百度NLP技术已经应用在搜索、信息流、DuerOS等百度的众多产品上。

凭借多年的技术积累,百度研发了一套联合统一的词法分析方案,极大提高了机器正确识别和标注句子中词的概率。吴华表示,词法分析是自然语言处理的基础,其准确程度直接影响后续一系列分析处理任务的效果。百度的这套方案将专名识别(NE Recognition)、分词和词性标注统一在一个框架中,得到语义更合理和完整的词语切分与词性标注序列;另一方面,百度特有的海量点击反馈数据辅助词性标注将词性标注语料从20万迅速扩充到1亿3千万个句子,标记数据精度超过95%,提升了自动分词和词性标注的准确率。

在介绍百度先进的文本理解与生成技术能力时,吴华强调,不同应用对文本理解的程度和解析粒度的要求不同,一套固定的解决方案无法满足所有需求。目前,百度NLP不仅拥有通用的理解技术,更面向不同任务提供相应的文本理解技术,实现更精准的意图理解、推荐、人机对话等。在搜索中,使用基于深度学习模型的多层次语义匹配技术,搜索结果的关联度将大幅提升。例如,在应用深度学习模型前,搜索“水泵忽强忽弱”结果是不相关的,应用之后的关联度大幅提升。而在基于知识库问答和面向任务的对话系统中,使用精细的句法分析和语义角色标注技术,可以准确定位和理解用户意图。

篇章理解是文本理解的另一核心组成,吴华表示,“NLP技术可以通过用户兴趣网络和文档语义网络形成标签图谱,最终得到‘不搜即得’的智能推荐。”该技术以用户兴趣为出发点,依托从搜索、贴吧、百科等不同渠道获得的有明确含义的主题、话题或实体等内容标签,形成可实时更新的关注点标签图谱。在下面这张关注点标签图谱中,“AI”话题与“科技”、“VR”等话题,“乌镇峰会”等事件关联在一起。基于关注点图谱对文档内容进行标注,可以更好地描述用户与文章之间的关系,从用户的视角对篇章进行更合理的分类和有效的推荐。

吴华在现场向观众展示了两首五言绝句,多数人都难以区分哪一首是由百度机器创作的。目前,百度人工智能撰写的文章通过消息推送、资讯流、开放订阅、百家号等途径进行分发,供用户阅读。

基于上述多项技术能力的积累,百度已经构建起问答、对话和机器翻译三大系统。在问答方面,面对用户提出的问题,系统可基于知识图谱加以回答。吴华坦言,没有理解或推理仍是问答领域的巨大挑战,对此,百度日前推出了世界上最大的中文机器阅读理解数据集——DuReader,该数据集基于真实应用需求,所有问题来源于百度搜索用户的真实问题,文档来自全网真实采样的网页文档和知道UGC文档,答案基于问题与文档人工撰写生成,目前拥有20万个问题和100万个文档;同时,数据集标注了问题类型、实体和观点等丰富信息,弥补了现有主流数据集对于观点类问题覆盖不足的问题。

对话系统以基于意图图谱的核心技术与用户进行多轮交互(multi-turn interaction)。吴华说道,目前面向任务的对话模式将不同的任务分发给对应的bot,使任务管理低效而复杂,而意图图谱将所有意图容纳到一张图中,从而能够进行连续一致的对话管理。

吴华表示,百度已经将NLP技术应用在众多百度的产品当中。2015年5月,百度将神经网络机器翻译技术应用到百度在线翻译服务中,推出了全球首个基于深度学习的大规模在线翻译系统。今年,百度还推出了一款兼具Wi-Fi与翻译双重功能的Wi-Fi翻译机,自带80多个国家的移动数据流量,支持实时语音翻译。

另外,百度也通过平台化的方式对更多产品进行支持。百度开发的自然语言理解一站式解决平台NLPC(NLP Cloud),已经可以提供25种NLP模块,每天被调用超过2000亿次。百度AI开放平台开放了80多项百度核心AI技术能力,其中包含NLP模块、UNIT、翻译在内的十多项自然语言处理方面的能力,供开发者与合作伙伴接入。

近几年来,NLP技术的发展受到了世界各国的高度重视。在美国AI创业公司中,自然语言处理领域的创业公司数量最多。中国的AI创业公司中自然语言处理领域的创业公司位居第三。NLP技术的发展和应用正推动人机交互走进一个新的时代。吴华指出,百度自然语言处理技术将持续高速优化升级,持续为开发者、合作伙伴赋能。智能时代即将来到,百度将让AI更懂人类。

百度 NLP技术 人工智能
上一篇:带你深入剖析递归神经网络 下一篇:百度正式宣布:无人车即将在2018年量产!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI行业寒潮下,智能物流机器人产业迎来“风口”

“人工智能,前景很好,但‘钱’景不好 ” 、“2018年,人工智能的进展就是没有进展”、“2019年的AI行业已如石墨烯一样,尽显疲态”……一篇《投资人逃离人工智能》文章又给人工智能行业泼了一身冷水。人工智能融资难、“寒冬论”再一次戳痛每个人工智能从业者的心,激起大众的焦虑情绪。

AI报道 ·  15h前
人工智能应用在智慧社区五大场景

物联网、云计算、大数据、人工智能正逐步从概念走向应用。越来越多的传统产业也开始探索和创新,积极拥抱互联网和新技术。未来,人工智能技术可能会颠覆社区管理。

有熊 ·  16h前
基于PyTorch的CV模型框架,北大学生出品TorchCV

在机器学习带来的所有颠覆性技术中,计算机视觉领域吸引了业内人士和学术界最大的关注。

张倩、泽南 ·  17h前
高位截瘫患者重新行走:靠意念指挥外骨骼,法国脑机接口新突破

依靠介入头部的 2 个传感器,法国里昂的一名瘫痪男子 Thibault 实现了操控外骨骼装备来助力行走。

孙滔 ·  21h前
2008 年预测 2020 年生活方式:基本都实现了

美国皮尤研究中心曾在 2008 年预测 2020 年的生活方式,目前来看,该研究的预测基本已经实现。而对于未来 10 年,也就是 2030 年左右人们的生活,在 2017 年底的世界经济论坛上,800 多名信息和通讯技术领域的技术高管和专家给出了如下预测。

佚名 ·  21h前
机器学习的正则化是什么意思?

正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;所以说,使用正则化的目的就是为了防止过拟合。

佚名 ·  21h前
为什么我的CV模型不好用?没想到原因竟如此简单……

机器学习专家 Adam Geitgey 近日发布了一篇文章探讨了这一简单却又让很多人头痛的问题,并分享了他为解决这一问题编写的自动图像旋转程序。

机器之心 ·  21h前
中文自动转SQL,准确率高达92%,这位Kaggle大师刷新世界纪录

首届中文NL2SQL挑战赛上,又一项超越国外水平的NLP研究成果诞生了。在NL2SQL这项任务上,比赛中的最佳成绩达到了92.19%的准确率,超过英文NL2SQL数据集WikiSQL目前完全匹配精度86.0%,执行匹配精度91.8%的最高成绩。

郭一璞 ·  22h前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载