机器人递接物品反应慢?英伟达开发AI模型:数据集图像总量逾15万,成功率100%

作者: Rachel 2020-03-20 10:30:38

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

想象一下,想要将手中的小方块优雅地递给别人,是用手卡住方块的侧面送出?

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

还是伸出托着方块底部的手?

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

那么如果对方是机器人,持握小方块的方式是否会影响机器人快速、精确的识别呢?

答案是“会”!

因此,英伟达(Nvidia)研究人员设计了一种人类-机器人递接物品的新方式,当机器人面对人类时,对其持握动作进行判断、分类,进而设计出递接物品的方式。这一方式比基线更流畅,可为协作机器人的设计提供新思路,从而提高仓库工人的生产力。

当地时间 2020 年 3 月 12 日,相关论文 Human Grasp Classification for Reactive Human-to-Robot Handovers(基于人手持握动作分类的人类-机器人递接物品反应)发表于预印本网站 arXiv。

解决物品和人手相互遮挡的问题

雷锋网了解到,如今关注人类-机器人无缝递接物品领域的研究越来越多。就目前而言,绝大多数研究着眼于将物品从机器人转移到人类手中的挑战,假设人类可将物品放置在机器人的抓取器中进行反向操作。

不过,人类-机器人无缝递接物品的一个挑战便是机器人缺少可靠、连续的感知。在递接物品过程中,物品和人手难免会相互遮挡,而且人在递接物品时还经常同时在做其他事情,因此机器人对人手和物品状态、位置的估计并不是很精准。

对此,研究人员提出的一种策略是,通过从计算机视觉社区借用现成的方法估计人手的动作及物品的 6D 状态。然而,这一方法仅仅关注于人手或物品。

基于此,英伟达研究人员做了一系列改进。

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

将人手持握物品的动作划分类别

首先,研究人员利用微软 Azure Kinect 深度传感器的身体跟踪 SDK(软件开发工具包)获取检测到的以人手为中心的点云,编辑一个数据集,训练 AI 模型。

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

此外,研究人员展示持握物品的示例图像,并记录 20-60 秒内人手做出的类似动作。在此期间,人可以不断移动身体或手,保证视角多样化。据了解,该研究团队数据集的图像已超过 15 万张。

在此基础上,研究人员将持握动作划分类别,比如手中拿着一个小方块时,动作可以被描述为“手掌张开”、“卡住底部”、“卡住顶部”、“卡住侧面”或“抬起”。

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

研究人员表示:

目前我们的系统覆盖了 77% 的人手持握物品方式,未来我们还要将其扩展到更大的范围。

随后,研究人员将递接物品任务建模,基于一个「鲁棒动态逻辑系统」(Robust Logical-Dynamical System),设计出递接物品的轨迹,免去了特定种类的抓取器和人手接触的麻烦。

雷锋网了解到,这一系统必须适应人类各种可能的持握动作,才能做出反应,判断接近人类并递接物品的方式。在系统确切地估计出人类将以何种方式持握物品之前,它将始终在原位(“home” position)保持等待状态。

实际上,研究人员在一系列实验中对人手所有可能的位置、动作进行了系统性的回顾,确定了分类模型和任务模型。同时,研究人员也考虑了这一过程中可能涉及的额外操作(下图为按优先级降序排列的可能出现的额外操作)。

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

递接成功率为 100%

雷锋网(公众号:雷锋网)注意到,实验中,研究人员用到的是来自德国慕尼黑机器人公司 Franka Amika 的两个不同的「熊猫机器人」(Panda robots),研究人员将其安装在同一张桌子上的不同位置,分别从人类手中接过 4 种不同颜色的物品。

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

该论文的两位作者表示,与 2 个基线方法(一个不判断人手状态,另一个仅依赖于手和物体的状态)相比,他们的方法提升了人类-机器人无缝递接物品的成功率,并缩短了计划、执行时间——递接成功率为 100%(第二高为 80%),判断成功率为 64.3%(第二高为 29.6%),计划、执行总动作为 17.34 秒(第二短为 36.34 秒)。

机器人递接物品反应慢?英伟达开发 AI 模型:数据集图像总量逾 15 万,成功率 100%

不过,研究人员也明确提到了这一系统存在的不足与未来的研究方向:

提升判断成功率将会是未来我们的一个努力方向,这是因为即使系统已经可以处理大部分物品和人手彼此遮挡的场景,但不确定性也更高了,有时机器人不得不重新进行判断。

此外,他们计划让系统从数据中学习不同的持握类型,而不是依赖于人工制定的规则。

AI 行业 人工智能
上一篇:中科院全面总结 2019 年全球人工智能发展:八大关键技术崛起,AI 渗透到更多领域 下一篇:人工智能机器学习常用算法总结及各个常用算法精确率对比
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能已经发展到诺贝尔奖级别

人工智能(AI)已经踏入了诺贝尔奖领域。最近诞生了一项让人产生这种感觉的研究成果。据称,美国Alphabet(谷歌母公司)旗下的英国DeepMind公司开发出了可解决困扰人类长达半世纪的生物学难题的AI技术。

佚名 ·  2021-02-07 09:35:33
认知图谱是人工智能的下一个瑰宝

随着技术的进步,AI应用在我们的生活中越来越多,但是大多数 AI 在语言理解、视觉场景理解、决策分析等方面的举步维艰,其原因是当前的 AI 缺少信息进入“大脑”后的加工、理解和思考等,做的只是相对简单的比对和识别,仅仅停留在“感知”阶段,而非“认知”。而基于知识图谱、认知推理、逻辑表达的认知图谱成为了解决此问题的方案之一。

佚名 ·  2021-01-06 14:14:05
加速企业级AI基础设施建设 「第四范式」完成C+轮融资 估值约20亿美元

「第四范式」近期宣布完成C+轮融资,C轮两次融资总额达2.3亿美元。新战略股东包括思科、中信银行、联想,财务资方为松禾资本、基石资本,投后估值约20亿美元。

佚名 ·  2020-12-30 17:17:32
15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

在这项研究中,斯坦福视觉与学习实验室(SVL)Silvio / 李飞飞组的研究者推出了一个全新的模拟环境 iGibson,从而可以为大型真实场景中的交互任务开发机器人解决方案。

沈博魁、夏斐、李承澍、Roberto Martín-Martín ·  2020-12-11 08:54:40
人类未来将拥有 “第三脑”,5G 让一切加速

5G 时代的到来使经济数字化和科学数字化得以启动,大数据的收集将是 5G 时代的重要内容。但是,5G 本身并不能真正形成应用场景。如何将这些数据转变成真正对民生和企业有用的,真正能够赚钱和服务人群的产业链将是接下来要面临的问题。

许晓娜 ·  2020-12-04 08:18:21
微软研究院新成果:用手机相机远程测量心肺生命体征

微软研究院近日开发了一项新的技术 ,能够利用消费者手中的智能手机相机进行远程医疗等领域的非接触式生理测量。

cnBeta.COM ·  2020-12-04 06:06:33
搜索引擎新技能,阿里新研究用2D图片搜出3D模型

阿里技术团队研发了全新3D AI算法,可基于2D图片精准搜索出相应的3D模型,准确率大幅提升10%,可降低3D打印、VR看房、场景导购等领域的门槛。该研究成果已被AI顶会NeurIPS 2020收录。

佚名 ·  2020-12-03 14:49:13
AI无界,因你声动:微软携手公益和行业伙伴,以科技助力爱心绽放

12月2日,微软与周迅AI语音红丹丹公益项目发起人——鹿音苑文化传播公司、以及来自微软及各界的150名余志愿者,将创作的首批人工智能有声内容,包括鲁迅、老舍、萧红、朱自清等作家的一系列经典作品、红丹丹文化期刊,正式捐赠给北京市红丹丹视障文化服务中心(下文简称“红丹丹”)“心目图书馆”。红丹丹为微软、鹿音苑文化传播公司及志愿者代表授予志愿者证书。

佚名 ·  2020-12-02 17:45:39
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载