有没有将深度学习融入机器人领域的新尝试?
现在深度学习这么火,大家都会想着看看能不能用到自己的研究领域里。所以,将深度学习融入到机器人领域的尝试也是有的。我就自己了解的两个方面(视觉与规划)来简单介绍一下吧。
物体识别
这个其实是最容易想到的方向了,比较DL就是因为图像识别上的成果而开始火起来的。
这里可以直接把原来CNN的那几套网络搬过来用,具体工作就不说了,我之前在另一个回答amazon picking challenge(APC)2016中识别和运动规划的主流算法是什么?下有提到,2016年的『亚马逊抓取大赛』中,很多队伍都采用了DL作为物体识别算法。
物体定位
当然,机器视觉跟计算机视觉有点区别。机器人领域的视觉除了物体识别还包括物体定位(为了要操作物体,需要知道物体的位姿)。
2016年APC中,虽然很多人采用DL进行物体识别,但在物体定位方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用DL。
当然,这一块也不是没人在做。我们实验室的张博士也是在做这方面尝试。我这里简单介绍一下张博士之前调研的一偏论文的工作。
Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
这个工作大概是这样的:对于一个物体,取很多小块RGB-D数据;每小块有一个坐标(相对于物体坐标系);然后,首先用一个自编码器对数据进行降维;之后,用将降维后的特征用于训练Hough Forest。
这样,在实际物体检测的时候,我就可以通过在物体表面采样RGB-D数据,之后,估计出一个位姿。
抓取姿态生成
这个之前在另一个问题(传统的RCNN可以大致框出定位物体在图片中的位置,但是如何将这个图片中的位置转化为物理世界的位置?)下有介绍过,放两个图
↑ Using Geometry to Detect Grasp Poses in 3DPoint Clouds
↑ High precision grasp pose detection in dense clutter
控制/规划
这一块是我现在感兴趣的地方。
简单地说,我们知道强化学习可以用来做移动机器人的路径规划。所以,理论上将,结合DL的Function Approximation 与 Policy Gradient,是有可能用来做控制或规划的。当然,现在的几个工作离取代原来的传统方法还有很长的距离要走,但是也是很有趣的尝试。
放几个工作,具体可以看他们的paper。
1.Learning monocular reactive uav control in cluttered natural environments
↑ CMU 无人机穿越森林
2. From Perception to Decision: A Data-driven Approach to End-to-end Motion Planning for Autonomous Ground Robots
↑ ETH 室内导航
3.Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection
↑ DeepMind 物体抓取
4. End-to-end training of deep visuomotor policies
↑ Berkeley 拧瓶盖等任务
有哪些难点
1、在视觉领域,除了物体识别、还需要进行物体定位。这是一个 regression 问题,但是目前来看, regression 的精度还没办法直接用于物体操作,(可能是数据量还不够,或者说现在还没找到合适的网络结构),所以一般还需要采用ICP等算法进行***一步匹配迭代。
2、机器人规划/控制等方面,可能存在的问题就比较多了。我之前在雷锋网『硬创公开课』直播(运动规划 | 视频篇)的时候有提到我碰到的一些问题,这里简单列在下面:
可观性问题
简单地说,我们这些不做DL理论的人,都是先默认DL的收敛、泛化能力是足够的。我们应该关心的是,要给DL喂什么数据。也就是说,在DL能力足够强的前提下,哪些数据才能让我需要解决的问题变得可观。
当然,目前的几个工作都没有提到这点,Berkeley的那个论文里是直接做了一个强假设:在给定数据(当前图像、机器人关节状态)下,状态是可观的。
实际机器人操作中,系统状态可能跟环境有关(例如物体性质),所以这一个问题应该是未来DL用在机器人上所不能绕过的一个问题。
数据量
一方面,我们不了解需要多少数据才能让问题收敛。另一方面,实际机器人进行一次操作需要耗费时间、可能会造成损害、会破坏实验条件(需要人工恢复)等,采集数据会比图像识别、语音识别难度大很多。
是否可解决
直播的时候我举了个例子,黑色障碍物位置从左到右连续变化的时候,规划算法输出的最短路径会发生突变。(具体看视频可能会比较清楚)
这对应于DL中,就是网络输入连续变化、但输出则会在某一瞬间突变。而且,最短路径可能存在多解等问题。
DL的 Function Approximattion 是否能很好地处理这一状况?
是吧,这几件事想想都很有趣,大家跟我一起入坑吧~


更多资讯推荐
- 智能机器人:为抗击疫情赋能 为智慧医疗探路
-
“人类同疾病较量最有力的武器就是科学技术,人类战胜大灾大疫离不开科学发展和技术创新”。在我国抗击新冠肺炎疫情的战役中,不同层次的智能技术特点各异、各司其职、互补抗疫。
佚名 · 8h前
- 深度学习算法
-
深度学习算法在机器视觉中就如一个巧妙的接收转换器般的存在,它灵活、敏捷、“深度”与广度兼具,强悍的计算与预测能力可以称为其魅力之处。深度计算——可以集数亿个神经网络的自拟,对于数据、语音、图像等多种形式的资源进行分析、解释。
三姆森科技 · 20h前
- 中美欧人工智能发展现状比较分析
-
从投资、人才、研究、硬件、应用、数据多个维度,系统对比中、美、欧人工智能发展现状,最终得出结论称,美国当前依然保持着世界人工智能发展总体领先地位,中国在一些重要领域与美国的差距缩小,欧盟在三者中相对落后。
王璐菲 · 20h前
- 解锁人工智能、机器学习和深度学习
-
深度学习是机器学习的子集,而机器学习又是人工智能的子集,但是这些名称的起源来自一个有趣的历史。此外,还有一些引人入胜的技术特征,可将深度学习与其他类型的机器学习区分开来……对于技能水平较高的ML、DL或AI的任何人来说,这都是必不可少的工作知识。
佚名 · 21h前
- 谈谈基于深度学习的目标检测网络为什么会误检,以及如何优化目标检测的误检问题
-
在训练人脸检测网络时,一般都会做数据增强,为图像模拟不同姿态、不同光照等复杂情况,这就有可能产生过亮的人脸图像,“过亮”的人脸看起来就像发光的灯泡一样。
刘冲 · 1天前
- “机器换人”引发就业挑战,一线工人前路何在?
-
当前,人工智能在全球范围内的加速发展引发各国高度关注,无论是简单的机械动作还是复杂的感知任务,人工智能所展现出的实力都可圈可点。
佚名 · 2天前
- AI机器人上场,驾培行业翻开智能化新篇章
-
驾培行业打破传统的驾培模式刻不容缓,而通过各种智能技术和装备,启动智能化的教学,无疑是有效的替代之法。
林中易木 · 2天前
- 报告指出:中国人工智能专利申请数量居全球首位
-
中国在自然语言处理、芯片技术、机器学习等10多个人工智能子领域的科研产出水平居于世界前列。而在人机交互、知识工程、机器人、计算机图形、计算理论领域,中国还需努力追赶。
Yu · 3天前