人类终于创造了惰性人工智能……
许多文章解释了强化学习(RL)的概念,但鲜有文章解释如何切实地设计实现现实世界中的强化学习。
小芯这次想分享人工智能范式转变课程,讨论设计权衡问题,并深入研究技术细节。
那么,我们开始吧!
首先,喝酒?
想象一下你身处聚会,有点微醺或酩酊大醉,自愿参加一个饮酒游戏,想要打动一个(或多个)颇具魅力的泛泛之交。
有人蒙住你的眼睛,给你一杯或一瓶啤酒,喊道:“倒酒!”
你会怎么做?
可能会有以下反应:该死,我应该怎么做?怎样能赢!要是输了怎么办!?
游戏规则如下:在10秒内把啤酒灌满,尽可能接近玻璃杯上的标记。可以把啤酒倒进倒出。
RL(强化学习)解决方案面临着类似的任务,高大上且有意义,欢迎了解。
现实世界中的啤酒问题
环保共享单车业务存在一个大问题。一天中,每个单车停放处(杯)的共享单车(啤酒)数量过多或不足。

纽约市单车停放处的单车过剩(左图)和不足(右图)
对于骑自行车的人来说,这十分不便,并且要花费数百万美元来管理运营,也不划算。不久前,笔者在纽约大学的团队任务是提供人工智能解决方案,将人工干预降到最小,帮助管理自行车库存。
目标:每天将各个单车停放处的数量保持在1至50之间(想想杯子上的标记)。这在共享经济中被称为“再平衡问题”。
限制条件:由于运营限制,团队每天每小时只能移动1、3或10辆单车(可以倒入或倒出的啤酒量)。当然,他们可以选择什么都不做。团队移动的单车越多,价格越昂贵。
惰性RL(强化学习)解决方案
团队决定使用RL (强化学习),它克服了传统方法的许多局限(例如基于规则和预测)。
如果想了解RL(强化学习)以及一些关键概念,乔纳森·辉(JonathanHui)撰写了一篇很棒的介绍,托马斯·西蒙尼尼(ThomasSimonini )详细解释了解决方案中应用的RL算法Q-Learning。
事实证明,人类创建了极具惰性的人工智能。当单车存量超过60辆时,它通常会选择不执行任何操作或执行最少操作(移动1或3辆自行车)。似乎有违常理,但这是非常明智的。
根据直觉,可能会移动尽可能多的单车以将其保持在50辆以下,尤其是在停放处停满时。但是,RL(强化学习)识别出移动成本(移动的单车越多,成本越高)以及在某些情况下成功的机会。考虑到所剩时间,根本不可能实现目标。它知道最好的选择是“放弃”。因此,放弃比继续尝试要付出更少的代价!
所以呢?当人工智能做出非常规决策时,类似于谷歌Alpha Go研发的著名Move 37 and 78 ,它们会挑战人类的偏见,帮助打破知识的魔咒,并将人类推向未知的道路。
创造人工智能既是一种发明,也是一种探索人类内心活动的旅程。——DeepMind创始人德米斯·哈萨比斯 (Demis Hassabis)在《经济学人》杂志《2020年的世界》(The World in 2020)一文中所言。
但是,请保持谨慎。人类价值体系无可替代,因此人类不会一落千丈或迷失自我。
哲学知识已经足够了,现在现实一点吧
RL如何管理单车停放处?
下图显示了在有无RL的情况下,一天当中单车的停放量。
- 蓝色线是无RL情况下的单车停放趋势。
- 黄色线是最初RL情况下移出单车的趋势,很昂贵。
- 绿色线是训练有素的RL,它仅移出足以满足目标的单车,更能了解成本。

作者分析
RL如何决定该做什么?
以下是经过98,000次训练后RL解决方案Q表的快照。它解释了RL如何根据停放处(垂直数据)上的自行车数量来决定做什么(水平数据)。RL不太可能选择用红色进行操作。看看底部的红色区域。

作者分析
RL能有多智能?以下图表介绍了RL对停放处的管理情况。通过深入学习,RL可以将整体成功率逐步提高到98%,令人印象深刻。

作者分析
希望大家喜欢这篇文章,并由衷地期待RL在现实世界中展示出的潜力。


更多资讯推荐
- MIT提出Liquid机器学习系统,可像液体一样适应动态变化
-
麻省理工学院(MIT)的研究者开发出了一种新型的神经网络,其不仅能在训练阶段学习,而且还能持续不断地适应。
机器之心 · 2021-02-21 15:47:47
- 规划智慧城市时,别忘了无障碍通行
-
要想成为一个智慧城市甚至一个智慧世界,虽然可能需要时间和有针对性的规划,但我们必须以人为本。
蒙光伟 · 2021-02-21 10:26:41
- 2021关于人工智能的五大趋势
-
数字化变革,比过去10年更多,这主要是由于远程工作的规模,以及企业迅速部署了必要的技术,尤其是与网络安全相关的技术。那,2021关于人工智能的五大趋势会是如何的呢?
Lichu · 2021-02-21 10:21:01
- 使数据中心更智能:人工智能如何发挥作用?
-
随着数据成为维持几乎所有业务运营以获取洞察力和业务成果的先决条件,数据中心正处于这种数字化转型的关键。
Cassie · 2021-02-21 10:14:59
- IBM拟出售Watson Health后,AI医疗还能不能碰
-
医疗服务仍然是一块商业上尚未被完全发掘的市场,看病难/看病贵、医疗资源紧缺、医疗资源不平均等痛点问题长期存在,对应的市场空间理应是巨大的。而Watson Health作为IBM曾寄予厚望的业务方向,为何要在此时萌生退意?它的故事给业界带来哪些启发?眼下的AI医疗市场,究竟是一副什么样的局面呢?
物联传媒 · 2021-02-21 08:41:16
- 抛弃归一化,深度学习模型准确率却达到了前所未有的水平
-
我们知道,在传递给机器学习模型的数据中,我们需要对数据进行归一化(normalization)处理。
机器之心 · 2021-02-20 21:09:12
- 华人博士生首次尝试用两个Transformer构建一个GAN
-
最近,CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明,transformer 有可能成为计算机视觉任务(如分类、检测和分割)的强大通用模型。
Yifan Jiang · 2021-02-20 21:04:53
- 无监督训练用堆叠自编码器是否落伍?ML博士对比了8个自编码器
-
柏林工业大学深度学习方向博士生 Tilman Krokotsch 在多项任务中对比了 8 种自编码器的性能。
Tilman Krokotsch · 2021-02-20 20:57:16