下围棋so easy ,AlphaZero开始玩量子计算!

作者: 佚名 2020-04-13 14:00:07

  在过去的几十年里量子物理技术的探索中,最引人注目的就是量子计算机。

下围棋so easy ,AlphaZero开始玩量子计算!

量子计算机的能力,是所有现有的计算机组合加起来都无法匹敌。但到目前为止还没有人能够制造出一台功能齐全的量子计算机。这就需要我们在控制量子系统的能力上向前跨一步。

为什么 AlphaZero 能快人一步“预知未来”?

AlphaZero一开始是专门用来下围棋的。围棋的落子位置太多了大约有种。相比之下,国际象棋只有种可能的走位。

所以AlphaZero使用了一个深层的神经网络,它学会了从一个特定的位置开始评估它获胜的可能性。为了获胜,AlphaZero有一个功能叫做蒙特卡洛树搜索,这种方法能够帮助它在游戏中“预知未来”。

下围棋so easy ,AlphaZero开始玩量子计算!

由于在所有可能策略中抽样的可能性比较小,而且神经网络只能近似估计,所以特别是在其训练阶段,蒙特卡洛树搜索能够极大地提高游戏的准确性以及训练效率。

这类似于职业棋手在下棋时能够提前想几步棋。训练结果是相当惊人的,AlphaZero 很快就摧毁了专业游戏软件和人类玩家。例如,经过仅仅四个小时的自我对弈练习,AlphaZero 就在国际象棋中击败了领先的棋类软件 Stockfish。而且这完全都是从零开始,一开始AlphaZero根本不知道游戏规则。丹麦国际象棋大师Peter Heine Nielsen将其比作一个访问过地球的高级外星物种。

目前AlphaZero 已经有效地在围棋,国际象棋和星际争霸中战胜对手。AlphaZero成功的关键是将蒙特卡罗树搜索和具有前瞻性的深度神经网络结合起来。结果表明,从树下方延展出来的预测信息极大地提高了深度神经网络的精度,使预测结果更加准确集中,而非试探性的探索。

AlphaZero后发制人:30小时性能提高一个数量级

与普通计算机类似,量子计算机使用门操作(gate operations)来操纵其量子位。我们试图通过构建分段恒定的脉冲序列来实现特定的门操作,即AlphaZero必须为每个时间步长(time-step)选择一个脉冲幅度。物理系统在每个时间步长tj上都由一个4x4复杂的矩阵U(tj)进行数学描述,我们将其折叠成一个长度为32的向量。这是神经网络的输入,如图1所示。脉冲序列完成后,就可以将复数矩阵U(T)映射为一个实数,称为仿真逼真度(fidelity)F,该实数的取值在0到1之间。从本质上讲,仿真逼真度是一种概率度量,其中1表示100%成功。

下围棋so easy ,AlphaZero开始玩量子计算!

图1.AlphaZero使用的MCTS(左)和深度神经网络(右)的图示

左图和右图分别演示了 AlphaZero 的树搜索和神经网络。利用树搜索中统一的搜索结果作为神经网络的输入项。神经网络的上限输出接近给定输入状态的现行策略,即 p a ∼ a pa ∼ a。同时,下限输出提供了一个能够预估期望最终报酬的值函数,即 v (s t)∼(t) v (st)∼ f (t)。在我们的工作中,我们发现以一致的形式向 AlphaZero 提供物理系统的完整信息,有利于提升它的性能,尽管这种方式可能比较难以调整以适应具有较大希尔伯特空间的系统。

神经网络输出一个值,该值是对最终仿真逼真度v≈F和一些移动概率p=(p1, p2, ...)的估计。两者都在蒙特卡洛树搜索中使用。树由节点(状态)和边(状态-动作对)组成。树搜索从根节点开始,并通过在每个步骤中选择动作来贯穿树。选择哪种行动,是通过比较每一个边缘的内在属性,以平衡勘探和开发的方式进行的。一旦探索到了边缘,其内在属性将根据搜索结果进行更新。

树中的正向搜索将继续,直到遇到一个以前未访问过的节点,然后将该节点添加到树中,并使用p初始化其边缘。搜索中的所有访问过的边都将使用v在反向过程中更新。一旦执行了多次此类搜索,AlphaZero将确定一个操作并更新根节点,而丢弃树的其余部分。最后,基于树搜索产生的数据对神经网络进行更新,使得v接近保真度,并且移动概率增加了选择更有希望动作的机会。

简言之:蒙特卡洛树搜索允许AlphaZero向前看几步,从而可以在解决方案空间中进行更全面的搜索。这使得AlphaZero在长期策略至关重要的复杂任务中比大多数其他强化学习方法更具优势。

成功实现AlphaZero之后,我们使用相同的算法超参数将其用于三个不同的量子控制问题。对于每个问题,我们将AlphaZero与更常规的算法进行了比较。例如,在图2中,我们比较了AlphaZero和遗传算法在50小时运行期间创建二进制脉冲的任务。在y轴上,我们绘制infidelity 1-F,这实际上是错误率(即越低越好)。最初,AlphaZero在学习量子力学关联时表现不如遗传算法,但是这个学习阶段相当短。在30小时内,我们发现AlphaZero的性能比遗传算法提高了一个数量级,并且具有大量独特的高保真脉冲序列。

下围棋so easy ,AlphaZero开始玩量子计算!

图2.遗传算法和AlphaZero在50小时运行期间的比较。在y轴上绘制了infidelity (1-F),这实际上是一个错误率

混合了AlphaZero的量子计算,搜索速度提升500倍

AlphaZero会输给物理学家在过去15年不断完善的高度量子化的优化算法并不奇怪。但是,如果AlphaZero死在这里,会留下很多遗憾。

由于梯度优化算法没有学习功能,意味着训练过程中其性能没有逐步提高,并且所有生成的数据都将被丢弃,而不是用于后续学习。

奥胡斯大学的团队开始寻求一种混合算法:AlphaZero通过广泛的探索生成了高可用的种子对象,随后通过基于梯度的方法对它们进行优化,这种方法使解决方案的数量和质量都得到了极大的提高。

实际上,AlphaZero和梯度优化解决了不同的问题:AlphaZero能学习到解决方案的基础结构,梯度优化在种子解决方案周围的局部空间中进行优化。如果仅使用梯度优化,经过50小时的模拟,我们可能有两个或三个有前途的解决方案,但通过我们的混合算法,可以获得一千个。

将功能强大的通用领域机器学习方法与人类专业知识、特定领域的蛮力计算相结合的结果令人振奋。国际象棋已经迈出了第一步,混合型人机团队将专家知识和Stockfish引擎结合起来,可以同时胜过人类和算法。

最近Gary Marcus和Ernest David在他们的新书《重新启动AI:构建我们可以信赖的人工智能》中提出,将领域特定方法和领域通用方法与分层的受人类启发的决策过程相结合,是未来构建强大的AI方法的核心元素之一。这可能会解决AlphaZero方法最直接的弊端之一:超参数很多,但仅在有限的范围内有用。

在一些案例中,相同的超参数集在三种量子情况下均能很好地工作,当改变问题的设定,AlphaZero将无法解决。

量子计算机利用量子并行性大幅提高了计速度,但是问题再次出现:搜索空间的控制参数成指数级增长。AlphaZero实验证明,神经网络提供的近似和不完善的解决方案可以充当本地蛮力启发式算法的强大种子生成器。

除了算法方面的优化设计,量子计算本身的性能也在飞速提升。

金子表面发现马约拉纳费米子,量子计算机时代要来了?

最近量子计算捷报频传。

丹麦、德国科学家奇思妙想用AlphaZero解决量子计算问题,MIT等科学家则在金子的表面,观测到了马约拉纳费米子,从而在将粒子分离为稳定的、防错的量子比特进行量子计算领域迈出了重要的一步,该结果发表在《美国国家科学院院刊》上。

在粒子物理学中,马约拉纳费米子是一类基本粒子,包括电子,质子,中子和夸克,它的反粒子就是它本身。由意大利理论物理学家Ettore Majorana在1937年首次提出。

下围棋so easy ,AlphaZero开始玩量子计算!

马约拉纳费米子

然而不幸的是,这位物理学家提出该理论后不到一年时间,就在一次神秘的意大利海岸渡轮旅行中失踪了。从此,大家就一直在寻找马约拉纳和他的马约拉纳费米子。最终,大家放弃了寻找马约拉纳,但却从未停止寻找他的费米子。

现在,由MIT领导的团队制造了在超导材料钒上生长的金纳米线组成的材料表面,发现了接近零能量的特征信号尖峰。显然,根据目前的理论物理学来看,除了马约拉那费米子对,没有其他可能。

马约拉纳费米子将是理想的量子比特或量子计算机的单个计算单位,一个量子位将由成对的马约拉那费米子组成,这是科学家长期以来,一直梦寐以求的材料!

如果该马约拉纳费米子被彻底证实,我们将提前步入量子计算时代!

量子计算 围棋 AI
上一篇:“我为什么反对AI论文强制开源代码” 下一篇:被Zoom逼疯的歪果仁,造出了视频会议机器人,同事已笑疯
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能将“吞噬”数据

显然,更多数据将成为人工智能辅助解决方案的标志。对数据的渴求可能来自于更具挑战性的问题、对高级人工智能/分析的更好利用或者是端到端价值链的增长。

佚名 ·  14h前
腾讯AI又创新纪录:ACL 2020入选27篇论文

近日,国际计算语言学协会年会(ACL,The Association for Computational Linguistics)在官网公布了ACL 2020的论文收录名单,共计收录779篇论文。据不完全统计,此次腾讯共有27篇论文入选,投中论文总数刷新国内记录,领跑国内业界AI研究第一梯队。

佚名 ·  3天前
Σco时间 | 把握新趋势,湖南智慧校园转型加速时

日前,在#Σco时间#直播平台上举办了以“把握新趋势,湖南智慧校园转型加速时”为主题的线上研讨会,华为湖南政企业务教育行业技术总监谢传亮、苏迪科技产品与解决方案总监刘传先等嘉宾出席会议,通过主题演讲全方位展示了华为以“5G+AI”方案为高校数字化转型之路筑基的战略愿景以及新趋势下一网通办的解决方案。

张洁 ·  3天前
谷歌用AI训练“耳机线”,实现了触摸屏大多数功能

谷歌AI工程师开发了一款电子交互式编织物(E-Textile),可以让人通过捏、搓、握、拍等手势实现以往触摸屏的大部分功能。

梅宁航 ·  3天前
到底“谁”最需要无人驾驶汽车?

想要开发出几乎能够适应一切道路状况的无人驾驶汽车,无疑是项极度严苛的挑战。至于实现无人驾驶汽车的具体技术与科学原理,更是让很多业内外人士直呼头痛。

佚名 ·  2020-05-19 20:03:43
人工智能正在改变软件开发的模式

如今,很多软件开发人员正在使用人工智能技术帮助编写和审查代码、检测错误、测试软件,并优化开发项目。这帮助企业更有效地部署新软件,并使新一代开发人员更轻松地学习编程。

HERO ·  2020-05-19 10:36:28
虹软开放平台算法上新 助力全面拓展人脸识别细分化场景

自虹软视觉开放平台ArcFace3.0上线以来,凭借对人脸识别、活体检测、年龄检测、性别检测等核心算法模型的全面升级,其算法鲁棒性大幅提升,接入门槛显著降低,并继续秉承了免费、离线的核心,进而成为了广大开发者落地AI应用的利器。

佚名 ·  2020-05-19 09:51:27
如何解决企业AI的巨大挑战

根据Gartner的说法,组织需要建立特定的用例,并部署具有可衡量结果的技术,以实现AI的价值。

闻数起舞 ·  2020-05-19 08:11:09
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载