阿尔法狗再进化:36小时从0自学成大师 脱离人类知识

1评论 2017-10-19 13:15:25 来源:量子位 江丰电子凭什么能涨15倍

【阿尔法狗再进化:36小时从0自学成大师 脱离人类知识】以前其他版本的AlphaGo,都经过人类知识的训练,它们被告知人类高手如何下棋。而最新发布的AlphaGo Zero使用了更多原理和算法,从0开始,使用随机招式,40天后成为围棋界的绝世高手。真真正正的自学成才。

  “它最终超越了我们所有预期”。DeepMind团队又放惊天消息。简单地说,AlphaGo又有了重大进步。DeepMind把这个新版本的围棋AI称为AlphaGo Zero。之所以这样命名,是因为这个AI完全从零开始,自我学习下围棋,完全脱离人类知识。

阿尔法狗再进化

  以前其他版本的AlphaGo,都经过人类知识的训练,它们被告知人类高手如何下棋。而最新发布的AlphaGo Zero使用了更多原理和算法,从0开始,使用随机招式,40天后成为围棋界的绝世高手。真真正正的自学成才。

  新的AlphaGo Zero使用了一种全新的强化学习方式,从0基础的神经网络开始,与搜索算法结合,不断进化调整、迭代升级。AlphaGo Zero的不同之处在于:

  •   除了黑白棋子,没有其他人类教给AlphaGo Zero怎么下棋。而之前的AlphaGo包含少量人工设计的特征。

  •   AlphaGo Zero只用了一个神经网络,而不是两个。以前AlphaGo是由“策略网络”和“价值网络”来共同确定如何落子。

  •   AlphaGo Zero依赖神经网络来评估落子位置,而不使用rollouts——这是其他围棋程序使用的快速、随机游戏,用来预测哪一方会获胜。

  创新工场AI工程院副院长王咏刚用“大道至简”四个字评价新版的AlphaGo Zero。

  上述种种,让AlphaGo Zero异常强大。

  “人们一般认为机器学习就是关于大数据和海量计算,但是DeepMind通过AlphaGo Zero的案例发现,算法比计算或者数据可用性更重要”,AlphaGo团队负责人席尔瓦(Dave Silver)介绍说,AlphaGo Zero的计算,比之前的AlphaGo减少了一个数量级。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

  如上图所示,AlphaGo Zero也只用了4个TPU。

  AlphaGo Zero到底多厉害,且看官方公布的成绩单:

  •   3小时后,AlphaGo Zero成功入门围棋。

  •   仅仅36小时后,AlphaGo Zero就摸索出所有基本而且重要的围棋知识,以100:0的战绩,碾压了当年击败李世乭的AlphaGo v18版本。

  •   21天后,AlphaGo Zero达到了Master的水平。这也就是年初在网上60连胜横扫围棋界的版本。Master后来击败了柯洁。

  •   40天后,AlphaGo Zero对战Master的胜率达到90%。也就是说,AlphaGo Zero成为寂寞无敌的最强围棋AI。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

  DeepMind主要作者之一的黄士杰博士总结:AlphaGo Zero完全从零开始,初始阶段甚至会填真眼自杀。AlphaGo Zero自学而成的围棋知识,例如打劫、征子、棋形、布局先下在角等等,都与人类的围棋观念一致。

  “间接呼应了人类几千年依赖围棋研究的价值”,黄士杰写道。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

 技术细节

  DeepMind的最新研究成果,已经全文发布在《自然》杂志上。这也是第二篇在《自然》杂志上发表的AlphaGo论文。

  论文摘要

  人工智能的长期目标是创造一个会学习的算法,能在特定领域中从一块白板开始,超越人类。最近,AlphaGo成为第一个在围棋游戏中打败世界冠军的程序。AlphaGo中的树搜索使用深度神经网络来评估位置、选择落子。这些神经网络用人类专家的棋谱来进行监督学习的训练,并通过自我对弈来进行强化学习。本文介绍了一种仅基于强化学习的方法,除了游戏规则之外,没有人类的数据、指导或者领域知识。AlphaGo成了它自己的老师:一个被训练来预测AlphaGo自己落子选择以及对弈结果的神经网络。这个神经网络提高了树搜索的强度,提高了落子质量、增强了自我对弈迭代的能力。从一块白板开始,我们的新程序AlphaGo Zero的表现超越了人类,并以100-10击败了以前曾打败世界冠军的AlphaGo版本。

  AlphaGo Zero的强化学习

  上面提到AlphaGo使用了一个神经网络,这是怎么做到的?

  DeepMind使用了一个新的神经网络fθ,θ是参数。这个神经网络将原始棋盘表征s(落子位置和过程)作为输入,输出落子概率(p, v)= fθ(s)。这里的落子概率向量p表示下一步的概率,而v是一个标量估值,衡量当前落子位置s获胜的概率。

  这个神经网络把之前AlphaGo所使用的策略网络和价值网络,整合成一个单独的架构。其中包含很多基于卷积神经网络的残差模块。

  AlphaGo Zero的神经网络,使用新的强化学习算法,自我对弈进行训练。在每个落子位置s,神经网络fθ指导进行MCTS(蒙特卡洛树)搜索。MCTS搜索给出每一步的落子概率π。通常这种方式会选出更有效的落子方式。

  因此,MCTS可以被看作是一个强大的策略提升operator。这个系统通过搜索进行自我对弈,使用增强的MCTS策略决定如何落子,然后把获胜z作为价值样本。

  这个强化学习算法的主要理念,实在策略迭代过程中,反复使用这些这些搜索operator:神经网络的参数不断更新,让落子概率和价值(P,v)=fθ(s)越来越接近改善后的搜索概率和自我对弈赢家(π, z)。这些新参数也被用于下一次的自我弈迭代,让搜索变得更强大。整个过程如下图所示。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

  上图解释了AlphaGo Zero中的自我对弈强化学习。图a展示了程序的自我对弈过程。程序在从s1到st的棋局中进行自我对弈,在任意位置st,程序会用最新的神经网络fθ来执行MCTS αθ,根据MCTS计算出的搜索概率at~πt选择落子位置,根据游戏规则来决定最终位置sT,并计算出胜者z。

  图b展示了AlphaGo Zero中的神经网络训练过程,神经网络以棋盘位置st为输入,将它和参数θ通过多层CNN传递,输出向量Pt和张量值vt,Pt表示几步之后可能的局面,vt表示st位置上当前玩家的胜率。为了将Pt和搜索概率πt的相似度最大化,并最小化vt和游戏实际胜者z之间的误差,神经网络的参数θ会不断更新,更新后的参数会用到如图a所示的下一次自我对弈迭代中。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

  AlpaGo Zero中的MCTS结构如上图所示,从图a显示的选择步骤可以看出,每次模拟都会通过选择最大行为价值Q的边缘,加上置信区间上限U来遍历树,U取决于存储先验概率P和访问次数N。

  图b显示,叶节点扩展和相关位置s的评估都是通过神经网络(P(s, ·),V(s)) = fθ(s)实现的,P的向量值存储在s的出口边缘。

  图c显示了更新行为价值Q以追踪该行为下面子树中所有评估V的平均值。

  图d显示,搜索完成后,搜索概率π返回,与N1/τ成比例,其中N是从根状态每次移动的访问次数,τ是控制温度的参数。

  从零开始的训练

  DeepMind在论文中表示,应用了强化学习的pipeline来训练AlphaGo Zero,训练从完全随机的行为开始,并在没有认为干预的情况下持续3天。

  训练过程中,生成了490万盘自我博弈对局,每个MCTS使用1600次模拟,相当于每下一步思考0.4秒。下图显示了在自我对弈强化学习期间,AlphaGo Zero的表现。整个训练过程中,没有出现震荡或者灾难性遗忘的困扰。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

  令人惊讶的是,AlphaGo Zero在训练36小时后,表现就优于击败李世乭的版本AlphaGo Lee。当年那个版本经过了数月的训练。AlphaGo Zero使用了4个TPU,而击败李世乭的AlphaGo使用了48个TPU。

  下图就是AlphaGo Zero和AlphaGo Lee的神经网络架构比较。

  新AlphaGo这么强!36小时从0自学成大师,100:0把李世乭版秒成渣渣 | Nature论文

关键词阅读:阿尔法狗再进化

责任编辑:Robot RF13015
快来分享:
评论 已有 0 条评论
精彩推荐
摩根士丹利:这四支股票将在2018年领跑大市

2017-11-22 04:10:03来源:金融界网站

玩客币玩家在迅雷门口打条幅:玩客币骗钱 陈磊骗子

2017-11-22 14:39:59来源:金融界网站

看看巴菲特最新的自选股

2017-11-22 21:34:49来源:金融界网站

关注美联储会议纪要 美股微幅高开

2017-11-22 22:32:23来源:金融界网站

耶伦“裸退”意味着美联储将进一步“特朗普化”

2017-11-22 02:46:19来源:华尔街见闻

强劲企业财报提振 美股收涨三大股指同创收盘新高

2017-11-22 05:34:53来源:金融界网站

美股财报季 分析师为您解读教育类中概股

2017-11-22 20:49:21来源:金融界网站

交易前瞻:关注美联储会议纪要 美股盘前微幅上涨

2017-11-22 22:17:01来源:金融界网站

关注美国库存与OPEC会议 原油微幅收涨

2017-11-22 05:00:30来源:金融界网站

趣店上市月余股价腰斩 监管大棒让现金贷公司何去何从

2017-11-22 20:49:31来源:金融界网站

中国概念股周一收盘涨跌互现 迅雷飙涨逾17%

2017-10-31 04:18:12来源:金融界网站

监管层清理整顿现金贷传言施压 中概互金股集体下挫

2017-11-22 22:55:55来源:金融界网站

大假前夕市场沉闷,美联储纪要黄金能否收获大礼?

2017-11-22 21:59:48来源:汇通网

中国概念股周三开盘涨跌互现 趣店跌近8%

2017-11-22 22:52:38来源:金融界网站

特朗普税改预期遇阻 美股收盘微幅下跌

2017-10-31 04:31:31来源:金融界网站

纽市盘前:耐用品订单力挺黄金,鸽派预算案反助英镑

2017-11-22 22:56:33来源:汇通网

OPEC减产预期提振 原油收涨创八个月以来新高

2017-10-31 04:12:29来源:金融界网站

11月17日现货黄金、原油、欧元、英镑市场交易解析

2017-11-17 21:29:47来源:汇通网

英国财政部下调增长及赤字预估,英镑短暂跳水三十点

2017-11-22 21:46:32来源:汇通网

为什么迅雷最近暴涨300%

2017-11-02 10:34:35来源:美股投资网

加载更多

更多>> 以下为您的最近访问股
投资内参
资金流向马上开户

资金查询:

证券名称最新价格涨跌幅净流入金额(万)
中国中车11.839.84%165658.78
中国建筑9.963.32%92903.92
民生银行9.074.98%78688.93
农业银行3.803.83%56432.56
    全网|财经|股票|理财 24小时点击排行
    研报评级

    资金查询:

    更多>>
    股票简称投资评级最新价目标价
    上海环境买入25.5232.00
    大禹节水买入8.0511.80
    恒瑞医药买入54.1461.00
    东方明珠买入21.1024.40
    实时热点