愚愚学园
www.SciFans.net温馨提示：
12月7日，谷歌旗下的人工智能实验室DeepMind研究团队在《科学》杂志上发表封面论文，公布了通用算法AlphaZero和测试数据。《科学》杂志评价称，通过单一算法就能够解决多个复杂问题，是创建通用的机器学习系统、解决实际问题的重要一步。该论文的作者包括AlphaGo的核心研发人员戴维席尔瓦(David Silver)和DeepMind创始人戴密斯哈萨比斯(Demis Hassabis)等。
2018年12月7日的《科学》杂志封面
AlphaGo首次为人们所熟知是2016年与围棋世界冠军李世石进行围棋人机大战，并最终以4比1的总比分获胜。实际上早在2016年1月谷歌就在国际学术期刊《自然》杂志上发表封面文章，介绍AlphaGo在没有任何让子的情况下以5:0 完胜欧洲冠军、职业围棋二段樊麾。
2016年1月28日《自然》杂志封面
2017年10月18日，DeepMind团队公布了最强版阿尔法围棋，代号AlphaGo Zero。彼时DeepMind表示，棋类AI的算法主要基于复杂的枚举，同时需要人工进行评估，人们在过去几十年内已经将这种方法做到极致了。而AlphaGo Zero在围棋中的超人表现，则是通过与自己下棋练习出来的。
现在DeepMind研究团队将这种方法推广到AlphaZero的算法中，AlphaZero最长花了13天自学成才，随后与世界冠军级的棋类AI对决：
在国际象棋中，AlphaZero在4个小时后首次击败了第九季TCEC世界冠军Stockfish。
在日本将棋中，AlphaZero在2小时后击败了将棋联盟****世界冠军Elmo。
在围棋上，AlphaZero经过30个小时的鏖战，击败了李世石版AlphaGo。
AlphaZero：一个算法通吃三大棋类
AlphaGo的前几代版本，一开始都是与人类棋手的棋谱进行上千盘的训练，学习如何下围棋。到了AlphaGo Zero则跳过了这个步骤，通过自我对弈学习下棋，从零学起。系统从一个对围棋一无所知的神经网络开始，将该神经网络和一个强力搜索算法结合，自我对弈。在对弈过程中，神经网络不断调整、升级，预测每一步落子和最终的胜利者。
与AlphaGo Zero一样，从随机小游戏开始，AlphaZero依靠深度神经网络、通用强化学习算法和蒙特卡洛树搜索，在除了游戏规则外没有任何知识背景的情况下，通过自我对弈进行强化学习。强化学习的方式是一种通过试错的机器学习方式。
DeepMind在其博客中介绍，一开始AlphaZero完全是在瞎玩，但随着时间的推移，系统从胜、负和平局中学习，调整神经网络的参数，如此往复循环，每过一轮，系统的表现就提高了一点点，自我对弈的质量也提高了一点点，神经网络也就越来越准确。神经网络所需的训练量取决于游戏的风格和复杂程度。经过试验，AlphaZero花了9个小时掌握国际象棋，花了12个小时掌握日本将棋，花了13天掌握围棋。
AlphaZero的训练步骤
AlphaZero继承了AlphaGo Zero的算法设置和网络架构等，但两者也有诸多不同之处。比如围棋中很少会出现平局的情况，因此AlphaGo Zero是在假设结果为非赢即输的情况下，对获胜概率进行估计和优化。而AlphaZero会将平局或其他潜在结果也纳入考虑，对结果进行估计和优化。
其次围棋棋盘发生旋转和反转，结果都不会发生变化，因此AlphaGo Zero会通过生成8个对称图像来增强训练数据。但国际象棋和日本将棋中，棋盘是不对称的。因此，AlphaZero不会增强训练数据，也不会在蒙特卡洛树搜索期间转换棋盘位置。
在AlphaGo Zero中，自我对弈是由以前所有迭代中最好的玩家生成的，而自我对弈也是与这个产生的新玩家对于。而AlphaZero只继承了AlphaGo Zero的单一神经网络，这个神经网络不断更新，而不是等待迭代完成。自我对弈是通过使用这个神经网络的最新参数生成的，因此省略了评估步骤和选择最佳玩家的过程。
此外，AlphaGo Zero使用的是通过贝叶斯优化调整搜索的超参数；AlphaZero中，所有对弈都重复使用相同的超参数，因此无需进行针对特定某种游戏的调整。唯一的例外是为保证探索噪声和学习率。
研究团队展示了在AlphaZero执白、Stockfish执黑的一局国际象棋里，经过1000次、10000次直到100万次模拟之后，AlphaZero蒙特卡洛树的内部搜索状态。每个树状图解都展示了10个最常搜索的状态。
通过自我学习掌握国际象棋、日本将棋和围棋的强化学习算法 《科学》杂志 图
DeepMind研究团队介绍，每个AI的硬件都是定制的。例如，在TCES世界锦标****上，Stockfish和Elmo使用的是44核CPU。而AlphaZero和AlphaGo Zero则使用了一台配备了4个第一代TPU和44核CPU的机器。虽然架构没有可比性，但第一代TPU的处理速度与英伟达公司的Titan V型商用GPU相当。研究团队在训练环节里，投入了5000个一代TPU来生成自我对弈游戏，16个二代TPU来训练神经网络。
卡斯帕罗夫：聪明地工作比拼命地工作更重要
国际象棋是计算机科学家很早就开始研究的领域。1997年，深蓝（Deep Blue）击败了人类国际象棋冠军卡斯帕罗夫，这一事件成为了人工智能发展的里程碑。但彼时卡斯帕罗夫对深蓝的印象并不深刻，认为深蓝的智能水平和一个闹钟差不多。如今，他对棋类AI的看法也发生了转变。他认为AlphaZero像自己一样，下棋风格多变而开放。
在同一期《科学》杂志上，卡斯帕罗夫撰文称，传统的机器是通过不断枚举来下棋，最终把棋局拖入无聊的平局。但在我的观察中，AlphaZero会优先考虑棋子的活动而非盘面上的点数优势，并且喜欢在相对风险更大的地方落子。
尽管与传统的冠军级程序相比，研究人员用训练好的神经网络指导蒙特卡罗树搜索，来选择最有可能获得胜利的一步，因此AlphaZero每秒计算的位置要少得多。据DeepMind介绍，在国际象棋中，AlphaZero每秒仅计算6万个位置，相比之下，Stockfish则会计算6千万个位置。但从比****的结果来看，AlphaZero的思考显然更有效率。
在国际象棋比****中，AlphaZero击败了2016年TCEC(第九季)世界冠军Stockfish，在1000场比****中，赢得155场比****，输了6场（其余为平局）。为了验证AlphaZero的稳健性，研究团队还进行了一系列比****，这些比****都是从人类开局方式开始的，而AlphaZero都击败了Stockfish。
在将棋比****中，AlphaZero击败了2017年CSA世界冠军版Elmo，赢得了91.2％的比****。
在围棋比****中，AlphaZero击败了AlphaGo Zero，赢得了61％的比****。
对于AlphaZero取得的战绩，卡斯帕罗夫认为这正是印证了一句老话聪明地工作比拼命地工作更重要。
在AlphaZero对阵各领域最强AI的战绩，绿色代表AlphaZero获胜，灰色代表平局，粉色代表输棋。 《科学》杂志图
此外，卡斯帕罗夫表示，一个程序的特点通常反映了程序员思考的优先级和思维上的偏见，但由于AlphaZero是通过跟自己下棋来完善自己的思路的，所以它的风格反映的就是它自己。
在进行马拉松式比****的过程中，DeepMind研究团队发现，AlphaZero自己发现并掌握了一些人类下棋时摸索出来的套路，比如在国际象棋中，AlphaZero掌握了几种常见的开局模式、保王（King Safety）的思维以及各种兵阵的布局。但另一方面AlphaZero是自学成才的，不受到传统观念的影响，因此它还能为传统策略的发展注入新鲜的血液。这一点得到了日本将棋史上第一个达成七冠王的羽生善治的赞同。
AlphaZero会将王移到棋盘中央，从人类的角度来看，这是有违将棋理论的，它的一些路数走得也很危险。但令人难以置信的是，它始终控制着局面。AlphaZero独特的风格打开了日本将棋新世界的大门。 羽生善治表示。（来源：澎湃新闻徐路易）
DOI：10.1126/science.aar6404
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的来源，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
