Mastering the game of Go without human knowledge, 2017相比于 AlphaGo 的改进：不使用任何人类棋谱数据进行监督学习，仅通过自我对弈的强化学习来提升不再使用快速随机走子（Rollouts）来评估局面，而是依赖高质量的神经网络进行评估AlphaGo 中的快速随机走子（Rollouts）发生在 MCTS 的 Simulation 步在 MCTS 的 Backpropagation 阶段，AlphaGo Zero 直接反向传播价值模型给出的胜率模型训练：( p , v ) = f θ ( s ) and l = ( z − v ) 2 − π T log ⁡ p + c ∥ θ ∥ 2 ( 1 ) (p,v)=f_\theta(s) \ \ \text{and} \ \ l=(z-v)^2-\pi^T\log p + c\|\theta\|^2