机器之心报道
机器之心编辑部
在 OpenAI Dota2 项目最终的决战中，OpenAI Five 2:0 战胜 Dota2 职业战队、TI 8 冠军 OG。此外，OpenAI还将在4月18-21日期间把OpenAI Five开放给玩家，注册就能体验。炫耀一下，小编现场体验了一把。
3 月底，OpneAI 官方宣布挑战 Dota2 职业战队、TI 8 冠军 OG，这是 OpenAI Dota2 项目的最后一战。先前，机器之心曾介绍过 OG 是 Dota 界一支顶级的战队，TI5-TI7 期间，该队取得了 7 个官方特锦赛中的 4 个冠军。在 2018 年的 TI8 中，3：2 赢得 CN Dota 战队 LGD。虽然，机器之心读者吐槽如今的 OG 完全是一支鱼队，但这次比赛中选手 Ana 归来，实力并不弱。
刚刚，这场终极对决结束，OpenAI Five 2:0 战胜职业战队 OG。
2:0 OG 惨败
先介绍下比赛规则的调整。
据先前 OpenAI 博客介绍，此次比赛规则类似于 TI8 时 OpenAI Five 与职业战队的比赛但略有调整，可选择的英雄从去年的 18 位降为 17 位，无幻象，无召唤物。据 OpenAI 介绍，针对 dota2 最新的版本更新，OpenAI Five 训练了几周。
第一场比赛，双方阵容选择如下：
  • OpenAI Five：火枪、飞机、冰女、DP、斯温
  • OG：小牛、巫医、毒龙、影刺、影魔
系统给出的 OpenAI Five 的胜率为 67.6%。
比赛开始后，开局抢钱，OpenAI Five 拿下一血。而后双方在战线阶段，双方打的势均力敌，经济与人头数一度拉平。不久之后，OG 河道一波失误，导致丢失中路二塔与高地。
24 分钟，毒龙上路带线被抓，队友支援不成反而引发团灭。
32 分钟下路一波团，OG 惨败，在挣扎了几分钟后，三路被破而后 GG，击杀数为 52:29。
「人类的希望」OG 第一局败北。
第一局比赛，不谈人类的「表演」（如从头送到尾的毒龙），我们可以从中观察到 OpenAI Five 存在的一些问题，例如：
  • 因英雄选择限制，阵容搭配与分路都不常规；
  • DP 中路打影刺，不插真眼；
  • 因为隐身英雄的存在，OpenAI Five 学习插真眼存在问题；
  • 毫无道理的买活；
  • 用鸡习惯极差。
但相比于 2018 年 TI 8 时期，OpenAI Five 的确增强了许多，如团战打的更好，做视野的能力也有所提升。
进入第二局比赛，双方改换阵容。OpenAI Five 选择了冰女、飞机、斯温、巫医和毒龙，OG 选择了火枪、小牛、DP、小鱼和 lion。
此局比赛，OpenAI Five 预测胜率为 60.8%。
开局，人类玩家上下两路劣势，10 分钟左右击杀数大为落后（3：11），经济落后 5000 左右。
14 分钟上高
14 分钟，OpenAI 上路杀人、拿塔、破高地，OG 的两位大哥已经没时间发育了。不到 21 分钟，OG 基地被破，6:46 的击杀数被 OpenAI 完虐。
在 TI 8 败给职业玩家之后，OpenAI Five 终于证明了自己，2:0 战胜职业战队。而 OG 的表现，在观众看来真的沦为了鱼腩队，或者未发挥全部实力，仅仅参与了一场表演赛。
「菜鸡」小编上手
受 OpenAI 邀请，机器之心小编也上手了一把和 AI 大战的好戏。
事先声明，小编玩 Do 龄 8 年，但 Dota 2 几乎没有玩过，Ehome 粉丝，新版本英雄技能完全不熟悉，导致选英雄的时候果断选了死灵法师，以为可以用大招远程直接带走对方残血 AI 为机器之心争光，结果……
机器之心「菜鸡」小编挑战 OpenAI Five
往事不堪回首，先谈一波感受：
首先，这场 Demo 是常规的 5V5 作战，规则和 OpenAI vs OG 的规则一样，只不过小编没有人类队友，而是配了 4 个 AI 一队。是的，人类可以和 AI 组队。
双方阵容有四位相同英雄：巫医、潮汐、小牛、直升机，OpenAI Five 另一位英雄为死亡先知。小编的死灵法师上手树枝大补药加一个智力头盔，中路出门对线死亡先知。
结果，对线期完全被压制，而且除了用技能之外一个正补反补都没有……当然死亡先知中路本身压制就比较有优势，而且 AI 几乎没有犯什么错误。
无奈之下，小编只有叫小弟帮忙：输入 Lane Gyro Mid，在上路由 AI 控制的矮人直升机回复：收到老大，马上来。两个英雄对线后，情况马上好转。
升了 6 级，买了鞋子之后，对方 AI 开始推中路和上路。和 AI 交流还是有些问题，对方开始中推我们却无法集中防守。之后两波团战小编除了加血和尝试放大招失败后，死了两次，没有任何收获。
时间原因，Demo 在 12 分钟结束，人头比 1：8，菜鸡小编惨败，12 分钟 KDA 0/2/1。
总的来说，AI 在对线期几乎不给人类玩家任何机会，但过了对线期，AI 的套路似乎只有上路或者中路集中推塔。在 10 分钟的时候，对方的死亡先知就开始打 Roshan，打到残血之后无功而返，小编也不明白 AI 是怎么想的。
最后，你是不是也想体验一把？在比赛结束后，OpenAI 宣布将在 4 月 18-21 日把OpenAI Five开放给玩家，注册就能与朋友一起组队挑战 OpenAI Five 或者与 OpenAI Five 组队玩游戏。
OpenAI Five 视角
OpenAI 在 Dota 2 的研究上已经走过了两年多的时间，最初在2017年8月份，OpenAI构建的智能体就在Dota2 一对一表演赛中战胜了顶级职业选手。随后在一年后，该智能体于 5 v 5 团队赛中击败业余人类玩家，这是OpenAI Five强化学习模型第一次展现它的强大能力。当时OpenAI Five通过Self-Play方法，每天都相当于玩了 180 年的游戏。
随后，OpenAI Five 就开始尝试在 5v5 团队赛中挑战顶尖团队，它希望和人类遵守相同规则、获取类似地图信息的情况下取得更多的创造性。如下为 OpenAI Five 的发展历程，今天的这场比赛是它与人类的最终决战。
如上图所示，从 OpenAI Five 也一直在进步。18 年 8 月份 TI 8 时期，OpenAI Five 的参数量约为 4 千万，相当于人类玩了「一万年」的 Dota 2 游戏。而到今天，OpenAI Five 的参数量约为 1.6 亿，相当于人类玩了「4 万 5 千年」的 Dota 2 游戏。
其实在每一局中，OpenAI Five 获得的信息和人类是一样的，但前者可以实时看到位置、生命值和装备清单等，而这些信息都需要人类选手去手动查看。在今天比赛开始之前，OpenAI Five 的研究者就展示了人类与 AI 眼中的游戏，虽然信息上它们是等价的，但形式有很多不同。
OpenAI Five 团队曾表示能使用强化学习与 LSTM 网络构建 Dota 2 智能体也非常出人意料。因为如果每个英雄用单独的 LSTM，那么模型在没有人类数据的情况下学到可识别的策略。这表明强化学习即使没有根本性的进步，也能够产生大规模但也可接受的长期规划。
总的而言，OpenAI Five 击败顶尖人类团队 OG 主要需要解决三大核心问题：长线策略、奖励机制、团队协作。
首先对于长线策略，Dota 游戏平均每秒 30 帧，一场时常 45 分钟，大部分操作（例如操纵英雄移动）都有单独的小影响，但一些个体行为可能会影响到游戏战略。所以不论是通过 LSTM 选择短期操作，还是通过类似 AlphaGo 中的「价值网络」制定长期战略，它都需要学会局部操作与后续战术的关系。
其次由于 OpenAI Five 使用强化学习进行训练，那么设定合理的奖励（Reward）就处于核心问题了。OpenAI Five 的奖励主要由衡量人类如何在游戏中做决策的指标组成：净价值、杀敌数、死亡数、助攻数、最后人头等。同时还需要构建一个指数衰减超参数，以决定智能体究竟是关注长期的奖励还是短期的奖励。
最后对于团队协作，我们希望五个独立智能体能共同完成一些战术。OpenAI Five 没有在各个英雄的神经网络之间搭建显式的沟通渠道，团队合作由一个称之为「团队精神」的超参数控制，该超参数从 0 到 1 表示关注团队平均奖励的程度。OpenAI Five 的早期训练该值比较小，因此智能体更关注自身发展，后面逐步增加该值以令智能体更关注团队协作。
因为智能体的庞大动作空间、观察空间和不完美信息，Dota 2 远比围棋等游戏复杂，它还有更多的问题需要解决。在击败 OG 后，OpenAI Five 和强化学习还有很长的路要走。
「投资市北高新，共创数智未来」，中国大数据产业之都沪港合作推介会即将于 2019 年 4 月 15 日在香港会展中心举行。点击「阅读原文」参与报名。
继续阅读
阅读原文