Dota2也被AI战胜了！OpenAI打出4200逆天高分 超过90%人类玩家(2)
发布日期：2021-02-11 05:44:36编辑：音乐人
智东西(公众号:zhidxcom)
编 | 心缘
导语：OpenAI研发的AI组成电竞战队，在5v5点Dota 2开黑对战中击败人类玩家，协作式AI取得突破性进展，计划出征Dota2 TI8国际邀请赛。
智东西6月26日消息，美国时间25日，著名非营利性机构OpenAI宣布人工智能界的新惊喜：AI已能像人类一样“组队”，在5v5对战中完虐Dota 2人类玩家，并且平均天梯分数超过4200分（超过将近90%的DOTA2玩家，去年中国平均天梯分为3274分）。
OpenAI的支持者、特斯拉创始人伊隆马斯克（Elon Musk）表示：“OpenAI首次在竞争激烈的电子竞技中击败世界顶尖玩家，这远比围棋、象棋等传统棋盘游戏更加复杂。”
一、AI团战首秀，表现神乎其技Dota 2是一个非常复杂的实时战略游戏。两个分别由5名玩家组成的队伍相互进攻，围剿并摧毁对方玩家的基地。这款游戏拥有115个可玩英雄，每个英雄都拥有独特的技能和属性，这意味着对于人类而言，完美操作应对游戏的全部可能性基本上是不可能的。然而，AI或许可以打破这一局限性。
▲Dota 2顶级职业玩家Dendi
去年8月的Dota 2国际邀请赛TI7上，Open AI的机器人在1v1比赛中完虐Dota 2顶级职业玩家Dendi。Dendi是世界知名Dota 2职业选手、solo高手，玩法灵活，经常玩出神级操作，曾带领Navi战队拿下TI1冠军和TI2、TI3亚军。在这场人机对战中，AI的表现相当彪悍，出手娴熟狠厉，卡兵、压制、补给等操作样样在行，几乎刀刀致命，就连假动作和秀走位也展现超高水平。AI第一场仅用10分钟就击败Dendi，第二局一开场就进塔强杀Dendi，逼得Dendi直接认输并拒绝进行第三场比赛。
▲OpenAI Dota团队的一个分支，拿着笔记本电脑，去年击败了Dota 1v1世界顶级专业玩家。
昨日，OpenAI的AI系统华丽升级，推出OpenAI Five系统首次挑战5v5团战，并成功击败Open AI内最好的员工团队。这场比赛由专业评论员Blitz和OpenAI Dota团队成员Christy Dennison参与评论，并被社区群众围观。
在此次对战中，团队降低了一定的团战难度：其一，对手非顶尖职业选手；其二，AI暂时只会使用5位英雄；其三，要求人类玩家不能使用真假眼。这些限制使得OpenAI Five参与的比赛比最具挑战性的人类版本更简单。
迄今为止，OpenAI Five已在和如下团队发生过对战：
1、最强OpenAI员工团队：2500 MMR；
2、观看OpenAI员工比赛的最强观众（包括评论第一场OpenAI员工比赛的Blitz）：4000-6000 MMR；
3、 Valve员工团队：2500-4000 MMR；
4、 业余队：4200 MMR，团队训练；
5、 半职业队：5500 MMR，团队训练。
其中，MMR（MATCH MAKING RATING）指匹配等级，用来确保玩家能够和真实实力相近的玩家对抗，并且影响玩家在赛后能够获得或者输掉多少积分。经过一段时间，玩家积分将会逐渐向其隐藏MMR值靠近。
OpenAI Five在4月23日的版本首次击败脚本基线，5月15日版本与第一队平分秋色，赢输各一场。在6月6日和1-3队的对决中，新版本OpenAI Five赢得所有比赛。随后团队进行了呵4、5队的非正式比赛，原以为AI会输，孰料OpenAI Five前三场比赛就打赢两场。
在比赛中，OpenAI Five为了控制敌方，反复牺牲自己的安全路径，迫使对方团队难以防御。为了从游戏早期到中期比对手更快，OpenAI Five做出两个行动：（1）建立成功的ganks（玩家在地图上移动以埋伏对手英雄）；（2）在对手集合前先行组队推塔。
此外，OpenAI Five还有些非主流的打法，比如把前期经验和钱给辅助英雄。它的优先级能让伤害值涨的更快，使其快速赢得团战。研究团队称，OpenAI Five平均每分钟执行150-170次动作，而理论上每4帧观察到的最大值是450，这个时间掌控对于人类而言已经趋于完美。OpenAI Five的平均反应时间也比人类更快，仅为80ms。
▲ 在OpenAI员工和机器人进行比赛后颁发奖杯，机器人奖杯由其团队的Susan Zhang代领
专业Dota比赛评论员Blitz表示：“感觉就好像五个知道优秀总体战略的无私玩家协同合作，机器人的团队合作令人深受冲击。”
二、“刻苦”学习：每天玩180年的游戏OpenAI Five通过强化学习实现自我学习，每天通过积累的游戏经验需要人类用180年才能获得，如此“勤学苦练”，拥有超强策略能力似乎也并不是什么值得意外的事。
五个神经网络组成的团队大大增加了AI系统对计算能力的需求，OpenAI Five使用在256个GPU和128,000个CPU内核上运行的扩展版近端策略优化进行训练。对每个英雄使用单独的LSTM并且不使用人类数据，它学习可识别的策略。
1、模型结构
每个OpenAI Five的网络都包含一个单层有1024个单元的LSTM，它可以通Valve的Bot API查看当前的游戏状态，并通过几个可能的动作做出下一步操作，比如延迟此动作的刻度数量、要选择的动作数量以及单位周围网格中此动作的X或Y坐标等等。
2、勘探环境