最终决战OpenAI将挑战Dota2最强战队TI8冠军OG

2019-04-05 21:48:00
yyhadmin
原创
40
TI5-TI7 期间,OG 取得了 7 个官方特锦赛中的 4 个冠军,这是一支的世界强队。   OG 战队前身为 Monkey Busniess 战队,后被一家游戏直播平台收购改名为 OG。2015 年,OG 战队在决赛中击败了 Secret 战队,夺得法兰克福特锦赛冠军,从此一战成名。   为了训练每个英雄,OpenAI 使用了两种机器学习技术:长短期记忆网络(LSTM)和近端策略优化(Proximal Policy Optimization)。   2016 年,OG 战队虽然在上海锦标赛中失利,却于当年在马尼拉再次奋起夺得第二个特锦赛冠。   面对 AI 的挑战,人类跃跃欲试,在 TI8 上很多参赛队伍都报名想参加 OpenAI Five 的比赛,OpenAI 遇到的第一个对手是来自巴西的战队 paiN,后者也是 TI8 决赛阶段第一支被淘汰的队伍。有了 AlphaGo 的‘前车之鉴’,人们纷纷预测 AI 稳赢,然而人类职业玩家却让 OpenAI 尝到了失败的滋味。   Dota2 是目前全球最为流行,也最复杂的电子竞技游戏之一。其最负盛名的赛事‘TI’每年都会吸引上千万玩家的关注。   在训练初期,研究员其实会将数值调整的很小,这样 AI 会更考虑自身的奖励,学习如何分路、对线、提供金钱和经验。等到每个神经网络学会了基本的策略和玩法后,研究员才将数值慢慢提高。   paiN 选择了开雾直接冲进天辉野区,四人围攻落单的潮汐,抢到了一血。OpenAI 也展示出了人工智能‘不聪明’的一面,在塔下不断插眼。虽然在随后的比赛中双方有来有往,但人类玩家逐渐掌握了计算机的套路,在 50 分钟的比赛后打爆了对方的水晶。   每一个 bot 的神经网络包含一个单层的、拥有 1024 单位的 LSTM,观察游戏的局势然后做出相应的行为。下图这个互动演示就是可以让你理解每个 bot 是如何做出指令的,这些画面就是 Dota 2 的 API 所观察到的。   虽然首次挑战职业玩家没有成功,但 OpenAI Five 的尝试为人工智能领域技术的发展有着很大意义——它解决一个重要问题:强化学习在如此复杂、需要长期策略的游戏环境下是否依然奏效?   18 名英雄可选:斧王、水晶室女、死亡先知、撼地神牛、矮人直升机、巫妖、巫魔巫师、死灵法师、痛苦女王、剃刀、隐刺、影魔、斯拉克、矮人火、斯温、潮汐猎人、冥界亚龙、巫医。镜像匹配:瘟疫法师、矮人火、冥界亚龙、水晶室女、巫妖。   在第一场游戏中,英雄漫无目的地在地图上探索,而在几个小时的训练后,出现了规划、发育或中期战斗等概念。几天后,智能体能一致地采用基本的人类策略:试图从对手偷财富、推塔发育、在地图旋转控制英雄以获得线路优势。通过进一步的训练,它们开始学会了 5 个英雄一起推塔这样的高级策略。   值得注意的是,TI8 比赛期间,去除掉了‘5 个无敌信使’的限制,因为这个条件会极大的影响游戏的真实性。   为什么使用 LSTM 其实很好理解:打 Dota2 需要长期策略,敌方英雄的每一个当前行为都会对之后的行为产生影响。LSTM 是一种循环神经网络(RNN),它比普通的 RNN 更适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 有一个叫做 Cell 的元素,能够分辨出输入的信息是否有用,是否需要记住。   虽然 TI8 期间,OpenAI Five 与职业选对的‘表演赛’输的惨不忍睹,但让我们看到了人工智能在游戏领域的创新与突破。此次 OpenAI Five 最终决战 TI 8 冠军 OG,无论结果如何终将为 OpenAI 的 Dota2 游戏项目划上一个句号。希望时经一年,OpenAI Five 能带来更为惊艳的表现。   Dendi 在比赛前接受采访,作为第一个在公开比赛中被 AI 击败的职业选手,他领教了人工智能在单挑时的应变能力。   8 月 26 日,在总决赛的精彩对决中,最终 OG 更胜一筹,3:2 赢得 LGD,在全世界面前捧起了 TI 冠军盾,而 N0tail 与 JerAx 也成功拿下四大联赛大满贯。   冠军团队也并非一帆风顺的。在 2016 年 TI 赛惨败之后,OG 战队经历了一波换血:去掉了 Cr1t-、Miracle-和 MoonMeander,新加入 Jerax、Ana 和 s4。重生之后的 OG 随即斩获了波士顿特锦赛的冠军,之后于 2017 年获得基辅特锦赛冠军。   OpenAI 卷土重来,这一次直接选择挑战目前人类最强战队 OG,展示了自己的强大自信。这次的‘最终对决’,OpenAI 直接以 Finals 为名,看来是最后一战了。更令人兴奋的是,它的对手 OG 绝非等闲之辈。   比赛时间:北京时间 4 月 14 日凌晨 2:30 分(美国太平洋时间 4 月 13 日 11:30)   由于所有参数都是随机,AI 没有引入任何人类的经验,所以 AI 没有 1-5 号位的概念,不会区分辅助和 carry,出装备也是从头开始学习。   在那场一对一表演赛中,OpenAI 的人工智能打败了 Danylo “Dendi” Ishutin,一名在职业生涯中赢得超过 70 万美元奖金的职业玩家。OpenAI 的 bot 在第一场比赛开始约 10 分钟打败了 Dendi。在第二场比赛中 Dendi 放弃,并拒绝进行第三场比赛。   单挑可能还不具有太多说服力,Dota2 是一个 5v5 的多人对战游戏,很快 OpenAI 就开启了更为正式的‘10 人对决’之旅。2018 年 6 月,这家公司提出的‘OpenAI Five’又在 5v5 多人对局中击败了由前职业玩家、游戏解说组成的天梯 6000 分级别战队,并宣布会于 TI8 上亮相和真正的职业选手过招,一时吸引了人们的关注。   如何让五个神经网络协作团战是另一个让不少人好奇的地方,这其实也是建立在奖励机制上。OpenAI 为 AI 模型开发了一个叫 Team Spirit 的超参数,数值从 0 到 1,数字越小每个神经网络就越‘自私’,相反则越考虑团队的整体利益。到最后,OpenAI 发现将 Team Spirit 设置为 1 都能赢得比赛。   人工智能在围棋上击败人类之后,很多技术人员就开始展望 AI 在视频游戏中的表现了。2017 年的 Dota2 国际邀请赛 TI7 上,OpenAI 推出的人工智能横空出世,在人类巅峰对决的比赛现场 1v1 打败了世界玩家。   这场失利让大家对于 AI 的期待有所下降,随后在第二场比赛中,由 Burning、Xiao 8、430、ROTK 和 Sansheng 组成的‘中国 Dota2 元老队’也顺利击败了 OpenAI Five,让人工智能的 TI8 之旅最终以失败告终。   通过自我对抗学习,OpenAI Five 每天相当于玩 180 年的游戏。训练上,它使用 256 块 GPU、12 万 8000 个 CPU 核心使用近端策略优化(Proximal Policy Optimization)方法进行训练。当每个英雄使用单独的一个 LSTM,模型就可以在没有人类数据的情况下学到可识别的策略。这表明强化学习即使没有根本性的进步,也能够产生大规模但也可接受的长期规划。这出乎了 OpenAI 研究人员起先的预料。   虽然在去年 8 月的 Dota2 国际邀请赛(TI8)上,OpenAI连续输给 paiN 以及由大 B 神、xiao8、430、ROTK、狗哥这些中国 Dota 届元老组成的战队,但 OpenAI 并没有因为挑战失败而放弃尝试。这一次他们直接选择了与 TI8 上的冠军团队过招。
文章分类
联系我们
联系人: og国际厅
Email: 2281920885@qq.com
QQ: 2281920885
网址: www.bbsshs.com